立即登录 免费注册

[INTEL][双路768G][软件篇] Deepseek671b 个人部署记录

https://bbs.deeplexicon.tech/forum.php?mod=viewthread&tid=18 上一篇已经写完硬件安装，现在开始AI部署。 首先装完WIN11 专业工作站版，发现硬盘占用超大，原因是休眠的机制是把内存写进硬盘达到快速启动，因为我们768G内存太大，所以硬盘顶不住。 https://zhuanlan.zhihu.com/p/656558986 用管理员权限打开CMD，然 ...
x 1· 赞 ·阅读 861 ·Ref ·2025-03-23

[本地部署][Q4量化][18TPS]苹果最新M3 Ultra 512GB本地部署测试

目前看M3 Ultra 512G作为不用自己搭建的品牌机而言，性价比要比其他的高很多。 671b Q4量化版，借由苹果自己的MLX和deepseek R1的MOE模型，可以跑到18token/s，这个成绩相当不错。但是长上下文恢复正常，还是只有6TPS. 附上国内外的测评报告： https://www.reddit.com/r/LocalLL ... tra_512gb_with_mlx/ https://ww ...
赞 ·阅读 550 ·Ref ·2025-03-18

[知识科普]神经机器翻译与语言大模型

应TTTiger的建议，新开一个帖子汇总介绍机器翻译和语言大模型的前世今生。 在介绍前有两本书我建议各位可以看看，一本是《神经机器翻译：基础、原理、实践与进阶》，一本是《GPT图解：大模型是怎样构建的》，这两本书看完基本已经初步了解了整个框架。 本文会按照时间顺序介绍，中间可能会穿插一些附件译文。预计每周更 ...
赞 ·阅读 451 ·Joseph ·2025-03-18

[网站记录]~

https://www.odoo.com/zh_TW https://www.baklib.com/ https://www.banlikanban.com/info/tool/toolteam/17615.html
赞 ·阅读 7 ·Joseph ·2025-03-16

[INTEL][双路768G][硬件篇] Deepseek671b 个人部署记录

[更新：已完结] AI软件部署请移步 https://bbs.deeplexicon.tech/forum.php?mod=viewthread&tid=22 关于机子测试软件和操作请看https://www.zhihu.com/zvideo/1832364233746153473 测试图： 做一个简单的记录，顺便复盘下这段时间的各种波折。 从25年的2月15日开始，购买CPU，两颗Q30G，一共1600元，来自Cathy大佬 ...
赞 ·阅读 1489 ·Ref ·2025-03-15

什么是大语言模型量化? 每个量化精度都代表什么?[karminski]

作者：@karminski-牙医 出处：https://github.com/karminski/one ... ntization-in-LLM.md 量化 (Quantization) 是一种通过降低模型参数的数值精度来压缩模型大小的技术. 在深度学习中, 模型参数通常以32位浮点数 (FP32) 存储, 通过量化可以将其转换为更低精度的表示形式, 从而减少模型的内存占用和计算开销. 如图, FP32 ...
赞 ·阅读 465 ·Ref ·2025-03-10

[统计]Deepseek 671b q4以上部署数据

该统计只记录Deepseek 671b q4（8专家）以上数据，所有数据均为实际测试而非理论值，有更详细文章会备注。查找比对时，请注意以下几个数据，方便分析差距： 1、是采用哪种部署模式（显存、CPU推理、Ktransformer） 2、使用哪类CPU 3、使用多少频率多少总量的内存 4、Ktansformer框架下使用的是什么显卡 因为论坛UI限制， ...
赞 ·阅读 410 ·Ref ·2025-03-07

[Digital Spaceport][AMD EPYC]两千美金成本，本地化运行671b-Q4

文章作者：DigitalSpaceport(https://www.youtube.com/watch?v=Tq_cmN4j2yY&t=2s)原文：Digital Spaceport译者：珠海宇扬翻译译文首发：太素阁转载请保留此简介 AIDeepseek 本地推理系统搭建教程首先分享一个好消息：我从同一套AMD EPYC Rome基准系统中获得了非常稳定的推理性能表现，这台服务器始终是我们整个技术探索旅 ...
x 40· 赞 ·阅读 1045 ·Ref ·2025-03-06

达人分享汇总（持续更新）

注：可以用Folo直接订阅，请参考本站链接 名称：cyberbus 内容：AI、驱动、算法、软硬件 地址：https://cyberbus.net/communities 强化学习曾小健 内容：AI、测评 地址：https://zengxiaojian.blog.csdn.net/?type=blog LLM张老师 内容：模型分析、原理解读 地址：https://space.bilibili.com/3546611527453161 Chiph ...
赞 ·阅读 414 ·Ref ·2025-03-06

KT框架汇总20250306

github: https://github.com/kvcache-ai/ktransformers
赞 ·阅读 318 ·Ref ·2025-03-06
123456下一页
推荐作者

Ref

发表了 36 篇主题，344 积分

+ 好友

Joseph

发表了 11 篇主题，161 积分

+ 好友

CockyDeet

发表了 0 篇主题，73 积分

+ 好友

太素小编

发表了 1 篇主题，43 积分

+ 好友

Hubert钟

发表了 2 篇主题，17 积分

+ 好友

JoanneShiew

发表了 0 篇主题，15 积分

+ 好友
  • Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud.