Deepseek本地化部署的总结[保持更新]

Ref

两个多月的学习和参考，对本地化部署有一些心得，现在记录下来。

首先对于本地化部署，一定要先想清楚使用场景，因为本地化部署有几个非常明显的分界线：单双路、ddr、操作系统。这三个选择会有很多种结果。

单路：对CPU要求高，差一点的U带不了16条内存。

ddr：4和5速度是有明显差距的，而且每个频率的速度也有差距，价格幅度差距很大。而且大主板有明确写支持多少频率的内存，买便宜的组合是没有任何升级空间的。

操作系统：Windows无论用什么虚拟机，性能一定会有损耗，而且在中低端机里表现特别明显（比如4降到2.4），要用极限速度必须用KTransformer框架，那就只能用Linux(个人选择Ubuntu 22.04)。如果想用Windows能搞点别的，那就只能接受ollama的速度，一般这个速度不会很快。

如果要追求速度，首先显卡最低是3080的20G，更差的不建议用。虽然功耗不低，但是性价比来说3080是最合适了，有条件建议3090或者4090，注意显卡内存必须大于等于20G，否则没意义。

内存必须在700G以上的区间才可以跑q8（接近原版精度），也就是说基本这个主板必须要16通道，当然你愿意用2000一根的超大容量内存放在12通道上也行。通常是16条48G内存。

并且，上下文的关联长度对速度有直接影响，便宜的机子U和内存是带不动长文的，中端（3-6万）这个区间不上KT框架也很勉强，所以不要想着直接搞论文或者写长篇小说，能搞定这种的保底要20万，不如直接用API和云端。

场景对应以下几种模式：

个人用，文字类，非IT领域人士：单路+ddr4+Windows，速度2-3，俗称洋垃圾组合，7000以内可以搞定，狠一点4000多也能凑出来；

---

个人用，技术类，非IT领域人士：单路+ddr4+Windows，速度2-3，要好一点的CPU，这个综合略贵，但是1万以内可以搞定；

---

个人用，技术类，IT领域人士：双路+ddr4/5+Linux，速度3-9，显卡可选，综合大概12000-15000，加显卡要单独加5000；

---

个人用，测试研究用：双路英特尔+ddr5+Linux+3080以上的20G显卡，速度4-15，综合3万。

---

团队用，文字类/简单技术类：双路+ddr4/5+Linux，综合2.5万左右，4-6，不需要加显卡，因为KT框架没办法并行，除非可以接受排队提问。

---

团队用，技术类：多台2.5万的机子并用，不用单独买一台厉害的机子，因为高并发必须要求显存大，动辄几百G显存成本没有低过20万的。也可以考虑直接买多台Mac Studio 512G内存跑q4，测试速度是可观的高于10。

---

注意单双路和操作系统是不可逆的选择，所以一定要想清楚，不管Windows用什么wsl wsl2 VM啥的，都不会持平Ubuntu下llama.cpp的运行速度。所以有一个门槛就是2.5万，要装一台有同时多软件并行能力还能保证稳定速度的机子最低要2.2-2.5万。

企业用的话，所有能买新的都建议买新的，不要图二手，出问题重新搞一台的时间超乎想象。我基本全新的双路价格组装就是2.5万左右。单路用8470q es+超微16通道的X13dei+768G内存+3080差不多也是这个数，可能要便宜点。以16通道的主板为基底设计配置，显卡选择3080、3090、4090、5090，必须要20G以上。

目前记录到2025年4月1日，如果有新的会编辑或者下面跟帖。

Ref

中低端机型要正常使用deepseek并且有一定的长上下文能力，必须要学会用linux系统。不管是ubuntu还是debian还是别的，都必须要学。所以windows里跑671b偶尔用用没问题，当生产力工具是很成问题的，2-4token的速度实际上很难接受。

学习linux要花两三个月，但是我们并不需要学的那么精通，只需要知道基本框架和指令就行了，能够安装、运行、简单更新，按照网上的教程照葫芦画瓢一步步执行，基本都没问题。

我个人推荐Ubuntu 22.04或者现在的24.03，一个是稳定，一个是比较新，教学比较全。其他的如果喜欢好看点可以用debian，实际上差距并不是很大。

关于linux的学习我会再整理一个帖子，方便查看。