[本地部署][内存推理][总结]关于768G内存配置的主机Deepseek测试

Ref

经过半个月的测试，目前得出以下数据和结论(注无任何特殊优化)：

在Linux环境运行llama.cpp，
R1和V3的Q4版本，M2硬盘和机械硬盘都在4.9-5.1之间，速度差距小于3%。
R1和V3的Q8版本，M2硬盘和机械硬盘都在3.9-4.1之间，速度差距小于4%。

除了初次读写更快之外，M2硬盘并没有比机械硬盘有更明显的优势。

在Windows环境运行Ollama，
R1-Q4：速度2.7
V3-Q4：速度2.28

R1-Q8：速度1.9
V3-Q8：速度1.85

R1从Q4到Q8，速度下降了30%
V3从Q4到Q8，速度下降了20%

由于没有测试超过500字的长文，因此在这种速度下，即使Windows优化之后提升20%，也达不到每秒4token的要求。在每秒输出低于2的情况下如果报错将浪费大量时间。并且由于设置出错（目前只确定是因为 设置host留存或上下文限制 其中一个出错），Ollama频繁报错，非常影响测试。Windows内运行虚拟机必然有损耗，加上Windows本身要占用一些内存，实际上768G对于Q8是非常紧张的。在Windows下用Ollama的场景是装了显卡运行不是很大（比如70b）的AI模型，速度和便捷度是相当不错的，但是如果要达到671b或者更高，就只能规规矩矩堆显存，走内存推理路径不合适。


全部总结：
测试选择题https://zhuanlan.zhihu.com/p/628884068 中，R1所有版本全部回答正确，V3所有新旧版本共只全对一次，在“相敬如宾”和“鸡犬不宁”上屡次翻错。即使是最新的V3版本也会出错。

V3的执行速度更快，但是输出缺乏思考描述，并且总的平均速度并没有比R1快。（这个可能是因为内存的运算速度限制）V3在翻译上更加符合要求(R1会自己改格式)，但是质量目前还没测评出来。总的理解上，无论是Q4还是Q8版本还是不如R1。

R1的逻辑思考和对问题事物的分析更好一些，但不会特别明显，Q8版本明显要比Q4容易出现幻觉和联想，但从回复完整度上，R1的Q8版本是最完整的甚至有些过长。

使用内存CPU版本推理，如果采用Linux的llama.cpp部署，速度是可以接受的，即使是长文预计速度下降50%也有每秒2-3token的速度，是可以接受的。出错、幻觉、自问自答的概率低于5%。

从本地部署的角度，Q4到Q8只是损失了20%的速度，但是全方位会有提升，是值得的。并且在优化后实际上速度可以提升10-20%，也就是速度持平。所以如果采用内存CPU方案，能够加到768G，那么还是一定要用Q8版本。一万元不到的费用（多买的DDR5内存），可以使用Q8，是值得的。Q8的回答各方面和线上官网的16或更高版本已经很接近，当然质量还有一段距离。如果不需要保留提升空间，用单路512G内存的配置方案运行Q4也是可以的。

不是特别复杂的问题或者语言类问题，建议直接用V3的Q8版本，这样可以节约一点输出的时间（有时候R1的思考内容比输出内容都长）。如果要保证较稳定的质量，或者经常要思考比对有逻辑的问题，使用R1的Q8版本然后严格限制提示词是比较好的选择。

具体分析：

R1总结
运行过程中出现幻觉和无关联想。并且有一些回答没有思考过程。会有无关联想和联系前文，翻译没有严格按照要求。Q4在翻译小语种时速度明显下降，Q8则不明显。

Q8都出现了同样的幻觉和联系无关前文，以及翻译不按照要求。在不加限制和特殊符号的情况下，AI会自己发散。词的创作都不合格。某种程度上，Q8的过度发挥和思考反而让有些回答不如Q4。但Q4的问题就是会陷入循环和自问自答（Q8也有但很少）。

Q4和Q8都有思考过程，但是翻译出来的结果还是有问题，最明显的是排版问题。原文是整段但是翻译出来擅自加了破折号等各种符号。诗词没有按照要求。

V3总结
V3的启动和回复速度都很快，但是有些部分过于简略。如果从难题的回答情况来看，可能又适中。但是缺乏思考过程是一个比较不方便的，可以用来做直接启动的辅助工作比如预翻译。

V3的优点是执行更快，但是并不代表输出的速度会更快。中间经常出现卡顿的情况。翻译出现了明显的理解错误（修改译文理解成修改原文）。

但是！判断题中旧的Q8和所有V3都错的地方，新版Q8会有可能回答正确（两次对了一次）。翻译方面，有时候Q8会按照要求正常翻译，有时候会自己加格式分段，目前不清楚原因。Q8版本比Q4的联想和幻觉要更严重。另外这次问判断题机械硬盘的回答错了。同时这次测试出现了自问自答的情况。

更详细的数据和内容请点击：
https://bbs.deeplexicon.tech/forum.php?mod=viewthread&tid=58&extra=&page=1