[统计]Deepseek 671b q4以上部署数据
软件部署
410 人阅读
|
0 人回复
|
2025-03-07
|
该统计只记录Deepseek 671b q4(8专家)以上数据,所有数据均为实际测试而非理论值,有更详细文章会备注。查找比对时,请注意以下几个数据,方便分析差距:
1、是采用哪种部署模式(显存、CPU推理、Ktransformer)
2、使用哪类CPU
3、使用多少频率多少总量的内存
4、Ktansformer框架下使用的是什么显卡
因为论坛UI限制,请下载EXCEL表格自行搜索,这里只放概要(速度TPS=token/s):
编号 | 方案 | 速度 | 闲时功耗 | 满载功耗 | 部署者 | 出处/详细 | CPU | 1 | 双路AMD | 3-4 | 60 | 260 | Digital Spaceport | | 7702 | 2 | 双路AMD | 4 | 120 | 550 | 超超 |
| 9334qs | 3 | 双路INT | 7 |
|
| 混沌 |
| 8551c |
|
|
|
|
|
|