[本地部署][Q4量化][18TPS]苹果最新M3 Ultra 512GB本地部署测试

Ref

目前看M3 Ultra 512G作为不用自己搭建的品牌机而言，性价比要比其他的高很多。


671b Q4量化版，借由苹果自己的MLX和deepseek R1的MOE模型，可以跑到18token/s，这个成绩相当不错。但是长上下文恢复正常，还是只有6TPS.

附上国内外的测评报告：
https://www.reddit.com/r/LocalLL ... tra_512gb_with_mlx/

https://www.bilibili.com/video/BV1icQ8YLEss/

目前苹果M3 512G 2T版本，是7.7W人民币或者7.6万港币，有条件的建议从香港买了带回来，可以赚一点差价。

MLX是什么？MLX是一个适用于苹果芯片的机器学习框架。
可参考https://blog.csdn.net/Gloamirror/article/details/135038859

代码位置：https://gitcode.com/gh_mirrors/m ... _github_accelerator