选择一体机，首先要看自己行业与AI联系的紧密度如何，是不是能够确实的降本增效。
 自Deepseek爆火至今已经两个多月，AI一体机从2024年的不愠不火到现在密集发布。但是价格的高昂让很多人持观望态度。让我们了解一下，简单分析该如何选择。 之前一体机的定位，主要是进行AI运算的包含本地部署模型的机器或服务器。但是在Deepseek之后，通常我们会把能够正常运行Deepseek 671b FP8或FP16精度的机器叫做AI一体机。因为Deepseek是目前唯一一个发布了完全体的大模型，所以评价标准以该满血版为准。 要跑DS满血版，通常的机器成本要在150万左右，成本主要集中在显卡上。虽然可以用KTransformer框架用10万以内的成本跑FP8精度，但是首先只能1-2人用，其次这个速度是很低的（10-15token/s）。通常买一体机并发至少要保证几十甚至上百人用，而且同时速度不能太慢。所以选一体机一定要问清楚是能正常运行哪个精度的671b模型。商家说别的都不用管，那些标准很多都是模棱两可的，但是FP8和FP16是非常苛刻的，跑不了就一点都跑不了。  其次，在能够运行的情况下，要了解清楚是不是附带部署和其他软件服务。光买回来一个很强的机子就只是一个聊天工具，最多给你搞个PPT什么画图修改，根本不能发挥AI的潜力。最起码要有三个服务：知识库、插件与环境配置、工作流。 装大模型是很容易的，但是附带的知识库，插件和参数配置还有基于前两者结合大模型的工作流，一般企业要花比较长时间琢磨整合，厂商如果不在这上面下功夫，基本就是卖组装机。甚至可以说，一体机很大一部分的溢价来源于这个软件服务。如果厂商不能根据客户要求准备软件，那么机子直接打六折都嫌贵。 比如这个老哥，他的经验就是一体机部署至少需要网络架构师、系统工程师、算法工程师三组人马协同。配合稍微差点都容易出问题。不要把一体机当成网吧电脑来买，这两个差着十万八千里。 附参考文章：硬仗！各厂家DeepSeek一体机大盘点 Deepseek分析，FP8或FP16考虑并发至少需要1TB以上GPU集群，昇腾或者H系列芯片。实际上中小企业上一体机的需求可以说很低，直接买个简单的低速Q4或者Q8精度的内存机足够。并发多看着是好，但是实际你真正用到AI的就一线的老哥，管理者很多根本没时间琢磨这个东西。 个人、创业团队建议直接买CPU内存方案的服务器部署，成本不会超过7万，可以看我的链接。如果还是觉得小贵，直接用API或者云服务。 中小型企业，建议混搭，买可以流畅跑QWEN 32B多并发的机子，搭配云/本地服务器，用QWEN快速出方案，用Deepseek审阅修正，有条件就上多几台，共用数据库/知识库。当然如果觉得配置麻烦，直接买苹果最新的Mac Studio 512G版本最好，用学生优惠买港版只需要6.8万港币，直接买也只要7.6万港币。苹果可以确定至少跑671b Q4精度，B站测评，直接跑是9token/s，用MLX工具跑是15token/s，这个速度实际上已经足够了。  中型以上企业，不管是转型还是AI提速整合，都最少要配几名甚至几组工程师专门服务一体机的落地。而且之后要有专门的软硬件维护开发小组。这个成本是不低的。 所以选择一体机，首先要看自己行业与AI联系的紧密度如何，是不是能够确实的降本增效，如果是以线下实体业务为主的，买AI一体机很多时候就是写写方案做个企业微信回答工具，这样就不划算了。 |
路过 
雷人 
握手 
鲜花 
鸡蛋
最新评论