[INTEL][双路768G][软件篇] Deepseek671b 个人部署记录

Ref

4月10日：
在学习的同时，看到dify和coze的两种工作流派，一种偏向程序员，一种偏向直接开箱使用，我觉得这个也很有分析的必要。电脑虽然修好了装上linux，但是公司事情比较多，周末来应用。

Ref

关于速度，我决定加购一个企业硬盘，测试一下ssd和企业机械硬盘下两个系统运行的速度差距。


[待更新]

Ref

本帖最后由 Ref 于 2025-4-14 15:03 编辑


4月14日：

需要解决github下载的问题。通常有两个：
一劳永逸：路由器开发版+刷固件，永久VPN
简单版：用软件

先找到总的：Linux系统翻墙方法 · https://github.com/alvin9999/new-pac/wiki
然后选shadowsocks：https://shadowsockshelp.github.io/Shadowsocks/linux.html发现无法执行，查询发现没有FUSE，输入 sudo apt install libfuse2

然后双击软件启动

输入节点数据：ss免费账号 ·  https://github.com/alvin9999/new-pac/wiki

如果还是不行，查找缺了什么：
linux 双击程序不运行 - 腾讯云开发者社区 - 腾讯云
linux文件权限查看及修改（实用） - 灰太郎^_^ - 博客园

Shadowsocks发现用不了，试下Hiddify
Linux系统翻墙方法 · Alvin9999/new-pac Wiki · GitHub
Hiddify教程 ︱简易使用指南说明-全平台替代Clash
全平台科学上网客户端 Hiddify Next 安装与配置详解 - 鹏叔的技术博客
用ss节点连接成功。


下载llama.cpp，先看了https://zhuanlan.zhihu.com/p/24560784106
和https://www.cnblogs.com/horizondeveloper/p/18748654

太过简单，找了新的https://deepseek.csdn.net/67af06bc382bf816fe975c89.html
发现这个编译时候这个j后面的数字代表线程。

安装过程中，缺少g++，缺少curl，都安装上
https://www.cnblogs.com/liqi175/p/17330076.html
https://blog.csdn.net/weixin_42111770/article/details/134806633

进魔搭社区
https://www.modelscope.cn/models ... till-Qwen-1.5B-GGUF

下载

Ref

接上文：


对llama.cpp编译后，在build/bin文件夹下打开终端，输入ls，查看是否有cli,bench.

cd或者在bulid/bin文件夹下，
输入：
./llama-cli -m ~/模型目录/模型名字.gguf

可以按tab补全名称

有三种llama，cli是对话，server是api，bench是跑分测试。

输入./llama-bench -m ~/模型目录/模型名称.gguf

可参考https://blog.csdn.net/weixin_46532327/article/details/144265501

注意：如果机子性能不强，测试不一定马上出结果，要等一会。

pp512是提示词长度
tg128是生成长度

Ref

4月17日：


硬盘到了，接下来测试5个AI：

Deepseek-R1-671B-q4
Deepseek-R1-671B-q8

Deepseek-V3-q4

Deepseek-V3-q8

Gemma3

分别在两个环境和两种硬盘下测试：

Windows+Docker
Ubuntu22.04

SSD
机械