[教程]新手超详细AI部署教程-持续更新

Ref

这个教程主要是给有兴趣但是不是IT专业的老哥们，如果你已经了解过或者懂代码命令行，可以直接跳过。因为文章会有些啰嗦。

https://bbs.deeplexicon.tech/forum.php?mod=viewthread&tid=22

结合我之前的软件部署日志，会比较详细说明。



整个过程一共分为五大部分：
1、系统安装和更新
2、科学上网
3、Llama.cpp安装编译
4、AI下载和运行
5、工作流搭建

Ref

1、安装系统

首先到镜像网站下载iso，准备一个U盘，下载一个Rufus，点击开始，选择以ISO镜像方式写入。
https://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/22.04/

系统有两种，普通和服务器版，服务器要设置网关复杂一些，没有特别需求就用desktop即可。

安装视频可以看https://www.bilibili.com/video/BV1wo4y177Gk/

然后是硬盘分配：

结合指导https://blog.csdn.net/hnu2012/article/details/79006923


以300G为例

/ 给85G
/home 210G
/boot 1G
/tmp 10G
/swap 8G


注意/home要多一些。

然后按照教程更新，至此完成UBUNTU安装。

Ref

2、科学上网

由于之后必须要用到github，所以科学上网是必须的，有两种方式，一是直接路由器设置，这个比较复杂，一种是挂代理，下面介绍挂代理。

首先需要下载FUSE，输入 sudo apt install libfuse2

介绍：https://iheikeji.com/bgfw/tools/hiddify%E6%95%99%E7%A8%8B.html

下载：
官方
https://github.com/hiddify/hiddify-app/releases

镜像附教程
https://github.com/Alvin9999/new ... 9%E6%96%B9%E6%B3%95



免费账号地址：https://github.com/Alvin9999/new ... 9%E8%B4%A6%E5%8F%B7

下载之后如果是桌面版UBUNTU，需要检查权限，请参考https://pengtech.net/network/hiddifyApp_install_and_config.html

输入chmod +x ~/Downloads/hiddify-linux-x64.AppImage

随后按照教程指导操作。

如果之前已经有购买过，可以复制V2Ray订阅链接。

至此完成科学上网。

注：我提供的网址很多都是github的，所以在没完成科学上网之前，建议用手机或者另一台Windows登陆查看，然后按照指示操作。                                                                  

Ref

3、llama.cpp安装编译



安装g++
sudo apt install g++ -y
或者打包安装g++ cmake gccsudo apt install gcc g++ cmake -y
安装curlsudo apt-get install libcurl4-openssl-dev


安装git
sudo apt-get update
sudo apt-get install git


拉取cpp源码
git clone https://github.com/ggml-org/llama.cpp

拉取后，定位到目录
cd llama.cpp


编译CPU版本
cmake -B build
cmake --build build --config Release -j 8
注意j后面数字代表你要用多少线程编译


当然也可以直接复制别人编译好的，这个影响不大。


对llama.cpp编译后，在build/bin文件夹下打开终端，输入ls，查看是否有cli,bench.

Ref

4、AI下载和运行


模型下载：huggingface或者魔搭
https://huggingface.co/models
https://www.modelscope.cn/


cd或者在bulid/bin文件夹下，
输入：
./llama-cli -m ~/模型目录/模型名字.gguf
~/是指主目录下，如果是挂载硬盘需要对应的位置，比如/media/

加-t ? 表示用多少核处理，48核就是-t 48


可以按tab补全名称

有三种llama，cli是对话，server是api，bench是跑分测试。

输入./llama-bench -m ~/模型目录/模型名称.gguf
如果是挂载的外部硬盘，不用~/，直接输入路径，比如/media/

需要直到速度的话，代码后面要加--verbose
https://www.zhihu.com/tardis/zm/art/24824332513?source_id=1003

可参考https://blog.csdn.net/weixin_46532327/article/details/144265501

注意：如果机子性能不强，测试不一定马上出结果，要等一会。

pp512是提示词长度
tg128是生成长度

在启动后，如果要查看AI的内存占用情况，可以输入：
free -h

如果要清空更换模型，可以输入：
echo 3 | sudo tee /proc/sys/vm/drop_caches


echo 3：向系统内核发送指令，清理以下缓存：
1：释放 PageCache（文件数据缓存）
2：释放 dentries 和 inodes（目录和索引节点缓存）
3：同时清理上述两类缓存
sudo tee：以管理员权限写入内核参数文件


如果是下载的被切分的.gguf文件，需要整合成一个输出（ollama可以自动识别）
https://blog.csdn.net/weixin_42426841/article/details/142745525
windows: https://blog.csdn.net/marin1993/article/details/142486300


linux: 在cpp的bulid/bin路径下，输入
./llama-gguf-split --merge 第一个分割文件的路径 保存的文件名
比如
/media/yyhk/AI-MAIN/R1-Q8/DeepSeek-R1.Q8_0-00001-of-00015.gguf /media/yyhk/AI-MAIN/R1-Q8/R8.gguf

我建议是合并后再运行，分卷运行虽然启动后速度一致，但是启动要稍微慢一些。

Ref

关于Ollama，由于比较直接，我这里只放如何运行gguf文件。

https://www.cnblogs.com/r-key/p/18312627

或者更详细的
https://ywctech.net/ml-ai/ollama-import-custom-gguf/

ollama测试速度是用 --verbose

更多教程：
https://blog.csdn.net/qq_46345319/article/details/145076446

https://zhuanlan.zhihu.com/p/704951717


https://ywctech.net/ml-ai/ollama-first-try/