怎么本地CPU部署ChatGLM3-6B-云港网络

AI 文章摘要

这篇文章详细介绍了如何在本地仅使用CPU部署并运行ChatGLM3-6B模型。教程首先明确了硬件要求，建议使用内存≥32GB、CPU核心≥8的环境，并以Ubuntu 22.04系统为例进行演示。接着，文章分步指导了环境准备，包括安装Git、Git LFS和Python依赖库，并建议使用国内镜像源加速下载。随后，教程说明了如何克隆ChatGLM3的代码库以及模型文件，并重点指出了需要修改配置文件（`Web_demo_streamlit.py`）中的模型路径。最后，文章给出了启动命令，通过Streamlit运行Web界面，使用户可以在浏览器中访问并使用部署好的模型。

大家好，我是孙子烧烤！本次我教大家如何部署Chat GLM-6B并且用CPU模式运行！

一、环境准备

内存≥32G

CPU核心≥8核心

推荐系统：Ubuntu 22.03 LTS

博主这里使用48核心，32g内存，Ubuntu22来演示

二、下载代码和模型文件

首先安装Git和python

apt-get install -y git git-lfs python3 python3-pip

下载代码文件并安装依赖

git clone https://gitcode.com/github.com/THUDM/ChatGLM3
#国外：git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
#国外：pip install -r requirements.txt

克隆模型文件前，请先确保你的git名字和邮箱都配置了；文件很大，克隆需要时间请耐心等待！

mkdir model
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

三、修改配置文件

首先，记录一下模型文件地址

pwd

进入basic_demo文件夹，编辑Web_demo_streamlit.py文件

cd basic_demo
nano Web_demo_streamlit.py

需要更改的地方有2个

修改完成后Ctrl+O保存，Ctrl+X退出

四、启动Chat GLM3-6B

streamlit run Web_demo_streamlit.py

打开你浏览器输入你IP:8501即可访问

参考：

无需显卡！用CPU搞定大模型运行部署！【详细手把手演示】_哔哩哔哩_bilibili

THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型 (github.com)

广告：

高性能海外服务器低至200元/年

文章版权声明 1、本网站名称：孙子烧烤知识分享站
2、本站永久网址：https://www.sunzishaokao.com
3、本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，[email protected]
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。

THE END