怎么本地CPU部署ChatGLM3-6B

一、环境准备

内存≥32G

CPU核心≥8核心

推荐系统：Ubuntu 22.03 LTS

博主这里使用48核心，32g内存，Ubuntu22来演示

二、下载代码和模型文件

首先安装Git和python

apt-get install -y git git-lfs python3 python3-pip

下载代码文件并安装依赖

git clone https://gitcode.com/github.com/THUDM/ChatGLM3
#国外：git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
#国外：pip install -r requirements.txt

克隆模型文件前，请先确保你的git名字和邮箱都配置了；文件很大，克隆需要时间请耐心等待！

mkdir model
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

三、修改配置文件

首先，记录一下模型文件地址

pwd

进入basic_demo文件夹，编辑Web_demo_streamlit.py文件

cd basic_demo
nano Web_demo_streamlit.py

需要更改的地方有2个

修改完成后Ctrl+O保存，Ctrl+X退出

四、启动Chat GLM3-6B

streamlit run Web_demo_streamlit.py

打开你浏览器输入你IP:8501即可访问

参考：

无需显卡！用CPU搞定大模型运行部署！【详细手把手演示】_哔哩哔哩_bilibili

THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型 (github.com)

广告：

• 高性能海外服务器低至200元/年