AI 文章摘要
正在生成文章摘要，请稍候...
本文介绍了如何在本地使用CPU部署运行ChatGLM3-6B模型。主要步骤包括：
1. **环境准备**：要求内存≥32GB，CPU核心≥8核，推荐使用Ubuntu 22.04系统。
2. **下载代码与模型**：安装Git和Python依赖，克隆ChatGLM3的GitHub仓库及模型文件。
3. **修改配置**：进入`basic_demo`文件夹，修改`Web_demo_streamlit.py`中的模型文件路径。
4. **启动运行**：使用`streamlit run`命令启动脚本，并通过浏览器访问本地8501端口即可使用。
大家好，我是孙子烧烤！本次我教大家如何部署Chat GLM-6B并且用CPU模式运行！
一、环境准备
内存≥32G
CPU核心≥8核心
推荐系统：Ubuntu 22.03 LTS
博主这里使用48核心，32g内存，Ubuntu22来演示
二、下载代码和模型文件
首先安装Git和python
apt-get install -y git git-lfs python3 python3-pip下载代码文件并安装依赖
git clone https://gitcode.com/github.com/THUDM/ChatGLM3
#国外：git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
#国外：pip install -r requirements.txt克隆模型文件前，请先确保你的git名字和邮箱都配置了；文件很大，克隆需要时间请耐心等待！
mkdir model
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git三、修改配置文件
首先，记录一下模型文件地址
pwd进入basic_demo文件夹，编辑Web_demo_streamlit.py文件
cd basic_demo
nano Web_demo_streamlit.py需要更改的地方有2个
修改完成后Ctrl+O保存，Ctrl+X退出
四、启动Chat GLM3-6B
streamlit run Web_demo_streamlit.py打开你浏览器输入你IP:8501即可访问
参考：
无需显卡！用CPU搞定大模型运行部署！【详细手把手演示】_哔哩哔哩_bilibili
THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型 (github.com)
广告：
© 版权声明
THE END
暂无评论内容