怎么本地CPU部署ChatGLM3-6B

大家好,我是孙子烧烤!本次我教大家如何部署Chat GLM-6B并且用CPU模式运行!

一、环境准备

内存≥32G

CPU核心≥8核心

推荐系统:Ubuntu 22.03 LTS

博主这里使用48核心,32g内存,Ubuntu22来演示

二、下载代码和模型文件

首先安装Git和python

apt-get install -y git git-lfs python3 python3-pip

下载代码文件并安装依赖

git clone https://gitcode.com/github.com/THUDM/ChatGLM3
#国外:git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
#国外:pip install -r requirements.txt

克隆模型文件前,请先确保你的git名字和邮箱都配置了;文件很大,克隆需要时间请耐心等待!

mkdir model
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

三、修改配置文件

首先,记录一下模型文件地址

pwd

进入basic_demo文件夹,编辑Web_demo_streamlit.py文件

cd basic_demo
nano Web_demo_streamlit.py

需要更改的地方有2个

20240313213317709-image

20240313213504680-image

修改完成后Ctrl+O保存,Ctrl+X退出

四、启动Chat GLM3-6B

streamlit run Web_demo_streamlit.py

打开你浏览器输入你IP:8501即可访问

参考:

无需显卡!用CPU搞定大模型运行部署!【详细手把手演示】_哔哩哔哩_bilibili

THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型 (github.com)

© 版权声明
THE END
喜欢就支持一下吧
点赞10 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容