使用kubernetes部署ollama、DeepSeek和openwebui-云港网络

AI 文章摘要

正在生成文章摘要，请稍候...

本文介绍了如何在Kubernetes上通过单个YAML文件部署Ollama、DeepSeek模型及OpenWebUI。 **部署要点：** 1. **架构**：使用Deployment创建一个Pod，内部包含两个容器（Ollama主容器和OpenWebUI Sidecar容器），并通过Service（NodePort类型，端口31780）对外暴露服务。 2. **配置**：OpenWebUI通过环境变量`OLLAMA_API_BASE_URL`设置为`http://localhost:11434`实现容器内通信。国内用户需注意替换镜像源。 3. **使用流程**：部署后，通过浏览器访问节点IP和端口。首次使用需在OpenWebUI中注册管理员账号，然后在设置中配置Ollama API连接（URL为本地地址，密钥为配置文件中设定的值），加载模型后即可开始对话。

所需yaml文件

此处内容已隐藏，请评论后刷新页面查看.

如果国内无法使用ghcr.io，请使用毫秒镜像

如果有对外线上使用需求，请将123456替换为更安全的Key

启动服务

kubectl create -f <your-yaml-file>

查看服务状态

# 查询Pod状态
kubectl get pods
# 查询open-webui日志
kubectl logs <pod-name> -c openwebui
# 查询ollama日志
kubectl logs <pod-name> -c ollama
# 查询启动状态
kubectl describe -f <your-yaml-file>

查询Pod-Name可通过kubectl get pods查看

启动成功应是：

查询端口与访问openwebui

执行kubectl get pod -o wide命令，查询ip信息与端口信息

NAME                                 READY   STATUS    RESTARTS   AGE   IP              NODE          NOMINATED NODE   READINESS GATES
ollama-with-webui-64bc7c6bfc-4gxlt   2/2     Running   0          30m   172.16.194.69   k8s-worker1   <none>           <none>

我们可以看到服务部署在worker2节点上

浏览器访问http://节点IP:31780，即可访问到openwebui

配置openwebui

设置管理员账号

设置ollama

点击用户头像=>设置=>管理员设置=>外部连接，开启Ollama API，新增配置

URL填写：http://localhost:11434

密钥填写：123456

填写以后，点击图片指向的圆圈进行测试连接

此时，应提示已验证服务器连接，如果报错，请查看Pod日志！

点击模型，加载出相关模型即可回到首页进行提问

广告：

高性能海外服务器低至200元/年

文章版权声明 1、本网站名称：孙子烧烤知识分享站
2、本站永久网址：https://www.sunzishaokao.com
3、本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，[email protected]
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。

THE END