使用kubernetes部署ollama、DeepSeek和openwebui

所需yaml文件

如果国内无法使用ghcr.io，请使用毫秒镜像

如果有对外线上使用需求，请将123456替换为更安全的Key

启动服务

kubectl create -f <your-yaml-file>

查看服务状态

# 查询Pod状态
kubectl get pods
# 查询open-webui日志
kubectl logs <pod-name> -c openwebui
# 查询ollama日志
kubectl logs <pod-name> -c ollama
# 查询启动状态
kubectl describe -f <your-yaml-file>

查询Pod-Name可通过kubectl get pods查看

启动成功应是：

查询端口与访问openwebui

执行kubectl get pod -o wide命令，查询ip信息与端口信息

NAME                                 READY   STATUS    RESTARTS   AGE   IP              NODE          NOMINATED NODE   READINESS GATES
ollama-with-webui-64bc7c6bfc-4gxlt   2/2     Running   0          30m   172.16.194.69   k8s-worker1   <none>           <none>

我们可以看到服务部署在worker2节点上

浏览器访问http://节点IP:31780，即可访问到openwebui

配置openwebui

设置管理员账号

设置ollama

点击用户头像=>设置=>管理员设置=>外部连接，开启Ollama API，新增配置

URL填写：http://localhost:11434

密钥填写：123456

填写以后，点击图片指向的圆圈进行测试连接

此时，应提示已验证服务器连接，如果报错，请查看Pod日志！

点击模型，加载出相关模型即可回到首页进行提问

广告：

• 高性能海外服务器低至200元/年