ollama and web-ui in one pod
This commit is contained in:
@@ -1,3 +1,8 @@
|
|||||||
# podman
|
# podman
|
||||||
|
|
||||||
podman playground yamls
|
podman playground yamls
|
||||||
|
|
||||||
|
|
||||||
|
# Ollama and open-webui pod
|
||||||
|
|
||||||
|
`podman kube play ollama-open-webui.yaml `
|
||||||
|
|||||||
@@ -21,7 +21,6 @@ spec:
|
|||||||
value: "10.3.0"
|
value: "10.3.0"
|
||||||
ports:
|
ports:
|
||||||
- containerPort: 11434
|
- containerPort: 11434
|
||||||
hostPort: 11434
|
|
||||||
volumeMounts:
|
volumeMounts:
|
||||||
- name: ollama-data-pvc
|
- name: ollama-data-pvc
|
||||||
mountPath: /root/.ollama
|
mountPath: /root/.ollama
|
||||||
@@ -39,7 +38,6 @@ spec:
|
|||||||
image: ghcr.io/open-webui/open-webui:main
|
image: ghcr.io/open-webui/open-webui:main
|
||||||
ports:
|
ports:
|
||||||
- containerPort: 8080
|
- containerPort: 8080
|
||||||
hostPort: 3000
|
|
||||||
volumeMounts:
|
volumeMounts:
|
||||||
- name: open-webui-pvc
|
- name: open-webui-pvc
|
||||||
mountPath: /app/backend/data
|
mountPath: /app/backend/data
|
||||||
@@ -66,4 +64,3 @@ spec:
|
|||||||
hostPath:
|
hostPath:
|
||||||
path: /dev/kfd
|
path: /dev/kfd
|
||||||
type: CharDevice
|
type: CharDevice
|
||||||
b
|
|
||||||
49
ollama.yaml
49
ollama.yaml
@@ -1,49 +0,0 @@
|
|||||||
# podman run -d --replace --name ollama \
|
|
||||||
# --device /dev/kfd --device /dev/dri \
|
|
||||||
# --group-add keep-groups -e HSA_OVERRIDE_GFX_VERSION="10.3.0" \
|
|
||||||
# -v ollama-data:/root/.ollama -p 11434:11434 ollama/ollama:0.12.3-rocm
|
|
||||||
|
|
||||||
# RODO: GPU issues: https://github.com/ollama/ollama/issues/12893
|
|
||||||
---
|
|
||||||
apiVersion: v1
|
|
||||||
kind: Pod
|
|
||||||
metadata:
|
|
||||||
annotations:
|
|
||||||
run.oci.keep_original_groups: "1"
|
|
||||||
cdi.k8s.io/DeviceName.0: "podman.io/device=/dev/kfd"
|
|
||||||
cdi.k8s.io/DeviceName.1: "podman.io/device=/dev/dri"
|
|
||||||
labels:
|
|
||||||
app: ollama
|
|
||||||
name: ollama
|
|
||||||
spec:
|
|
||||||
containers:
|
|
||||||
- args:
|
|
||||||
- serve
|
|
||||||
env:
|
|
||||||
- name: HSA_OVERRIDE_GFX_VERSION
|
|
||||||
value: 10.3.0
|
|
||||||
image: docker.io/ollama/ollama:0.12.3-rocm
|
|
||||||
name: ollama
|
|
||||||
ports:
|
|
||||||
- containerPort: 11434
|
|
||||||
hostPort: 11434
|
|
||||||
volumeMounts:
|
|
||||||
- mountPath: /root/.ollama
|
|
||||||
name: ollama-data-pvc
|
|
||||||
- name: dev-dri
|
|
||||||
mountPath: /dev/dri
|
|
||||||
- name: dev-kfd
|
|
||||||
mountPath: /dev/kfd
|
|
||||||
volumes:
|
|
||||||
- name: ollama-data-pvc
|
|
||||||
persistentVolumeClaim:
|
|
||||||
claimName: ollama-data
|
|
||||||
- name: dev-dri
|
|
||||||
hostPath:
|
|
||||||
path: /dev/dri
|
|
||||||
type: Directory
|
|
||||||
- name: dev-kfd
|
|
||||||
hostPath:
|
|
||||||
path: /dev/kfd
|
|
||||||
type: CharDevice
|
|
||||||
|
|
||||||
@@ -1,28 +0,0 @@
|
|||||||
# podman run -d --replace --network=slirp4netns:allow_host_loopback=true \
|
|
||||||
# --name=open-webui -p 3000:8080 -v open-webui:/app/backend/data \
|
|
||||||
# ghcr.io/open-webui/open-webui:main
|
|
||||||
|
|
||||||
---
|
|
||||||
apiVersion: v1
|
|
||||||
kind: Pod
|
|
||||||
metadata:
|
|
||||||
creationTimestamp: "2025-11-06T17:34:58Z"
|
|
||||||
labels:
|
|
||||||
app: open-webui
|
|
||||||
name: open-webui
|
|
||||||
spec:
|
|
||||||
containers:
|
|
||||||
- image: ghcr.io/open-webui/open-webui:main
|
|
||||||
name: open-webui
|
|
||||||
ports:
|
|
||||||
- containerPort: 8080
|
|
||||||
hostPort: 3000
|
|
||||||
securityContext: {}
|
|
||||||
volumeMounts:
|
|
||||||
- mountPath: /app/backend/data
|
|
||||||
name: open-webui-pvc
|
|
||||||
volumes:
|
|
||||||
- name: open-webui-pvc
|
|
||||||
persistentVolumeClaim:
|
|
||||||
claimName: open-webui
|
|
||||||
|
|
||||||
Reference in New Issue
Block a user