refs #1 using older version
This commit is contained in:
37
ollama.yaml
Normal file
37
ollama.yaml
Normal file
@@ -0,0 +1,37 @@
|
|||||||
|
# podman run -d --replace --name ollama \
|
||||||
|
# --device /dev/kfd --device /dev/dri \
|
||||||
|
# --group-add keep-groups -e HSA_OVERRIDE_GFX_VERSION="10.3.0" \
|
||||||
|
# -v ollama-data:/root/.ollama -p 11434:11434 ollama/ollama:0.12.3-rocm
|
||||||
|
|
||||||
|
# RODO: GPU issues: https://github.com/ollama/ollama/issues/12893
|
||||||
|
---
|
||||||
|
apiVersion: v1
|
||||||
|
kind: Pod
|
||||||
|
metadata:
|
||||||
|
annotations:
|
||||||
|
run.oci.keep_original_groups: "1"
|
||||||
|
cdi.k8s.io/DeviceName.0: "podman.io/device=/dev/kfd"
|
||||||
|
cdi.k8s.io/DeviceName.1: "podman.io/device=/dev/dri"
|
||||||
|
labels:
|
||||||
|
app: ollama
|
||||||
|
name: ollama
|
||||||
|
spec:
|
||||||
|
containers:
|
||||||
|
- args:
|
||||||
|
- serve
|
||||||
|
env:
|
||||||
|
- name: HSA_OVERRIDE_GFX_VERSION
|
||||||
|
value: 10.3.0
|
||||||
|
image: docker.io/ollama/ollama:rocm
|
||||||
|
name: ollama
|
||||||
|
ports:
|
||||||
|
- containerPort: 11434
|
||||||
|
hostPort: 11434
|
||||||
|
volumeMounts:
|
||||||
|
- mountPath: /root/.ollama
|
||||||
|
name: ollama-data-pvc
|
||||||
|
volumes:
|
||||||
|
- name: ollama-data-pvc
|
||||||
|
persistentVolumeClaim:
|
||||||
|
claimName: ollama-data
|
||||||
|
|
||||||
Reference in New Issue
Block a user