ollama - die gpu wird nicht mehr verwendet

[serie300]

Hallo

ollama ist bei mir auf FreeBSD bisher ohne weiteres Zutun mit GPU Unterstützung gelaufen. GPU ist eine RX570 mit 8GB VRAM. Vulkaninfo sagt mir, daß Vulkan läuft / die GraKa erkannt wird. Nachdem ich neulich die Quarterly Patches für Januar eingespielt habe, wird von ollama die GPU nicht mehr verwendet.
... msg="entering low vram mode" "total vram"="0 B" threshold="20.0 GiB" ... und radeontop meldet bei ollama run auch keine GPU Last.
Muß ich da neuerdings noch was zusätzliches installieren ? Oder an was könnte das liegen ?

 

[Andy_m4]

Stehen da evtl. noch mehr Informationen beim Start?
Insbesondere, wenn Du vorher die Umgebungsvariable OLLAMA_DEBUG auf 1 setzt ?

 

[mr44er]

Keine Ahnung von ollama, aber oftmals ist noch eine onboard-GPU aktiv die dann plötzlich die 0te/erste ist, also id0 wird zu id1 und andersrum. Diese Nummerierung unterscheidet sich auch noch zwischen rocm und vulkan. Falls das so sein sollte, müsste man irgendsowas wie -gpuid 1 oder -device 1 mitgeben, denn benutzt wird default immer die 0te.

Völlig unangebrachter Witz am Rande: frag' mal ollama, was es sein könnte.

 

[serie300]

Habe jetzt mit "OLLAMA_DEBUG=1 LLAMA_DEBUG=1 ollama start" gestartet.
Ziemlich am Anfang kommt schon
OLLAMA_SCHED_SPREAD:false OLLAMA_VULKAN:false ROCR_VISIBLE_DEVICES: http_proxy: https_proxy: no_proxy:]"
Ansonsten nichts zur GPU.

Die Onboard-Grafik scheint sauber im BIOS deaktiviert zu sein,
Aber vulkaninfo zeigt mir 2 GPUs , 1 davon die CPU.
GPU id : 0 (AMD Radeon RX 570 Series (RADV POLARIS10))
GPU id : 1 (llvmpipe (LLVM 19.1.7, 256 bits))
Device Properties and Extensions:
=================================
GPU0:
VkPhysicalDeviceProperties:
---------------------------
apiVersion = 1.3.278 (4206870)
driverVersion = 24.1.7 (100667399)
vendorID = 0x1002
deviceID = 0x67df
deviceType = PHYSICAL_DEVICE_TYPE_DISCRETE_GPU
deviceName = AMD Radeon RX 570 Series (RADV POLARIS10)
GPU1:
VkPhysicalDeviceProperties:
---------------------------
apiVersion = 1.3.278 (4206870)
driverVersion = 0.0.1 (1)
vendorID = 0x10005
deviceID = 0x0000
deviceType = PHYSICAL_DEVICE_TYPE_CPU
deviceName = llvmpipe (LLVM 19.1.7, 256 bits)


Nimmt ollama evtl die "CPU GPU" und warum ist die da ?

 

[mr44er]

warum ist die da ?

Die llvmpipe ist als fallback gedacht, um OpenGL auf der CPU zu rendern. Falls halt echt nichts anderes da ist.

Wie sicher bist du, dass ollama bei dir vorher unter vulkan lief und nicht unter rocm?
Ab rocm7 sind ein paar Dinge für alte GPUs rausgeflogen, die eh schon EOL sind. https://www.techpowerup.com/forums/threads/help-flash-mi50-to-radeon-vii-pro.329623/post-5631033

 

[serie300]

Ich weiß nicht, ob ollama mit Vulkan lief; jedenfalls habe ich gesehen, daß die GPU verwendet wurde.
Von rocm wußte ich bisher nichts. Hab jetzt angefangen danach zu suchen und festgestellt, daß die RX570 irgendwann nicht mehr unterstützt wurde. Was ich nicht rausgefunden habe, wie rocm installiert wird. Allerdings habe ich den amdgpu Treiber nicht geändert. Der ist aus Gründen gelocked.

 

[Yamagi]

ROCm unterstützt kein FreeBSD, daher stellt sich die Frage nicht. Und unter Linux ist das Monster sowas von fett, gute 14 Gigabyte auf Arch, dass man weiß, wenn man es installiert hat.

 

[mr44er]

ROCm unterstützt kein FreeBSD

Ach, da war ja was.

Hab jetzt angefangen danach zu suchen und festgestellt, daß die RX570 irgendwann nicht mehr unterstützt wurde.

Nur aus rocm rausgeflogen (man kann die tensor files händisch bauen oder woanders rauspicken und weiter mit rocm7 benutzen), aber da du das ja eh nicht hattest, bleibt ja nur vulkan übrig.

Allerdings habe ich den amdgpu Treiber nicht geändert. Der ist aus Gründen gelocked.

Dann würde ich zunächst den mal aktualisieren und nochmal gucken, was debug dann meint.

 

[serie300]

Hab den amdgpu neu gebaut. Nix. OLLAMA_VULKAN=1 habe ich gesetzt und pkg info ollama sagt, daß es mit Vulkan gebaut ist.

 

[mr44er]

Irgendein log-Schnipsel aus dem man was herauslesen könnte?