Wollte ich nur mal mitteilen:
Ich hab mir auf FreeBSD 15 gerade llama.cpp [1] mit Vulkan Backend installiert und bekomme eine super Performance.
Auf einer Radeon 6800 und dem Model gpt-oss-20b-MXFP4.gguf bekomme ich fast 110 tok/s. In Worten: Hundertzehn.
Auf Windows mit LM-Studio und Vulkan Backend bekomme ich etwa 70. Mit ROCm Backend gut 90.
Wunderbar.
[1] https://github.com/ggml-org/llama.cpp
Ich hab mir auf FreeBSD 15 gerade llama.cpp [1] mit Vulkan Backend installiert und bekomme eine super Performance.
Auf einer Radeon 6800 und dem Model gpt-oss-20b-MXFP4.gguf bekomme ich fast 110 tok/s. In Worten: Hundertzehn.
Auf Windows mit LM-Studio und Vulkan Backend bekomme ich etwa 70. Mit ROCm Backend gut 90.
Wunderbar.
[1] https://github.com/ggml-org/llama.cpp