Lokaler Inferenz-Server für Sprachmodelle
Lokaler Inferenz-Stack: zwei MI50, llama.cpp, Open WebUI, RAG mit MariaDB-Vektorsuche und ClickHouse.
Qwen 27B auf zwei AMD Instinct MI50 unter ROCm — Teststand mit Open WebUI, RAG und MariaDB-Vektorsuche.
Ausgangssituation
Auswertungen an Maschinen- oder Dokumentendaten dürfen oft kein fremdes Rechenzentrum erreichen. Gesucht war ein Inferenz-Stack, der vollständig im eigenen Netz läuft.
Problem
Consumer-GPUs mit genug Speicher sind teuer. Zwei gebrauchte AMD Instinct MI50 (je 16 GB HBM2) bringen 32 GiB, verlangen dafür ROCm, Kühlung und saubere PCIe-Anbindung.
Randbedingungen
HPE ProLiant DL380 Gen10 unter Proxmox VE, zwei Xeon Gold 6138, 251 GiB RAM. Modellgröße 20,9 GiB in 6-Bit — eine Karte reicht nicht. Kein Cloud-Dienst.
Lösung
llama.cpp verteilt Layer über beide Karten. Open WebUI als Oberfläche, eigene RAG-Schnittstelle dazwischen. Embeddings und Ähnlichkeitssuche in MariaDB 11.8 (nativ), ClickHouse für analytische Bestände.
Umsetzung
Größter Aufwand: ROCm unter Proxmox und ein llama.cpp-Build, der beide MI50 zuverlässig nutzt. Hybrid-Thinking-Modell: ohne reduziertes Reasoning wirkt der Stack „zu langsam“. Messung bei mittlerem Reasoning (689/724 Token): 144,6 tok/s Prompt, 23,3 tok/s Ausgabe, TTFT ~4,8 s; Speculative Decoding aktiv (~50 % Treffer).
Ergebnis
- Lauffähiger Inferenz-Server ohne externe API
- RAG mit MariaDB-Vektorsuche und ClickHouse
- Belastbare Einschätzung: ~23 tok/s Ausgabe — Dialog und Auswertung, nicht Massennutzer
- Wetter-Abruf als End-to-End-Test über eigene Open-WebUI-Erweiterung
Relevanz für Kunden
Zeigt, dass lokale KI auf Unternehmensdaten machbar ist — inklusive der Hardware- und Betriebsarbeit, die man nicht googeln kann.