technik
Technik
Wie wir ALLSmartLLM betreiben: Modelle, Hardware, Messungen und was dabei schiefging. Aus dem eigenen Betrieb, mit echten Zahlen.
Ich habe ein 4B-Modell auf 25 Jahre eigener Arbeit feintrainiert
Ein Modell auf Consumer-GPU lernte Webbauteile nach meinen Konventionen. Es funktionierte, aber die falsche Messung brachte mir mehr als das Training.
Zwei Modelle auf einem DGX Spark: 79 und 112 Token/s
Ein DGX Spark, zwei Modelle unter vLLM 0.28 und NVFP4. Was ging schief, wie schnell läuft es? Alle Irrwege und die Lösung im Artikel.