Kleine Modelle für genau eine Aufgabe. In den Hauptwerten so gut wie große, ein Vielfaches schneller.
Wir trainieren eigene Modelle für Entscheidungen, die jede KI-Anwendung ständig trifft: Was will diese Nachricht? Steckt in diesem Prompt etwas Personenbezogenes? Sie laufen auf unserer Hardware in Österreich. Hier steht, was sie können, wie wir sie gemessen haben und wo sie noch scheitern.
Warum wir eigene Modelle trainieren
Große Modelle sind Generalisten
Sie können fast alles, sind für eine eng umrissene Prüfung aber zu groß: jede Anfrage durch ein Modell mit 9 bis 35 Milliarden Parametern kostet Hunderte Millisekunden bis mehrere Sekunden und viel Grafikspeicher.
Spezialisiert ist schneller
Ein kleines Modell, das genau eine Aufgabe lernt, trifft sie in den Hauptwerten etwa so gut wie ein großes und ist je nach Aufgabe 5 bis mehrere hundert Mal schneller. So prüfen wir jeden Prompt, ohne dass die Prüfung spürbar Zeit kostet.
Die Prüfung bleibt im Haus
Eine Datenschutzprüfung, die den Text erst an ein fremdes Modell schickt, verfehlt ihren Zweck. Unsere Modelle laufen auf eigener Hardware in Österreich, bevor irgendetwas das Haus verlässt.
Selbst im Einsatz, offen geteilt
Wir setzen die Modelle in unseren eigenen Anwendungen ein und betreiben sie selbst. Öffentliche Fassungen stehen auf Hugging Face.
Wie wir trainieren und messen
Nur erfundene und öffentliche Daten
Die Trainingstexte sind erfunden, geschrieben von Sprachmodellen und von uns selbst; ALLSmartIntent lernt zusätzlich aus öffentlichen Datensätzen. Kein Kundenprompt fließt ins Training.
Gegengeprüft
Die Markierungen der Trainingstexte werden automatisch gegengeprüft. Was dabei auffällt, sehen wir uns an.
Blind gemessen
Die Testsätze schreiben eigenständige Agenten, die weder Modell noch Trainingsdaten kennen. Wo wir aus Fehlern gelernt haben, kommt ein neuer Blindsatz dazu.
Daten bleiben intern
Trainingsdaten und Testsätze veröffentlichen wir nicht, Methode und Zahlen schon.
So nah liegen die öffentlichen Fassungen an denen bei ALLSmartLLM
| heikle Texte gefunden | Fehlalarme | Precision | |
|---|---|---|---|
| bei ALLSmartLLM | 147/151 | 7/149 | 95,5 % |
| auf Hugging Face | 144/151 | 14/149 | 91,1 % |
| Stellen gefunden | harmlose Texte verändert | Precision | |
|---|---|---|---|
| bei ALLSmartLLM | 86,8 % | 5/112 | 95,7 % |
| auf Hugging Face | 86,8 % | 5/112 | 92,0 % |
| Werte gefunden | Personen gefunden | Precision | |
|---|---|---|---|
| bei ALLSmartLLM | 94,4 % | 97,4 % | 94,4 % |
| auf Hugging Face | 93,8 % | 96,1 % | 92,1 % |
Alle Modelle laufen auf eigener Hardware in Österreich; die drei der Privacy-Schicht zusammen in rund 10 GB Grafikspeicher.