ALLSmartLLM ist eine Routing- und Policy-Schicht über Open-Weights-LLMs auf eigener Hardware. Alles unten erklärt, was diesen Satz brauchbar macht.
Wenn Ihr Code die OpenAI-API spricht, spricht er ALLSmartLLM. Eine URL, ein Key ändern, das SDK bleibt.
Das Gateway routet auf Aliase, nicht auf Modell-Namen. Ein Alias bündelt drei Dinge:
Ein einziger String in Ihrem Code, "model": "frontier", entscheidet, welches von 18 Open-Weights-Modellen läuft, ob es auf unserer Hardware bleibt und ob der Prompt pseudonymisiert reingeht. Zentrale Kontrolle, null Code-Änderungen bei Policy-Wechseln.
client = OpenAI( base_url="https://api.allsmartllm.com/v1", api_key="sk-your-key", ) resp = client.chat.completions.create( model="frontier", # alias, not a version privacy={"mode": "pseudonymize"}, messages=[...], )
Jeder Prompt kann sich für eine von drei Stufen personenbezogener Daten entscheiden. In jeder Stufe läuft zusätzlich ein eigener Scanner für Zugangsdaten.
Die drei Modi für personenbezogene Daten:
Erkannte Werte werden durch <<TYP_n>>-Platzhalter auf dem Weg zum Modell ersetzt. Die Zuordnung lebt nur im Request-Speicher. In der Antwort werden die Platzhalter wieder zurückgetauscht, bevor Sie sie sehen, Streaming inklusive.
Gleiche Erkennung + Ersetzung, aber die Zuordnung wird sofort verworfen nach dem Upstream-Aufruf. Der Client sieht die Platzhalter. Verwenden Sie das, wenn der Rohwert nie zurücklaufen soll, externe Provider, auditierte Kontexte.
Fügt einen Zweit-Check durch ein LLM auf unserer Hardware hinzu. Erkennt indirekte Kennungen, die Regex und NER verpassen, Rolle+Ort („die einzige Kardiologin in Neustadt"), Attribut-Ketten, einzigartige Beschreibungen. Additiv only: entfernt nie eine deterministische Detektion. Fail-closed bei jedem Fehler, ein Strict-Request, der nicht laufen kann, bekommt 503, nie ein stiller Downgrade.
Prompts sammeln versehentlich ständig Zugangsdaten ein, eine eingefügte .env, ein Curl-Beispiel, ein Stack-Trace mit Auth-Header. Auf dem Weg zu einem externen Provider wäre das ein echtes Leak. Sobald eine Datenschutz-Stufe gesetzt ist, scannen wir davor. Ohne Stufe geht der Prompt unverändert an das Modell.
Ab Werk erkannt:
Werte, Platzhalter, Offsets tauchen nie in einem Log-Eintrag, Metrik-Label oder in einer Fehlermeldung auf. Die Zuordnung existiert nur im Request-Handler und wird garbage-collected, sobald die Antwort raus ist.
Das Gateway ist eine Sache. Die Maschinen, die antworten, sind eine andere. Beide sind in Österreich.
Jeder Request an einen ALLSmartLLM-Alias, der auf ein Open-Weights-Modell zielt, landet auf unserer eigenen Hardware in Oberösterreich. Keine Sub-Prozessoren. Keine Drittländer-Hops.
Externe Frontier-Modelle sind trotzdem erreichbar, durch die Mask-/Pseudonymize-Schicht, und nur wenn Sie den Provider explizit mit Ihrem eigenen Key angebunden haben. Ihr Vertrag mit dem Provider ist Ihr Vertrag; wir vermitteln keinen Zugang. Was wir tun, ist verhindern, dass ein Prompt die EU verlässt, ohne dass die Privacy-Schicht ihn gesehen hat.
Durchsatz, Detection-Recall, Latenz, alles mit einer Zahl drauf ist mit veröffentlichter Methodik gebenchmarkt. Wenn sich eine Zahl ändert, ändert sie sich, weil ein Lauf das gesagt hat.
Der Nightly-Bench pingt jedes geladene Modell mit einem Standard-Prompt, misst die Streaming-Decode-Rate, protokolliert den Median aus drei Läufen. Warm-up wird verworfen. Diese Zahl steht unter „Gemessen" auf der Startseite und in der Modell-Tabelle.
Detection-Qualität hat ihr eigenes Eval-Set: ~50 gelabelte deutschsprachige Beispiele über direkte PII (E-Mail, Telefon, IBAN, SVNR), kontextabhängige Kennungen für den Strict-Mode-Check und realistische Zugangsdaten für den Secret-Scanner. Precision + Recall pro Klasse, im Repo veröffentlicht. Wenn wir „erkennt OpenAI-Keys" sagen, ist das kein Marketing, das ist ein Test, der besteht.
10 Millionen Tokens gratis. Keine Karte, kein Abo.