Eine OpenAI-kompatible API zu Open-Weights-Modellen auf eigener Hardware in Österreich. Aliase, die Policy tragen. Datenschutz in Stufen, bis hin zu einer LLM-gestützten Prüfinstanz. Und jede Zahl auf dieser Seite ist nächtlich gemessen, nicht versprochen.
Ihre Anwendung spricht mit einem Namen. Was dahinter passiert, welches Modell, welcher Anbieter, wie viel Datenschutz, konfigurieren Sie hier und ändern es jederzeit, ohne eine Zeile Code anzufassen. Probieren Sie es aus:
Open-Weights-Modelle auf Hardware, die uns gehört, in Oberösterreich. Keine Sub-Prozessoren, keine Drittländer, kein Weiterverkauf fremder APIs.
Ein Alias bündelt Modell, Anbieter und Policy. Er zeigt auf unsere Modelle, oder mit Ihrem eigenen Key nach außen. Modell wechseln heißt: hier umstellen, sonst nichts.
Pro Alias in Stufen: Namen, Adressen, IBANs, und API-Keys, Tokens und Zugangsdaten, die versehentlich im Prompt landen. Raus geht nur, was raus darf.
Für Unternehmen, die KI einsetzen wollen, ohne bei der Hardware zu raten.
Welche Modelle Sie wirklich brauchen und wie viel Rechenleistung dafür nötig ist, weiß vorher niemand. Deshalb drehen wir die Reihenfolge um: Sie arbeiten zuerst mit unserer Infrastruktur, Ihr tatsächlicher Verbrauch zeigt den Bedarf, und erst dann kaufen Sie passende Hardware. Den Betrieb übernimmt unsere Software, dieselbe API wie hier. Wir begleiten den Umstieg.
Mehr zu Whitelabel →Entwickler und Agenturen, die einen stabilen EU-Endpunkt für eigene Projekte brauchen. Hochschulen und Schulen für Lehre und Forschung, wenn die Anforderungen passen.
Hochrisiko-Anwendungen wie Personalauswahl, Kreditbewertung oder die Bewertung von Lernenden.
Beides sind valide Wege. Der Unterschied liegt in Rechnung, Datenschutz und darin, wem Sie im Zweifel eine Mail schreiben.
Das Smarte war nie das Modell. Es ist das drumherum: Routing, Policy, Datenschutz, Nachweis.
Ein Alias ist mehr als ein Modellname, er bündelt Modell, Provider und Datenschutz-Policy. Modell zentral tauschen, Ihre Anwendung ändert sich nie.
Aus, pseudonymize oder strikt: eine LLM auf eigener Hardware prüft zusätzlich auf indirekte Kennungen, bevor irgendwas die EU verlässt.
Eigene Hardware in Österreich. Keine Sub-Prozessoren, keine Drittländer. Externe Frontier-Modelle sind erreichbar, aber nur durch die Masking-Schicht.
Nächtliche Benchmarks mit veröffentlichter Methodik. Detection-Recall der Privacy-Schicht als Zahl, nicht als Adjektiv.
Pro Alias bis zu vier Ziele hintereinander. Kippt der primäre Provider (429, 5xx, Timeout), wandert der Request automatisch zum nächsten. Auch quer über ALLSmartLLM und OpenRouter-Free.
Bringen Sie Ihr OpenAI-, Anthropic- oder OpenRouter-Konto mit. Keys landen AES-256-GCM-verschlüsselt in einem Vault, Master-Key aus dem OS-Keyring. Klartext existiert nur im Request-Speicher, nie in Logs, nie in Backups.
Regelbasierte Policy-Prüfung pro Alias. „log_only" schreibt Verstöße nur ins Audit-Log, „enforce" bricht den Request. Für Compliance-Nachweis und harte Grenzen: keine Kunden-Daten in ext. Modelle, keine Kredit-Zahlen im Antwortstrom, keine PII in Trainingsdaten.
Ein Key bei uns, alle großen Anbieter darüber: eigene ALLSmartLLM-Hardware, OpenRouter (~300 Modelle), OpenAI, Anthropic, Groq, DeepSeek. Provider wechseln heißt: einen Alias umkonfigurieren.
Wenn Ihre Software OpenAI spricht, spricht sie schon ALLSmartLLM. Eine URL ändern.
10 Mio. Tokens gratis zum Testen und Einrichten. Keine Karte, kein Abo.
Ein Key, alle Modelle, alle Aliase. Nutzungsbasiert, sonst nichts.
Rufen Sie einen Alias auf, keine Modellversion. Datenschutz ist ein Parameter.
curl https://allsmartllm.com/v1/chat/completions \ -H "Authorization: Bearer $KEY" \ -d '{ "model": "frontier", "privacy": {"mode": "pseudonymize"}, "messages": [...] }'
Später auf eigener Hardware: gleiche API auf Ihrer Hardware. Sobald Ihre Box läuft, ändern Sie eine URL, fertig.
Geprüft, gebenchmarkt, aktuell gehalten. Aliase folgen unserer Empfehlung, oder Sie pinnen eine Version fest.
| Modell | Alias | Kann | Kontext | Lizenz | Qualität* | Gemessen | Status |
|---|---|---|---|---|---|---|---|
|
Qwen 3.8 27B
27B dense (NVFP4)
|
frontier
|
ToolsBildReasoning | 256K | Apache 2.0 | 28 | 38.0 t/s | geladen |
|
Qwen 3.8 Flash-Next
FP4 (NVIDIA FP4-Local, modelopt_mixed)
|
- | ToolsBildReasoning | 256K | Qwen Community 1.0 + NVIDIA Open Model Agreement |
40 | 36.5 t/s | internal use only |
|
Nemotron 3 Nano Omni
33B / 3B MoE (Q4_K_M)
|
- | ToolsBildReasoning | 256K | NVIDIA OML¹ | 10 | 41.8 t/s |
on-demand
Erststart 28 s
|
|
Nemotron 3.5 Bolt
74B / 9B MoE (IQ2_XXS (QAD))
|
judge
|
ToolsBildReasoning | 256K | OpenMDW-1.1 | 21 | 74.3 t/s | geladen |
|
Nemotron Cascade 2
32B dense (Q4_K_M)
|
- | ToolsReasoning | 256K | NVIDIA OML¹ | 12 | 44.2 t/s |
on-demand
Erststart 0,3 s
|
|
Phi 4
14B dense (Q4_K_M)
|
- | Text | 16K | MIT | 6 | 15.0 t/s |
on-demand
Erststart 3,5 s
|
|
Qwen 3.6 35B
35B / 3B MoE (FP8)
|
midvisionworker
|
ToolsBildReasoning | 256K | Apache 2.0 | 18 | 79.3 t/s | geladen |
|
Qwen 3.5 35B
35B / 3B MoE (Q4_K_M)
|
- | ToolsBildReasoning | 256K | Apache 2.0 | 19 | 33.2 t/s |
on-demand
Erststart 28 s
|
|
Granite 4.1
30B dense (Q4_K_M)
|
- | Tools | 256K | Apache 2.0 | 7 | 6.8 t/s |
on-demand
Erststart 42 s
|
|
Nemotron 3 Nano
30B / 3.5B MoE (Q4_K_M)
|
- | ToolsReasoning | 256K | NVIDIA OML¹ | 9 | 44.1 t/s |
on-demand
Erststart 6,3 s
|
|
Nemotron 3.5 Lightning
30B / 3B MoE (NVFP4 (ModelOpt, MIXED_PRECISION))
|
fastswift
|
ToolsReasoning | 256K | OpenMDW-1.1 | 13 | 110.1 t/s | geladen |
|
Qwen 3.6 27B
27B dense (Q4_K_M)
|
- | ToolsBildReasoning | 256K | Apache 2.0 | 21 | 7.4 t/s |
on-demand
Erststart 0,7 s
|
|
Gemma 4 26B
26B / 4B MoE (Q4_K_M)
|
- | ToolsBildReasoning | 256K | Apache 2.0 | 17 | 34.2 t/s |
on-demand
Erststart 33 s
|
|
Qwen3 Coder Next
80B dense (Q4_K_M)
|
coder
|
Tools | 256K | Apache 2.0 | 9 | 32.5 t/s |
on-demand
Erststart 0,4 s
|
|
Qwen3 Coder
31B dense (Q4_K_M)
|
- | Tools | 256K | Apache 2.0 | 10 | 42.0 t/s |
on-demand
Erststart 12 s
|
|
Qwen 3.5 9B
9B dense (Q4_K_M)
|
- | ToolsBildReasoning | 256K | Apache 2.0 | 13 | 18.4 t/s |
on-demand
Erststart 25 s
|
Diese beiden Modelle erzeugen keinen Text. Sie bekommen eine Lage und typisierte Fragen und liefern je Antwortoption eine Wahrscheinlichkeit, in einem Durchlauf und über einen eigenen Endpunkt. Darum stehen sie hier und nicht oben: mit den Sprachmodellen teilen sie kaum eine Spalte.
| Modell | Alias | Kontext | Lizenz | Dauer je Entscheidung | Status |
|---|---|---|---|---|---|
|
Clef Flash
9B dense (Q8_0)
|
clef-flash
|
256K | - | 445 ms | geladen |
|
Clef
27B dense (Q4_K_M)
|
clef
|
256K | - | 1,1 s |
on-demand
Erststart 12 s
|
In und Output getrennt, gestaffelt nach Modell-Kategorie. 10 Mio. Tokens gratis. Keine Grundgebühr, kein Abo, nur Nutzung.
| Kategorie | Input | Output |
|---|---|---|
| Reasoning | € 0,75 / Mtok | € 3 / Mtok |
| Multimodal | € 0,75 / Mtok | € 3 / Mtok |
| Code | € 0,50 / Mtok | € 2 / Mtok |
| Standard | € 0,50 / Mtok | € 2 / Mtok |
| Schnell | € 0,25 / Mtok | € 1 / Mtok |
| Entscheidung | € 0,25 / Mtok | € 1 / Mtok |
| Privacy-Detektor | € 0,10 / Mtok | nur wenn aktiv, auf Input-Tokens |
Die Liste stammt aus dem Log-Schema, nicht aus einem Werbetext. Über die API wird kein Inhalt gespeichert: weder Ihre Prompts noch die Antworten.
| Angabe | Über die API | Wozu |
|---|---|---|
| Ihre Prompts | nicht gespeichert | Verlassen den Gateway nie in Richtung Datenbank. |
| Die Antworten des Modells | nicht gespeichert | Werden ausgeliefert und danach verworfen. |
| Zeitpunkt | gespeichert | Abrechnung und Fehlersuche. |
| Angefragtes und benutztes Modell | gespeichert | Damit Sie sehen, was tatsächlich gerechnet hat. |
| Anzahl Tokens (rein und raus) | gespeichert | Grundlage der Abrechnung. |
| Dauer der Anfrage | gespeichert | Erkennt, wenn ein Backend langsam wird. |
| Status und Fehlermeldung | gespeichert | Support: ohne das können wir Ihnen nicht helfen. |
| Aufgerufener Endpunkt | gespeichert | Abrechnung und Missbrauchserkennung. |
| IP-Adresse und User-Agent | gespeichert | Missbrauchserkennung und Rate-Limits. 30 Tage. |
| Gewählter Privacy-Modus | gespeichert | Nachweis, welche Stufe für die Anfrage galt. |
/v1/. Gespeichert wird auf eigener Hardware in Oberösterreich.