Die smarte Schicht über dem Modell

Eine OpenAI-kompatible API zu Open-Weights-Modellen auf eigener Hardware in Österreich. Aliase, die Policy tragen. Datenschutz in Stufen, bis hin zu einer LLM-gestützten Prüfinstanz. Und jede Zahl auf dieser Seite ist nächtlich gemessen, nicht versprochen.

nightly-benchmark gemessen 22.10.2026
$ allsmartllm bench --nightly --stream
frontier 27B dense · loaded ......... 38.0 t/s
mid 35B · loaded ......... 79.3 t/s
fast 30B · loaded ......... 110.1 t/s
· privacy layer
pseudonymize streaming ............ pass-through
strict llm-check · local ..... on-hardware
· median of repeated runs, warm-up discarded
all systems measured ✓
1,637b+
Tokens ausgeliefert
110
Gemessener Durchsatz, bis zu
18
Open-Weights-Modelle
100
Daten bleiben in der EU
● Nächtlich gemessen mit veröffentlichter Methodik. Median wiederholter Läufe, Warm-up verworfen.

Eine Schicht, die alles an einer Stelle organisiert

Ihre Anwendung spricht mit einem Namen. Was dahinter passiert, welches Modell, welcher Anbieter, wie viel Datenschutz, konfigurieren Sie hier und ändern es jederzeit, ohne eine Zeile Code anzufassen. Probieren Sie es aus:

ALLSmartLLM
Alias big-fat-model
Ziel
aufgelöst auf ALLSmartLLM · Qwen 3.5 · 397B
Datenschutz
Nicht nötig. Der Prompt verlässt unser Haus ohnehin nicht.
Was Ihre App schickt
Bereite bitte die Antwort an Julia Berger vor, die neue Finanzvorständin von Innovatec Handel in Salzburg. Sie möchte den Status der offenen Rechnung 2026-0417 wissen. Zahlung ging an Konto AT61 1904 3002 3457 3201. Für den ERP-Import bitte den API-Key sk-live-9f2ac41b8e verwenden.
Was das Zielmodell sieht, ALLSmartLLM
Bereite bitte die Antwort an Julia Berger vor, die neue Finanzvorständin von Innovatec Handel in Salzburg. Sie möchte den Status der offenen Rechnung 2026-0417 wissen. Zahlung ging an Konto AT61 1904 3002 3457 3201. Für den ERP-Import bitte den API-Key sk-live-9f2ac41b8e verwenden.
● Unverändert, der Prompt bleibt auf ALLSmartLLM in Österreich.
* Ihr Key wird verschlüsselt gespeichert (AES-256, Master-Key im OS-Keyring, nie in der Datenbank, nie im Repo). Nur im Speicher des Request-Handlers dechiffriert, der ihn gerade verwendet. Nie geloggt, nie über einen Endpunkt zurückgegeben, jederzeit im Portal widerrufbar.

Eigene Inferenz

Open-Weights-Modelle auf Hardware, die uns gehört, in Oberösterreich. Keine Sub-Prozessoren, keine Drittländer, kein Weiterverkauf fremder APIs.

Ein Name, jedes Modell

Ein Alias bündelt Modell, Anbieter und Policy. Er zeigt auf unsere Modelle, oder mit Ihrem eigenen Key nach außen. Modell wechseln heißt: hier umstellen, sonst nichts.

Datenschutz zuschaltbar

Pro Alias in Stufen: Namen, Adressen, IBANs, und API-Keys, Tokens und Zugangsdaten, die versehentlich im Prompt landen. Raus geht nur, was raus darf.

Für wen ist ALLSmartLLM?

Für Unternehmen, die KI einsetzen wollen, ohne bei der Hardware zu raten.

Welche Modelle Sie wirklich brauchen und wie viel Rechenleistung dafür nötig ist, weiß vorher niemand. Deshalb drehen wir die Reihenfolge um: Sie arbeiten zuerst mit unserer Infrastruktur, Ihr tatsächlicher Verbrauch zeigt den Bedarf, und erst dann kaufen Sie passende Hardware. Den Betrieb übernimmt unsere Software, dieselbe API wie hier. Wir begleiten den Umstieg.

Mehr zu Whitelabel →
Außerdem

Entwickler und Agenturen, die einen stabilen EU-Endpunkt für eigene Projekte brauchen. Hochschulen und Schulen für Lehre und Forschung, wenn die Anforderungen passen.

Nicht für

Hochrisiko-Anwendungen wie Personalauswahl, Kreditbewertung oder die Bewertung von Lernenden.

OpenRouter direkt vs. via ALLSmartLLM

Beides sind valide Wege. Der Unterschied liegt in Rechnung, Datenschutz und darin, wem Sie im Zweifel eine Mail schreiben.

OpenRouter direkt
  • Datenschutzkein Layer, Prompt geht 1:1 raus
  • ComplianceUS-Anbieter, kein DPA
  • Rate-Limitpro OpenRouter-Key
  • Modell-WechselClient-Code ändern
  • SupportDiscord + Docs
  • Fallbackkeiner, 500 = Ende
  • Modell-Katalog~500 Modelle sofort
via ALLSmartLLM
  • DatenschutzGLiNER-Detektion + LLM-Check bei strict
  • ComplianceDSGVO, DPA mit ALL Smart GmbH
  • Rate-Limiteinheitlich über alle Provider Ihres Kontos
  • Modell-WechselAlias umhängen, Client unverändert
  • SupportPersönlicher Ansprechpartner, deutsch oder englisch
  • FallbackMulti-Provider-Chain automatisch
  • Modell-Katalog18 kuratiert + BYOK-Passthrough zu OpenRouter/OpenAI

Inferenz ist das Rohmaterial. Das hier ist die Schicht, die daraus etwas Brauchbares macht.

Das Smarte war nie das Modell. Es ist das drumherum: Routing, Policy, Datenschutz, Nachweis.

Eine API, Ihre Aliase

Ein Alias ist mehr als ein Modellname, er bündelt Modell, Provider und Datenschutz-Policy. Modell zentral tauschen, Ihre Anwendung ändert sich nie.

big-fat-model ──► kimi-k2.6 kimi-k3
// Alias aktualisiert · null Code-Änderungen · Apps laufen weiter

Datenschutz in Stufen

Aus, pseudonymize oder strikt: eine LLM auf eigener Hardware prüft zusätzlich auf indirekte Kennungen, bevor irgendwas die EU verlässt.

aus mask pseudonymize strict
Bitte antworte an <<PERSON_1>> von <<ORG_1>> wegen Rechnung <<IBAN_1>>
Mapping lebt nur im Request-Speicher. Nie gespeichert, nie geloggt.

Ihre Daten bleiben in Europa

Eigene Hardware in Österreich. Keine Sub-Prozessoren, keine Drittländer. Externe Frontier-Modelle sind erreichbar, aber nur durch die Masking-Schicht.

Ihre App ──► ALLSmartLLM · AT ─▍ Drittland
Prompts enden auf Hardware, die uns gehört, oder gehen maskiert raus, nach Ihrer Policy.

Gemessen, nicht versprochen

Nächtliche Benchmarks mit veröffentlichter Methodik. Detection-Recall der Privacy-Schicht als Zahl, nicht als Adjektiv.

Qwen 3.8 27B
38.0 t/s
Nemotron 3 Nano Omni
41.8 t/s
Nemotron 3.5 Bolt
74.3 t/s
Decode-Rate, Streaming, Median wiederholter nächtlicher Läufe.

Fallback-Kette gegen tote Routen

Pro Alias bis zu vier Ziele hintereinander. Kippt der primäre Provider (429, 5xx, Timeout), wandert der Request automatisch zum nächsten. Auch quer über ALLSmartLLM und OpenRouter-Free.

free ──► google:free ──► nvidia:free ──► deepseek:free
// automatisch, live im Stream, kein Retry-Code auf Ihrer Seite

Eigene Provider-Keys, verschlüsselt

Bringen Sie Ihr OpenAI-, Anthropic- oder OpenRouter-Konto mit. Keys landen AES-256-GCM-verschlüsselt in einem Vault, Master-Key aus dem OS-Keyring. Klartext existiert nur im Request-Speicher, nie in Logs, nie in Backups.

Ihr Key ──► Vault · AES-256-GCM ──► Provider-Call
AES-256-GCM · OS-Keyring · Zero-Log für Klartext

Guards, Regeln vor der Antwort

Regelbasierte Policy-Prüfung pro Alias. „log_only" schreibt Verstöße nur ins Audit-Log, „enforce" bricht den Request. Für Compliance-Nachweis und harte Grenzen: keine Kunden-Daten in ext. Modelle, keine Kredit-Zahlen im Antwortstrom, keine PII in Trainingsdaten.

aus log_only enforce
log_only für Beobachten · enforce für Blockieren

Nicht ein Provider, alle

Ein Key bei uns, alle großen Anbieter darüber: eigene ALLSmartLLM-Hardware, OpenRouter (~300 Modelle), OpenAI, Anthropic, Groq, DeepSeek. Provider wechseln heißt: einen Alias umkonfigurieren.

ALLSmartLLM OpenRouter OpenAI Anthropic Groq DeepSeek
6 Provider · 1 API · pro Alias frei mischbar

Erste Antwort in unter fünf Minuten

Wenn Ihre Software OpenAI spricht, spricht sie schon ALLSmartLLM. Eine URL ändern.

Schritt 1

Account anlegen

10 Mio. Tokens gratis zum Testen und Einrichten. Keine Karte, kein Abo.

Gratis-Tokens10.000.000
Schritt 2

API-Key holen

Ein Key, alle Modelle, alle Aliase. Nutzungsbasiert, sonst nichts.

ALLSMARTLLM_API_KEY••••••••••••
Schritt 3

Ersten Request senden

Rufen Sie einen Alias auf, keine Modellversion. Datenschutz ist ein Parameter.

curl https://allsmartllm.com/v1/chat/completions \
  -H "Authorization: Bearer $KEY" \
  -d '{
    "model": "frontier",
    "privacy": {"mode": "pseudonymize"},
    "messages": [...]
  }'

Später auf eigener Hardware: gleiche API auf Ihrer Hardware. Sobald Ihre Box läuft, ändern Sie eine URL, fertig.

Kuratierte Open-Weights-Modelle

Geprüft, gebenchmarkt, aktuell gehalten. Aliase folgen unserer Empfehlung, oder Sie pinnen eine Version fest.

Modell Alias Kann Kontext Lizenz Qualität* Gemessen Status
Qwen 3.8 27B
27B dense (NVFP4)
frontier
ToolsBildReasoning 256K Apache 2.0 28 38.0 t/s geladen
Qwen 3.8 Flash-Next
FP4 (NVIDIA FP4-Local, modelopt_mixed)
- ToolsBildReasoning 256K Qwen Community 1.0 +
NVIDIA Open Model Agreement
40 36.5 t/s internal use only
Nemotron 3 Nano Omni
33B / 3B MoE (Q4_K_M)
- ToolsBildReasoning 256K NVIDIA OML¹ 10 41.8 t/s on-demand
Erststart 28 s
Nemotron 3.5 Bolt
74B / 9B MoE (IQ2_XXS (QAD))
judge
ToolsBildReasoning 256K OpenMDW-1.1 21 74.3 t/s geladen
Nemotron Cascade 2
32B dense (Q4_K_M)
- ToolsReasoning 256K NVIDIA OML¹ 12 44.2 t/s on-demand
Erststart 0,3 s
Phi 4
14B dense (Q4_K_M)
- Text 16K MIT 6 15.0 t/s on-demand
Erststart 3,5 s
Qwen 3.6 35B
35B / 3B MoE (FP8)
midvisionworker
ToolsBildReasoning 256K Apache 2.0 18 79.3 t/s geladen
Qwen 3.5 35B
35B / 3B MoE (Q4_K_M)
- ToolsBildReasoning 256K Apache 2.0 19 33.2 t/s on-demand
Erststart 28 s
Granite 4.1
30B dense (Q4_K_M)
- Tools 256K Apache 2.0 7 6.8 t/s on-demand
Erststart 42 s
Nemotron 3 Nano
30B / 3.5B MoE (Q4_K_M)
- ToolsReasoning 256K NVIDIA OML¹ 9 44.1 t/s on-demand
Erststart 6,3 s
Nemotron 3.5 Lightning
30B / 3B MoE (NVFP4 (ModelOpt, MIXED_PRECISION))
fastswift
ToolsReasoning 256K OpenMDW-1.1 13 110.1 t/s geladen
Qwen 3.6 27B
27B dense (Q4_K_M)
- ToolsBildReasoning 256K Apache 2.0 21 7.4 t/s on-demand
Erststart 0,7 s
Gemma 4 26B
26B / 4B MoE (Q4_K_M)
- ToolsBildReasoning 256K Apache 2.0 17 34.2 t/s on-demand
Erststart 33 s
Qwen3 Coder Next
80B dense (Q4_K_M)
coder
Tools 256K Apache 2.0 9 32.5 t/s on-demand
Erststart 0,4 s
Qwen3 Coder
31B dense (Q4_K_M)
- Tools 256K Apache 2.0 10 42.0 t/s on-demand
Erststart 12 s
Qwen 3.5 9B
9B dense (Q4_K_M)
- ToolsBildReasoning 256K Apache 2.0 13 18.4 t/s on-demand
Erststart 25 s
16 Modelle · alle auf dedizierter Hardware in Oberösterreich
¹ NVIDIA OML = NVIDIA Open Model License
*Unabhängiger Vergleich: Artificial Analysis → Status und Verfügbarkeit →

Entscheidungsmodelle

Diese beiden Modelle erzeugen keinen Text. Sie bekommen eine Lage und typisierte Fragen und liefern je Antwortoption eine Wahrscheinlichkeit, in einem Durchlauf und über einen eigenen Endpunkt. Darum stehen sie hier und nicht oben: mit den Sprachmodellen teilen sie kaum eine Spalte.

Modell Alias Kontext Lizenz Dauer je Entscheidung Status
Clef Flash
9B dense (Q8_0)
clef-flash
256K - 445 ms geladen
Clef
27B dense (Q4_K_M)
clef
256K - 1,1 s on-demand
Erststart 12 s
2 Entscheidungsmodelle · Gemessen gegen eine feste Last aus drei Fragen, warm. Abgerechnet wird nur die Eingabe. Wie man sie aufruft

Ab 0,25 € pro Million Tokens. Das ist die Preisseite.

In und Output getrennt, gestaffelt nach Modell-Kategorie. 10 Mio. Tokens gratis. Keine Grundgebühr, kein Abo, nur Nutzung.

Kategorie Input Output
Reasoning € 0,75 / Mtok € 3 / Mtok
Multimodal € 0,75 / Mtok € 3 / Mtok
Code € 0,50 / Mtok € 2 / Mtok
Standard € 0,50 / Mtok € 2 / Mtok
Schnell € 0,25 / Mtok € 1 / Mtok
Entscheidung € 0,25 / Mtok € 1 / Mtok
Privacy-Detektor € 0,10 / Mtok nur wenn aktiv, auf Input-Tokens
Preise gelten für ALLSmartLLM-eigene Modelle. Der Privacy-Detektor kommt nur dazu, wenn Sie „mask", „pseudonymize" oder „strict" nutzt. Externe Provider (OpenRouter, OpenAI, Anthropic, …) laufen über Ihren eigenen Key. Sie zahlen direkt beim Anbieter, wir stellen dafür nichts in Rechnung.

Was wir speichern

Die Liste stammt aus dem Log-Schema, nicht aus einem Werbetext. Über die API wird kein Inhalt gespeichert: weder Ihre Prompts noch die Antworten.

Angabe Über die API Wozu
Ihre Prompts nicht gespeichert Verlassen den Gateway nie in Richtung Datenbank.
Die Antworten des Modells nicht gespeichert Werden ausgeliefert und danach verworfen.
Zeitpunkt gespeichert Abrechnung und Fehlersuche.
Angefragtes und benutztes Modell gespeichert Damit Sie sehen, was tatsächlich gerechnet hat.
Anzahl Tokens (rein und raus) gespeichert Grundlage der Abrechnung.
Dauer der Anfrage gespeichert Erkennt, wenn ein Backend langsam wird.
Status und Fehlermeldung gespeichert Support: ohne das können wir Ihnen nicht helfen.
Aufgerufener Endpunkt gespeichert Abrechnung und Missbrauchserkennung.
IP-Adresse und User-Agent gespeichert Missbrauchserkennung und Rate-Limits. 30 Tage.
Gewählter Privacy-Modus gespeichert Nachweis, welche Stufe für die Anfrage galt.
Die Angaben gelten für alle Endpunkte unter /v1/. Gespeichert wird auf eigener Hardware in Oberösterreich.