Logik-Index

Der Logik-Index misst, wie zuverlässig ein Modell schließt, wenn sich die Lösung ausschließlich aus den gegebenen Angaben ergibt, so wie bei Regeln, Bedingungen und Prüfschritten in Unternehmensanwendungen. Er ist kein allgemeiner Intelligenz- oder Wissenstest und nicht mit Indizes wie dem von Artificial Analysis vergleichbar.

{
  "model": "swift",
  "thinking_token_budget": 30000,
  "messages": [ … ]
}

Alle Werte

Kosten je Aufgabe in Euro-Cent: bei unseren Modellen zum Listenpreis des Tarifs; ¹ bei fremden Modellen der bei OpenRouter tatsächlich bezahlte Betrag, umgerechnet zum EZB-Referenzkurs vom 23.10.2026 (1 € = 1,1193 $). Dauer nur bei unseren Modellen, fremde laufen auf anderer Hardware.

† Qwen 3.8 27B (Budget 8.192): Dasselbe Modell wie Qwen 3.8 27B, aufgerufen mit thinking_token_budget 8.192. Bei den schwersten Rätseln (6 Häuser) liegt auch hier die Grenze.

† Qwen 3.8 27B: Mit Budget 2.048 reicht das Denken für die größeren Rätsel nicht. Mit Budget 8.192 löst dasselbe Modell deutlich mehr, siehe eigener Eintrag.

† Nemotron 3.5 Bolt: Bei schweren Rätseln denkt Bolt oft bis zur Grenze von 32.768 Token, ohne zu antworten (37 von 120 Rätseln). Gewertet wie ein Fehler.

† Qwen 3.8 Flash-Next: Im Teil „Logik gegen Weltwissen“ logisch fehlerfrei; alle Abzüge dort sind falsch geschriebene Antworten („UNGLÜLTIG“ statt „UNGÜLTIG“). Gewertet wie ein Fehler, weil eine Auswertung daran ebenso scheitert.

† Gemma 4 26B: Läuft unter Ollama ohne einstellbares Denk-Budget und denkt bei schweren Aufgaben lange. Im Rätsel-Teil sind alle Abzüge Abbrüche nach unserem Zeitlimit von 10 Minuten (55 von 120 Rätseln), keine einzige falsche Antwort.

† Qwen 3.5 9B: Denkt nicht in einem eigenen Abschnitt, sondern schreibt den Lösungsweg direkt in die Antwort; die Token stehen deshalb vollständig bei der Antwort. Etwa jede zehnte Antwort endet ohne klares Urteil oder mit verschriebenem Urteil („UNGLTIG“). Gewertet wie ein Fehler.

Wie wir messen

Prämisse 1: Alle Blorks sind Wumps.
Prämisse 2: Keine Wumps sind Zirgs.
Schlussfolgerung: Keine Blorks sind Zirgs.
Folgt die Schlussfolgerung zwingend?
→ GÜLTIG

In einer Reihe stehen 4 Häuser, nummeriert von 1 (ganz links) bis 4 (ganz rechts). In jedem Haus wohnt genau eine Person. Jeder der folgenden Werte kommt genau einmal vor:
- Name: Anna, Bernd, Clara, David
- Farbe: rot, grün, blau, gelb
- Haustier: Hund, Katze, Vogel, Fisch

Hinweise:
1. Die Person mit dem Vogel wohnt irgendwo links von David.
2. Die Person mit dem Fisch und David wohnen im selben Haus.
3. Die Person im blauen Haus wohnt direkt links von der Person mit der Katze.
4. Die Person im blauen Haus wohnt irgendwo links von der Person mit dem Hund.
5. Bernd wohnt in Haus 2.
6. Die Person im gelben Haus und die Person mit der Katze wohnen im selben Haus.
7. Clara wohnt in Haus 3.
8. Die Person im grünen Haus wohnt direkt neben der Person mit dem Hund.

Welche Farbe hat das Haus von Clara?
→ rot

Vergleichsbedingungen

Jedes Modell ist in dem Zustand gemessen, in dem es praktisch genutzt wird. Das ist kein Laborvergleich unter identischen Bedingungen. Unsere Modelle unter vLLM laufen mit dem angegebenen Denk-Budget, Gemma 4 26B, Nemotron Cascade 2 und Qwen 3.5 9B unter Ollama ohne Budget. Für alle unsere Modelle gilt ein Zeitlimit von 10 Minuten je Aufgabe. Ausnahme: Schlussketten und Logik gegen Weltwissen liefen bei den Modellen unter vLLM noch mit 5 Minuten; betroffen waren 2 von 210 Antworten bei Qwen 3.6 35B. Die fremden Modelle laufen direkt über OpenRouter ohne unsere Privacy-Schicht, mit der Einstellung für hohen Denkaufwand und höchstens 32.000 Token je Antwort.

Fremde Modelle: Bei OpenRouter beantworten je nach Verfügbarkeit verschiedene Anbieter eine Anfrage, auch mit unterschiedlicher Quantisierung. Welcher Anbieter geantwortet hat, ist je Antwort protokolliert; je nach Modell waren es 1 bis 17 verschiedene. Die Ergebnisse beschreiben daher die gemessene Bereitstellung, nicht zwingend das Modell selbst. Zugelassen waren nur Anbieter, die die Daten nicht für Training verwenden.

Extern gemessen: Modelle, die auf unserer Hardware laufen würden, die wir aber nicht betreiben. Wir haben sie über OpenRouter mit demselben Test gemessen, als Blick über den Tellerrand. Index und Token sind vergleichbar, Dauer nicht, und wie ein Anbieter das Modell quantisiert, entscheidet er selbst.

Anbindbar: Open-Weight-Modelle, die wir nicht selbst betreiben, etwa weil sie für unsere Hardware zu groß sind. Über unsere Privacy-Schicht können Sie sie trotzdem einbinden: Personenbezogene Daten werden vor dem Versand durch Platzhalter ersetzt. Gemessen über OpenRouter mit demselben Test.

Nur API: Modelle ohne offene Gewichte, die es nur über die Schnittstelle des Herstellers gibt. Wir können sie nicht selbst betreiben, über die Privacy-Schicht aber einbinden. Gemessen über OpenRouter mit demselben Test.

Intern: Läuft auf unseren Sparks, ist aus Lizenzgründen aber nur für den eigenen Gebrauch freigegeben.

Den Aufgabensatz veröffentlichen wir nicht: Ein bekannter Test lässt sich gezielt trainieren und misst dann nichts mehr.