ALLSmartLLM auf Ihrer eigenen Hardware

Sie wollen die komplette Stack bei sich betreiben — DSGVO im eigenen Netz, Daten verlassen den Standort nie. Wir liefern Setup und Betrieb.

Was wir aufsetzen

Denselben Stack den wir auch unter allsmartllm.com betreiben — Ihr Server, Ihr Netzwerk.

  • Gateway (Routing, Priority-Lanes, Usage-Tracking)
  • Portal + Zentrale (Kunden-Verwaltung, Keys, BYOK-Vault)
  • Privacy-Sidecar (GLiNER-Detektor, LLM-Check)
  • Metrics-Collector + Hardware-Dashboard

Was Sie mitbringen

Hardware und einen Netzwerk-Kontext. Modelle laufen auf Ihrer GPU-Infrastruktur (vLLM/Ollama) — wir integrieren sie.

  • Ein oder mehrere GPU-Server (DGX Spark, RTX 4090+, oder analog)
  • Public-VPS für die Domain (kann auch ein bestehender sein)
  • SMTP-Zugang für Registrierungs-Mails

Wie das abläuft

Vier Schritte, meistens 2-3 Wochen Kalenderzeit. Wir setzen jede Instanz persönlich auf.

  • Kick-off: Modellkatalog, Rechnungsfluss, Netzwerk-Setup
  • Installation: Gateway, Proxy, Sidecar auf Ihrer Hardware
  • Cutover: Kunden-Keys migriert, DNS umgeschaltet
  • Übergabe + Wartungsvertrag optional

Was bei Ihnen bleibt

Alles. Prompts, Antworten, Kundendaten, Rechnungen — alles auf Ihrer Hardware. Wir bekommen davon nichts zu sehen. Updates liefern wir als signierte Bundles, Einspielen können Sie selbst.

Klingt nach Ihrem Weg?

Ein 30-Minuten-Kickoff-Gespräch — wir klären ob das Szenario passt und was ein realistischer Aufwand wäre.

Anfrage senden

Häufig gestellte Fragen

Ist das ein Selfservice-Wizard?

Nein. Aktuell setzen wir jede Instanz persönlich auf: Kick-off, Installation, Cutover. Selfservice-Rollout ist in Arbeit.

Was kostet das Setup?

Setup-Aufwand üblicherweise 2-3 Personentage, dazu Kick-off-Beratung. Genaueres nach dem ersten Gespräch — hängt von Netzwerk-Setup und Modellkatalog ab.

Bekomme ich den Source-Code?

Ja. Gateway und Portal laufen auf Ihrer Hardware, Sie haben Zugriff. Lizenzmodell und Update-Regelung klären wir im Setup.

Kann ich parallel bei Ihnen und auf eigener Hardware nutzen?

Ja, das ist der empfohlene Übergangsweg. Sie starten mit uns über allsmartllm.com, entwickeln fertig, und schalten in der Anwendung eine URL um wenn Ihre Instanz steht.