Von Sebastiaan Hoogeveen | 23. August 2026 | Lesezeit: 2 Minuten
Für viele Unternehmen fährt der KI-Zug mit hohem Tempo. Viele entscheiden sich für
Werkzeuge wie Copilot, um ihre Mitarbeitenden mit KI zu unterstützen. Gleichzeitig
untersagen dieselben Unternehmen ihren Mitarbeitenden, vertrauliche Informationen mit
öffentlichen LLMs zu teilen, weil diese Daten sonst bei externen Parteien landen können.
RAG (Retrieval-Augmented Generation)
Wie setzt man KI im Unternehmen dann sicher ein? Im Idealfall können Mitarbeitende
Unternehmensinformationen schnell und zuverlässig abrufen, ohne dass sensible Daten die
Organisation verlassen. Ein Modell auf internen Dokumenten zu trainieren löst das meist
nicht: es ist teuer und liefert keine verlässlichen, nachprüfbaren Antworten.
Stattdessen wird RAG eingesetzt, Retrieval-Augmented Generation. Interne Dokumente werden
durchsuchbar gemacht, und bei einer Frage holt das System die relevanten Passagen als
Kontext für ein Sprachmodell.
Lokal suchen, extern formulieren: die hybride Lösung
Für dieses Suchen lässt sich ein lokales, selbst gehostetes Open-Source-Sprachmodell
einsetzen. Sensible Daten verlassen Ihre Umgebung dabei nie. Für das eigentliche
Verstehen und Formulieren der Antwort kann weiterhin eine externe API wie GPT oder Claude
genutzt werden, sofern ausschließlich nicht rückführbare oder vorab freigegebene
Kontextfragmente geteilt werden. So entsteht ein hybrider Ansatz, der gegenüber einer
vollständig selbst gehosteten Lösung Kosten spart und zugleich die Kontrolle darüber
behält, was nach außen geht. Das schlägt sich direkt in digitaler Souveränität nieder.
Bei der Wahl eines Open-Source-Sprachmodells ist entscheidend, wie es trainiert wurde,
wie transparent die Entwickler über Trainingsdaten und Lizenz sind, und wie Sie die
Qualität der Ergebnisse strukturell bewerten wollen.
Möchten Sie diese Abwägung für Ihre eigene Organisation treffen? Unsere KI-Beratung unterstützt bei Modellauswahl und Anbieterbewertung, zu einem öffentlichen Satz von 175 € pro Berater und Stunde. Der hybride Ansatz aus diesem Artikel ist genau die Arbeitsweise des KI-Workspace-Assistenten: ein Modell Ihrer Wahl, auf Ihren eigenen Dokumenten, innerhalb der EU. Möchten Sie mehr wissen? Nehmen Sie Kontakt mit uns auf.
