Von Sebastiaan Hoogeveen | 23. August 2026 | Lesezeit: 2 Minuten
Für viele Unternehmen schreitet die Entwicklung im Bereich der KI rasant voran. Viele Unternehmen entscheiden sich beispielsweise dafür, mit Copilot zu arbeiten, um ihre Mitarbeiter mithilfe von KI zu unterstützen. Gleichzeitig verbieten viele Unternehmen ihren Mitarbeitern, sensible Informationen an öffentliche LLMs weiterzugeben, da diese Informationen andernfalls in die Hände Dritter gelangen könnten.
RAG (Retrieval-Augmented Generation)
Doch wie lässt sich KI dann tatsächlich sicher im Unternehmen einsetzen? Im Idealfall sollten Mitarbeiter schnell und zuverlässig auf Unternehmensinformationen zugreifen können, ohne dass sensible Daten das Unternehmen verlassen. Dies wird in der Regel nicht dadurch gelöst, dass ein Modell anhand interner Dokumente trainiert wird (das ist kostspielig und liefert keine zuverlässigen, überprüfbaren Antworten). Stattdessen wird mit RAG (Retrieval-Augmented Generation) gearbeitet: Interne Dokumente werden durchsuchbar gemacht, und bei einer Frage ruft das System die relevanten Passagen ab, um sie einem Sprachmodell als Kontext zur Verfügung zu stellen.
Lokal suchen, extern formulieren: die hybride Lösung
Für diese Durchsuchung kann ein lokales, selbst gehostetes Open-Source-Sprachmodell eingesetzt werden (die sensiblen Daten verlassen dann niemals die eigene Umgebung). Für das letztendliche „Verstehen“ und Formulieren der Antwort kann anschließend dennoch eine externe API (wie GPT oder Claude) genutzt werden, sofern ausschließlich nicht zurückverfolgbare oder bereits genehmigte Kontextfragmente übermittelt werden. So entsteht ein hybrider Ansatz, der im Vergleich zu einem vollständig selbst gehosteten System Kosten spart, während Sie dennoch die Kontrolle darüber behalten, welche Daten extern weitergegeben werden. Dies führt zu einem Gewinn im Bereich der digitalen Souveränität.
Bei der Auswahl eines Open-Source-Sprachmodells ist es wichtig zu prüfen, wie es trainiert wurde, wie transparent die Entwickler hinsichtlich der Trainingsdaten und der Lizenz sind und wie Sie die Qualität der Ergebnisse systematisch bewerten werden.
Möchten Sie mehr erfahren? Nehmen Sie Kontakt mit uns auf!
