Künstliche Intelligenz · RAG · Knowledge Graph · AWS · PostgreSQL
TL;DR: Wir haben eine Plattform gebaut, auf der viele Organisationen ihre eigenen Dokumente über KI-Assistenten abfragen, jede von den anderen isoliert. Skalierbarkeit, Kosten und Zuverlässigkeit liegen in der Infrastruktur: Die Kapazität wächst mit der Job-Queue, kein Release unterbricht einen laufenden Job, und die teure Arbeit der Modelle wird nur einmal bezahlt. Jede KI-Entscheidung, vom Modell bis zur Retrieval-Technik, ist dagegen eine Konfiguration, die pro Kunde aktiviert wird: Mehrere Techniken existieren nebeneinander, von der hybriden Suche bis zum Knowledge Graph, und welche am besten funktioniert, entscheiden Evaluations, nicht Eindrücke.
Einen Chatbot zu bauen, der auf Basis einiger PDFs antwortet, dauert einen Nachmittag. Eine Plattform zu bauen, auf der viele Organisationen große Mengen an Dokumenten hochladen und sie über die Web-App, ein Widget auf der eigenen Website, eine Messaging-App und eine API abfragen, ist ein anderes Handwerk. Die schwierigen Fragen ändern sich: Was passiert, wenn viele Kunden gleichzeitig Dokumente hochladen, was kostet jede Antwort, wenn die Nutzung wächst, was passiert mit einer langen Indexierung, wenn eine neue Version ausgerollt wird? Und über allem eine Frage, die herkömmliche Systeme nicht kennen: Wie baut man etwas Stabiles auf einer Technologie, die sich jeden Monat ändert, in der das beste Modell von heute in sechs Monaten überholt ist und die vielversprechendste Retrieval-Technik bewiesen werden muss, statt vorausgesetzt zu werden?
Für ein Technologie-Dienstleistungsunternehmen haben wir eine solche Plattform entworfen und gebaut, die der Auftraggeber seinen eigenen Kunden als Service anbietet. Unsere Antwort auf all diese Fragen ist eine einzige: Skalierbarkeit, Kosten und Zuverlässigkeit müssen Eigenschaften der Infrastruktur sein, während jede KI-Entscheidung eine Konfiguration sein muss, die pro Kunde aktiviert und gemessen wird.
Ein neuer Kunde ist eine Konfiguration, kein neues Deployment
Die erste Entscheidung darüber, ob eine Plattform skaliert, ist das Multi-Tenant-Modell. Der schnellste Weg, den ersten Kunden zu bedienen, ist eine eigene Installation, doch jeder weitere Kunde wird zu einer weiteren Umgebung, die gewartet, aktualisiert und bezahlt werden muss. Wir haben stattdessen eine einzige Plattform gebaut, auf der jede Organisation in einem oder mehreren Wissensräumen arbeitet, jeder mit eigenen Dokumenten, Berechtigungen und eigener Konfiguration: welche Modelle er nutzt, mit welchen Prompts, wie die Dokumente in Chunks zerlegt und angereichert werden, welche Retrieval-Techniken aktiv sind.
Die Verwaltung der Plattform und der KI-Teil sind getrennte Dienste, weil sie in entgegengesetztem Takt arbeiten: kurze, transaktionale Anfragen auf der einen Seite, Verbindungen, die während des gesamten Streamings offen bleiben, und langsame Aufrufe an die Modellanbieter auf der anderen. So skaliert jeder Teil für sich, doch die Quelle der Wahrheit für Identität und Berechtigungen bleibt eine einzige, ganz gleich, über welchen Kanal der Nutzer kommt.
Auch die Isolation zwischen Kunden ist eine Eigenschaft der Infrastruktur. Die Stammdaten der Dokumente, die Chunks und die Vektoren liegen in derselben PostgreSQL-Datenbank wie die Anwendungsdaten, und die Grenze zwischen Kunden ist eine Bedingung jeder Abfrage, in derselben Transaktion und mit denselben Garantien wie die übrigen Daten, statt eines Filters, an den man in einem zweiten System denken muss. Ein neuer Kunde ist eine Organisation und ein paar Räume, kein Projekt.
Die Kapazität folgt der Queue und schaltet sich ab, wenn sie nicht gebraucht wird
Die Jobs einer KI-Plattform sind nicht alle gleich. Eine Nachricht aus einem Konversationskanal muss innerhalb weniger Sekunden beantwortet werden; die Indexierung eines langen Dokuments oder die Extraktion eines Knowledge Graphs kann viele Minuten dauern. Mit einer einzigen Queue würde der Massen-Upload eines Kunden die Antwort an den Nutzer eines anderen verzögern. Deshalb ist die Hintergrundarbeit in Spuren aufgeteilt, jede mit eigener Queue und eigener Kapazität: eine interaktive, eine für die Verarbeitung und eine für die längsten Jobs.
In den regulären Spuren nimmt jeder Worker jeweils nur einen Job an. Wir verzichten auf etwas Dichte zugunsten eines vorhersehbaren Verhaltens, und diese Entscheidung ermöglicht die nächste: auf der richtigen Metrik zu skalieren. Die CPU eines Workers, der auf die Antwort eines Modells wartet, sagt nichts über die Last aus; die Zahl der Jobs in der Queue pro aktivem Worker sagt genau, wie viel Kapazität fehlt. Eine Spitze an Uploads wird binnen weniger Minuten zu mehr Workern, und in ruhigen Phasen fährt die Verarbeitungsspur auf null herunter. Ein Detail wird leicht übersehen: Steht ein Dienst auf null, hat die Metrik der aktiven Worker keine Daten, und Target Tracking allein reicht oft nicht, um ihn aufzuwecken. Wir haben einen eigenen Alarm ergänzt, der einen Neustart erzwingt, wenn Nachrichten warten und kein Worker läuft.
Die längsten Jobs, die Stunden dauern können, laufen nicht über die regulären Spuren: Jeder startet einen eigenen Task, der genau so lange lebt wie der Job und dann verschwindet. Für die regulären Spuren gilt im Projekt eine Regel: Ein Job, der einen Worker zu lange belegt, ist ein Designfehler, kein Konfigurationsproblem. Mehrstufige Verarbeitungen sind in Phasen aufgeteilt, die ihre Ergebnisse in der Datenbank speichern: Ein neuer Versuch nutzt die bereits erledigte Arbeit wieder, statt von vorn zu beginnen.
Kein Job wird unterbrochen, auch nicht während eines Releases
Autoscaling und Releases haben einen gemeinsamen blinden Fleck: Um Kapazität zu reduzieren oder eine Version zu ersetzen, stoppt die Container-Plattform Prozesse, ohne zu wissen, ob ein Worker mitten in einer Indexierung steckt. Die verbreitetste Lösung ist, den Stop-Timeout so weit zu erhöhen, dass er den längsten Job abdeckt, doch auf AWS Fargate liegt die Grenze bei zwei Minuten, und eine auf den schlimmsten Fall ausgelegte Abschaltzeit würde ohnehin jedes Release verlangsamen. Die Unterbrechung hinzunehmen und neu einzureihen heißt dagegen, Arbeit zu wiederholen, die bereits bezahlte Modellaufrufe enthält.
Wir haben die Verantwortung umgekehrt: Der Worker sagt der Infrastruktur, wann er nicht gestoppt werden darf. Ein Supervisor neben jedem Worker kennt die laufenden Jobs und ihre maximale Frist und hält den Scale-in-Schutz aktiv, solange es Arbeit zu beenden gibt. Wenn er bemerkt, dass eine neue Version ausgerollt wurde, bittet er den Worker, den aktuellen Job abzuschließen, keine weiteren anzunehmen und sich zu beenden. Ein Release oder eine Kapazitätsreduzierung wartet, bis die laufende Indexierung abgeschlossen ist, statt sie zu unterbrechen.
Dasselbe Prinzip gilt für den Nutzer. In der Web-App wird jeder Gesprächsschritt gespeichert, bevor das Modell zu antworten beginnt, und die Antwort wird auch dann fertiggestellt und gespeichert, wenn die Verbindung abbricht. Bricht der Nutzer sie ab oder fällt ein Anbieter aus, bleibt der Schritt als unterbrochen gespeichert und kann an Ort und Stelle neu erzeugt werden, ohne den Faden des Gesprächs zu verlieren.
Kosten werden bei jedem Schritt gesteuert, nicht am Monatsende
In einem KI-Produkt hat jede Operation variable Kosten, und der sicherste Weg, die Kontrolle darüber zu verlieren, ist, es an der Rechnung zu merken. Wir haben die Kosten als Designanforderung behandelt, Schritt für Schritt.
Beim Eingang der Dokumente wird das Vision-Modell nur dort bezahlt, wo es gebraucht wird: Nur PDFs mit Bildern, etwa Schemata oder Scans, durchlaufen ein Modell, das sie lesen kann, alle anderen werden als Text extrahiert. Die teuerste Arbeit, etwa die Extraktion des Knowledge Graphs, wird zusammen mit ihrer Herkunft gespeichert (Inhalt, Prompt, Modell, Softwareversion): Bereits bezahlte Arbeit wird nicht noch einmal bezahlt, weder bei einem neuen Versuch noch wenn der Graph neu aufgebaut werden muss, was aus den gespeicherten Daten geschieht, ohne ein Modell aufzurufen.
Die Plattform arbeitet mit Modellen mehrerer Anbieter, über Azure OpenAI und Amazon Bedrock, und jeder Schritt der Pipeline nutzt das Modell, das zu seiner Aufgabe passt, nicht das leistungsstärkste verfügbare: Eine Frage umzuformulieren oder Metadaten zu extrahieren, braucht nicht das Modell, das die endgültige Antwort schreibt. Ein Modell hinzuzufügen heißt, es mit seinen Fähigkeiten zu registrieren, ohne die Pipeline zu ändern. Auch das Gedächtnis der Gespräche hat eine Obergrenze: Ab einem Anteil des Kontextfensters werden die ältesten Schritte von einem eigenen Modell zusammengefasst, und eine Anfrage, die ohnehin nicht hineinpassen würde, wird vor dem Senden komprimiert oder gestoppt. Jeder Modellaufruf wird mit Schritt, Modell, Kunde und Raum protokolliert: Was ein Kunde kostet, liest man aus den Daten ab, statt es zu schätzen.
Mehrere Techniken für dasselbe Problem, Raum für Raum aktivierbar
Im RAG gibt es keine absolut richtige Technik. Ein Vertragsarchiv, eine Sammlung von Produktdatenblättern und eine Reihe interner Verfahren werfen unterschiedliche Fragen auf, und eine Technik, die bei einem glänzt, kann bei einem anderen überflüssig oder teuer sein. Deshalb haben wir uns nicht für eine Technik entschieden: Wir haben eine Plattform gebaut, in der mehrere Techniken nebeneinander existieren und pro Raum aktiviert werden.
| Problem | Technik |
|---|---|
| Ein aus einem langen Dokument extrahierter Chunk verliert den Kontext | Contextual Retrieval: Jeder Chunk wird mit Titel und Zusammenfassung des Dokuments angereichert |
| Die semantische Suche verwässert Codes und Kennungen | hybride Suche, semantisch und nach Schlüsselwörtern, mit einem einzigen abschließenden Reranking |
| Die Antwort hängt von Merkmalen des Dokuments ab | automatisch extrahierte Metadaten, genutzt als harter Filter oder als Präferenz in der Rangfolge |
| Die Antwort erfordert, verstreute Entitäten zu verknüpfen | Knowledge Graph, wobei jeder Beleg erneut autorisiert wird, bevor er das Modell erreicht |
Der Knowledge Graph verdient eine eigene Erzählung, denn er geht die bekannteste Grenze des klassischen RAG an. Die Ähnlichkeitssuche findet gut die Passagen, die eine lokale Frage beantworten, tut sich aber schwer, wenn die Antwort erfordert, in verschiedenen Dokumenten verstreute Entitäten zu verknüpfen: welche Komponenten in mehreren Projekten wiederkehren, welche Verfahren voneinander abhängen. In den Räumen, in denen er aktiv ist, analysiert ein Sprachmodell jeden Chunk und extrahiert daraus Entitäten, Fakten und Beziehungen, geleitet von Entitätskategorien, die für den Raum konfiguriert sind. Bei der Frage findet die semantische Suche die Ausgangspunkte, und der Graph verbindet sie über die Dokumente hinweg. Zwei Entscheidungen machen ihn für eine Multi-Tenant-Plattform geeignet: Auf dem Graphen ist die Grenze der Raum selbst, immer aus dem bereits autorisierten abgeleitet und nie aus der Anfrage, und jeder im Graphen gesammelte Beleg wird gegen die relationale Datenbank erneut autorisiert, mit denselben Regeln wie die klassische Suche, bevor er das Modell erreicht. Und der teure Teil, die Extraktion, wird nur einmal bezahlt, wie wir gesehen haben.
Keine dieser Techniken hat es erfordert, die anderen anzufassen. Vektoren verschiedener Embedding-Modelle existieren in derselben Tabelle nebeneinander, und ein Raum kann auf ein besseres Modell wechseln, ohne die anderen zu migrieren; eine neue Technik erbt Authentifizierung, Isolation, Tracing und Kostenerfassung und wird in einem Raum erprobt, bevor sie zur Standardwahl wird.
Evaluations entscheiden, nicht Eindrücke
Viele Techniken zu haben, ist nur ein Vorteil, wenn man weiß, welche am besten funktioniert, und in einem KI-System ist „scheint gut zu antworten“ keine Messung. Die Qualität einer Antwort hängt von Dokumenten, Modell, Prompt und Retrieval-Technik zusammen ab, und eines dieser Elemente zu ändern, kann zehn Antworten verbessern und zehn andere verschlechtern, ohne dass es jemand bemerkt. Deshalb lässt sich jede Änderung mit wiederholbaren Evaluations überprüfen.
Im Zentrum steht ein LLM-as-Judge-System, das jede Antwort auf drei unabhängigen Achsen bewertet: ob die abgerufenen Dokumente für die Frage relevant sind, ob die Antwort im Vergleich zu einer Referenzantwort korrekt ist und ob sie auf dem Abgerufenen beruht statt auf dem Eigenwissen des Modells. Die Evaluationsfälle gehören zu jedem Raum und laufen auf seiner echten Dokumentenbasis, mit seinen Modellen und seinen Prompts. Jedes Ergebnis bewahrt eine vollständige Momentaufnahme der Konfiguration zu diesem Zeitpunkt, zusammen mit der Softwareversion: Zwei Modelle, zwei Prompts oder zwei Retrieval-Konfigurationen auf denselben Fällen zu vergleichen oder zu prüfen, dass ein Release nichts verschlechtert hat, ist eine Abfrage, keine Rekonstruktion.
Dieselbe Strenge gilt für die heikelsten Komponenten. Der Knowledge Graph hat automatisierte Abnahmetests, die die entscheidenden Eigenschaften prüfen: pro Frage eine einzige Embedding-Berechnung und ein einziger Modellaufruf für die Antwort, Isolation zwischen Räumen auch bei kollidierenden Kennungen, idempotenter Neuaufbau des Graphen. Prompts folgen demselben Weg: Sie werden in einem Raum erprobt, validiert und erst dann zum Standard. Darunter macht eine Testsuite mit mehr als fünftausend Tests es sicher, den Code laufend zu ändern.
Was der Auftraggeber gewinnt
Der Auftraggeber bietet die Plattform als Service an, und sie wachsen zu lassen, erfordert nicht, sie neu zu denken. Ein neuer Kunde ist eine Organisation und ein paar Räume; eine Spitze an Uploads sind ein paar Worker mehr für ein paar Minuten; ein neues Modell wird mit seinen Fähigkeiten registriert; eine neue Retrieval-Technik wird in einem Raum aktiviert, gemessen und dann ausgeweitet. Und die Kosten jedes Kunden sind Schritt für Schritt ablesbar.
So gehen wir KI-Produkte an. Modelle und Techniken sind der Teil, der sich am schnellsten ändert, und gerade deshalb können sie nicht der Ort sein, an dem die Garantien liegen: Skalierbarkeit, Kosten und Zuverlässigkeit liegen in der Infrastruktur, während jede KI-Entscheidung zu einer Konfiguration wird, die aktiviert, verglichen und gemessen wird. Wenn also die nächste vielversprechende Technik kommt, lautet die Frage nicht, ob man sie übernehmen kann, sondern was die Zahlen sagen.