#engineering

Oltre il chatbot: una piattaforma AI multi-tenant che scala, costa il giusto e misura le proprie risposte

Per un’azienda di servizi tecnologici abbiamo costruito una piattaforma di assistenti AI offerta a molti clienti: la capacità segue il carico, nessun rilascio interrompe un’elaborazione, il lavoro costoso dei modelli si paga una volta e ogni tecnica di retrieval, fino al knowledge graph, si attiva per singolo cliente e si misura con le evaluation.

Intelligenza artificiale · RAG · Knowledge graph · AWS · PostgreSQL

TL;DR: abbiamo costruito una piattaforma su cui molte organizzazioni interrogano i propri documenti con assistenti AI, ognuna isolata dalle altre. Scalabilità, costi e affidabilità stanno nell’infrastruttura: la capacità cresce con la coda dei lavori, nessun rilascio interrompe un’elaborazione in corso e il lavoro costoso dei modelli si paga una volta sola. Ogni scelta di AI, dal modello alla tecnica di retrieval, è invece una configurazione che si attiva per singolo cliente: più tecniche convivono, dalla ricerca ibrida al knowledge graph, e quale funziona meglio lo decidono le evaluation, non le impressioni.

Costruire un chatbot che risponde a partire da qualche PDF richiede un pomeriggio. Costruire una piattaforma su cui molte organizzazioni caricano grandi quantità di documenti e li interrogano dalla web app, da un widget sul proprio sito, da un’app di messaggistica e da un’API è un altro mestiere. Le domande difficili cambiano: che cosa succede quando molti clienti caricano documenti nello stesso momento, quanto costa ogni risposta quando l’uso cresce, che cosa succede a un’indicizzazione lunga quando si rilascia una nuova versione. E sopra tutte, una domanda che i sistemi tradizionali non hanno: come si costruisce qualcosa di stabile su una tecnologia che cambia ogni mese, in cui il modello migliore di oggi è superato fra sei mesi e la tecnica di retrieval più promettente va dimostrata, non presunta.

Per un’azienda di servizi tecnologici abbiamo progettato e costruito una piattaforma di questo tipo, che il committente offre ai propri clienti come servizio. La risposta che abbiamo dato a tutte queste domande è una sola: scalabilità, costi e affidabilità devono essere proprietà dell’infrastruttura, mentre ogni scelta di AI deve essere una configurazione che si attiva per singolo cliente e si misura.

Un nuovo cliente è una configurazione, non un nuovo deployment

La prima scelta che decide se una piattaforma scala è il modello multi-tenant. La strada più rapida per servire il primo cliente è un’installazione dedicata, ma ogni cliente in più diventa un ambiente da mantenere, aggiornare e pagare. Abbiamo costruito invece un’unica piattaforma in cui ogni organizzazione lavora in uno o più spazi di conoscenza, ciascuno con i propri documenti, permessi e configurazione: quali modelli usa, con quali prompt, come vengono divisi in chunk e arricchiti i documenti, quali tecniche di retrieval sono attive.

La gestione della piattaforma e la parte AI sono servizi distinti, perché hanno ritmi opposti: richieste brevi e transazionali da un lato, connessioni aperte per tutto lo streaming e chiamate lente ai fornitori dei modelli dall’altro. Così ognuna scala per conto suo, ma la fonte di verità su identità e permessi resta una sola, qualunque sia il canale da cui arriva l’utente.

Anche l’isolamento fra clienti è una proprietà dell’infrastruttura. L’anagrafica dei documenti, i chunk e i vettori stanno nello stesso database PostgreSQL dei dati applicativi, e il confine fra clienti è un vincolo di ogni query, nella stessa transazione e con le stesse garanzie del resto dei dati, invece di un filtro da ricordare in un secondo sistema. Un nuovo cliente è un’organizzazione e qualche spazio, non un progetto.

La capacità segue la coda, e si spegne quando non serve

I lavori di una piattaforma AI non sono tutti uguali. Un messaggio da un canale conversazionale deve ricevere risposta in pochi secondi; l’indicizzazione di un documento lungo o l’estrazione di un knowledge graph possono richiedere molti minuti. Con un’unica coda, il caricamento massivo di un cliente ritarderebbe la risposta a un utente di un altro. Per questo il lavoro in background è diviso in corsie, ciascuna con la propria coda e la propria capacità: una interattiva, una di elaborazione e una per i lavori più lunghi.

Nelle corsie ordinarie ogni worker prende un solo lavoro alla volta. Rinunciamo a un po’ di densità in cambio di un comportamento prevedibile, e questa scelta rende possibile la successiva: scalare sulla metrica giusta. La CPU di un worker che aspetta la risposta di un modello non dice nulla del carico; il numero di lavori in coda per worker attivo dice esattamente quanta capacità manca. Un picco di caricamenti diventa più worker nel giro di pochi minuti, e nei periodi di quiete la corsia di elaborazione scende a zero. C’è un dettaglio facile da trascurare: quando un servizio è fermo a zero, la metrica dei worker attivi non ha dati e il solo target tracking spesso non basta a risvegliarlo. Abbiamo aggiunto un allarme dedicato che, quando ci sono messaggi in attesa e nessun worker, forza la ripartenza.

I lavori più lunghi, che possono durare ore, non passano dalle corsie ordinarie: ognuno avvia un task dedicato, che vive esattamente quanto il lavoro e poi sparisce. Per le corsie ordinarie il progetto ha una regola: un lavoro che tiene occupato un worker troppo a lungo è un difetto di progettazione, non un problema di configurazione. Le elaborazioni a più passi sono divise in fasi che salvano i propri risultati sul database: un nuovo tentativo riusa il lavoro già completato, invece di ricominciare da capo.

Nessun lavoro interrotto, nemmeno durante un rilascio

Autoscaling e rilasci hanno un punto cieco in comune: per ridurre la capacità o sostituire una versione, la piattaforma di container ferma i processi senza sapere se un worker è a metà di un’indicizzazione. La soluzione più diffusa è alzare lo stop timeout fino a coprire il lavoro più lungo, ma su AWS Fargate il limite è di due minuti, e un tempo di arresto tarato sul caso peggiore rallenterebbe comunque ogni rilascio. Accettare l’interruzione e riaccodare significa invece rifare lavoro che include chiamate ai modelli già pagate.

Abbiamo invertito la responsabilità: è il worker a dire all’infrastruttura quando non può essere fermato. Un supervisore accanto a ogni worker conosce i lavori in corso e la loro scadenza massima, e tiene attiva la scale-in protection finché c’è lavoro da finire. Quando si accorge che è uscita una nuova versione, chiede al worker di finire il lavoro corrente, non prenderne altri e chiudersi. Un rilascio o una riduzione di capacità aspettano che l’indicizzazione in corso finisca, invece di interromperla.

Lo stesso principio vale per l’utente. Nella web app ogni turno di conversazione viene salvato prima che il modello inizi a rispondere, e la risposta viene completata e salvata anche se la connessione cade. Se l’utente la interrompe o un fornitore fallisce, il turno resta registrato come interrotto e si può rigenerare sul posto, senza perdere il filo della conversazione.

Il costo si governa a ogni passo, non a fine mese

In un prodotto AI ogni operazione ha un costo variabile, e il modo più sicuro per perderne il controllo è accorgersene dalla fattura. Abbiamo trattato il costo come un requisito di progetto, passo per passo.

All’ingresso dei documenti, il vision model si paga solo dove serve: soltanto i PDF che contengono immagini, come schemi o scansioni, passano da un modello capace di leggerle, mentre tutti gli altri vengono estratti come testo. Il lavoro più costoso, come l’estrazione del knowledge graph, viene salvato con la sua provenienza (contenuto, prompt, modello, versione del software): un lavoro già pagato non si ripaga, né a un nuovo tentativo né quando il grafo va ricostruito, cosa che avviene a partire dai dati salvati senza chiamare alcun modello.

La piattaforma lavora con i modelli di più fornitori, attraverso Azure OpenAI e Amazon Bedrock, e ogni passo della pipeline usa il modello adatto al suo compito, non il più potente disponibile: riformulare una domanda o estrarre metadati non richiede il modello che scrive la risposta finale. Aggiungere un modello significa registrarlo con le sue capacità, senza modificare la pipeline. Anche la memoria delle conversazioni ha un tetto: oltre una quota della finestra di contesto, i turni più vecchi vengono riassunti da un modello dedicato, e una richiesta che non ci starebbe comunque viene compressa o fermata prima di essere inviata. Ogni chiamata ai modelli è registrata con passo, modello, cliente e spazio: quanto costa un cliente si legge nei dati, non si stima.

Più tecniche per lo stesso problema, attivabili spazio per spazio

Nel RAG non esiste la tecnica giusta in assoluto. Un archivio di contratti, una raccolta di schede prodotto e un insieme di procedure interne pongono domande diverse, e una tecnica che eccelle su uno può essere superflua o costosa su un altro. Per questo non abbiamo scelto una tecnica: abbiamo costruito una piattaforma in cui più tecniche convivono e si attivano per singolo spazio.

Problema Tecnica
Un chunk estratto da un documento lungo perde il contesto contextual retrieval: ogni chunk viene arricchito con titolo e sintesi del documento
La ricerca semantica diluisce codici e identificativi ricerca ibrida, semantica e per parole chiave, con un unico reranking finale
La risposta dipende da attributi del documento metadati estratti automaticamente, usati come filtro rigido o come preferenza nella classifica
La risposta richiede di collegare entità sparse knowledge graph, con ogni evidenza riautorizzata prima di arrivare al modello

Il knowledge graph merita un racconto a parte, perché affronta il limite più noto del RAG classico. La ricerca per similarità trova bene i passaggi che rispondono a una domanda locale, ma fatica quando la risposta richiede di collegare entità sparse in documenti diversi: quali componenti ricorrono in più progetti, quali procedure dipendono l’una dall’altra. Negli spazi in cui è attivo, un modello linguistico analizza ogni chunk e ne estrae entità, fatti e relazioni, guidato da categorie di entità configurate per lo spazio. Alla domanda, la ricerca semantica individua i punti di partenza e il grafo li collega attraverso i documenti. Due scelte lo rendono adatto a una piattaforma multi-tenant: sul grafo il confine è lo spazio stesso, ricavato sempre da quello già autorizzato e mai dalla richiesta, e ogni evidenza raccolta nel grafo viene riautorizzata sul database relazionale, con le stesse regole della ricerca classica, prima di arrivare al modello. E la parte costosa, l’estrazione, si paga una volta sola, come abbiamo visto.

Nessuna di queste tecniche ha richiesto di toccare le altre. Vettori di modelli di embedding diversi convivono nella stessa tabella, e uno spazio può passare a un modello migliore senza migrare gli altri; una nuova tecnica eredita autenticazione, isolamento, tracciamento e conteggio dei costi, e si prova su uno spazio prima di diventare la scelta predefinita.

Le evaluation decidono, non le impressioni

Avere molte tecniche è un vantaggio solo se si sa quale funziona meglio, e in un sistema AI “sembra rispondere bene” non è una misura. La qualità di una risposta dipende da documenti, modello, prompt e tecnica di retrieval insieme, e cambiare uno di questi elementi può migliorare dieci risposte e peggiorarne altre dieci senza che nessuno se ne accorga. Per questo ogni cambiamento si può verificare con evaluation ripetibili.

Il cuore è un sistema LLM-as-judge che misura ogni risposta su tre assi indipendenti: se i documenti recuperati sono pertinenti alla domanda, se la risposta è corretta rispetto a una risposta di riferimento, e se è fondata su ciò che è stato recuperato invece che su conoscenze del modello. I casi di valutazione appartengono a ogni spazio e girano sulla sua vera base documentale, con i suoi modelli e i suoi prompt. Ogni esito conserva una fotografia completa della configurazione in quel momento, insieme alla versione del software: confrontare due modelli, due prompt o due configurazioni di retrieval sugli stessi casi, o verificare che un rilascio non abbia peggiorato nulla, è una query, non una ricostruzione.

Lo stesso rigore vale per i componenti più delicati. Il knowledge graph ha test di accettazione automatici che ne verificano le proprietà che contano: per ogni domanda un solo calcolo di embedding e una sola chiamata al modello per la risposta, isolamento fra spazi anche con identificativi in collisione, ricostruzione idempotente del grafo. I prompt seguono lo stesso percorso: si provano in uno spazio, si validano e solo allora diventano il default. Sotto tutto questo, una test suite di oltre cinquemila test rende sicuro cambiare il codice di continuo.

Che cosa ottiene il committente

Il committente offre la piattaforma come servizio, e farla crescere non richiede di ripensarla. Un nuovo cliente è un’organizzazione e qualche spazio; un picco di caricamenti è qualche worker in più per qualche minuto; un nuovo modello si registra con le sue capacità; una nuova tecnica di retrieval si attiva su uno spazio, si misura e poi si estende. E il costo di ogni cliente è leggibile passo per passo.

È il modo in cui affrontiamo i prodotti AI. I modelli e le tecniche sono la parte che cambia più in fretta, e proprio per questo non possono essere il posto in cui vivono le garanzie: scalabilità, costi e affidabilità stanno nell’infrastruttura, mentre ogni scelta di AI diventa una configurazione che si attiva, si confronta e si misura. Così, quando arriva la prossima tecnica promettente, la domanda non è se si possa adottare, ma che cosa dicono i numeri.