Quando un’azienda introduce l’AI nei propri processi, una delle decisioni più immediate che prende è quale modello utilizzare. Con la rapida crescita dell’offerta di LLM, sempre meno aziende ne scelgono solamente uno, affidandosi invece all’uso combinato di diversi modelli.
Ma come decidere, richiesta per richiesta, quale interpellare? I sistemi di model routing sono pensati proprio per valutare quale tra quelli disponibili sia il più adatto a rispondere. L’obiettivo non è individuare il “migliore” in assoluto, ma costruire una strategia in cui prestazioni, costo e latenza siano ottimizzati in funzione del task da svolgere.
Ogni compito ha le sue esigenze
Un’applicazione aziendale può dover svolgere attività molto diverse tra loro: classificare un incarico in arrivo, estrarre informazioni da un documento, generare una risposta per un cliente, sintetizzare un testo, scrivere codice o affrontare un problema di reasoning articolato.
Usare per tutto un LLM di fascia alta significa affidare anche le attività più facili da gestire a una tecnologia sovradimensionata. Per classificare un ticket di assistenza o estrarre alcuni campi da una fattura, un modello piccolo e veloce è spesso più che sufficiente — oltre a costare molto meno.
Immaginiamo un’azienda che si occupa di assistenza clienti via chat. Su 10.000 richieste al mese:
- il 70% sono domande semplici (orari, stato di un ordine, informazioni generiche) → gestibili da un modello economico
- il 30% quesiti più articolati (reclami complessi, richieste tecniche) → ne serve uno più potente
Instradandole correttamente, il costo si riduce in modo significativo, senza intaccare la qualità sui casi con maggiore livello di difficoltà.
Come funziona il model routing?
Per rendere bene l’idea, possiamo dire che funziona un po’ come un centralino che smista le chiamate al reparto giusto.
Prima ancora di inviare la richiesta alla soluzione AI, il router può analizzarne caratteristiche come complessità, lunghezza, dominio, lingua, livello di rischio o tipo di output.
Nelle configurazioni più evolute, si considera anche ciò che accade dopo: se il risultato non raggiunge una qualità sufficiente, l’input viene rimandato automaticamente a una versione più potente.
Nei casi più semplici, si stabiliscono regole predefinite: determinati quesiti (es. “rispondi solo sì/no”) vengono indirizzati sempre verso l’opzione più economica, mentre altri (l’analisi di un contratto alla ricerca di criticità) vengono affidati a quello più capace. Per una PMI, però, non è necessario costruire questo meccanismo da zero: esistono già piattaforme che offrono questa funzione “chiavi in mano”, permettendo di collegare più modelli e lasciare che sia il router stesso a scegliere quello più adatto.
I vantaggi vanno oltre il risparmio
Oltre alla riduzione dei costi, differenziare in base al compito da eseguire può ridurre la latenza, migliorando l’esperienza dell’utente.
Il routing può, inoltre, aumentare la resilienza del sistema: se un modello non è disponibile, è possibile prevedere un fallback verso un altro compatibile, evitando che l’intera applicazione dipenda da un singolo provider.
Avere più opzioni integrate, anche solo come “piano B”, è quindi anche una forma di continuità del business, non solo un’ottimizzazione tecnica.
Un modello non basta più
Non è sufficiente stabilire che “A è migliore di B” o viceversa: bisogna capire migliore per cosa. La valutazione dovrebbe essere costruita sui task reali dell’applicazione — accuratezza, costo per richiesta, latenza, capacità di seguire istruzioni, qualità del ragionamento, affidabilità dell’output. Questo rende il model routing strettamente legato alla AI evaluation: senza metriche e dataset rappresentativi, il router rischia di ottimizzare il parametro sbagliato — spendere meno, per esempio, a costo di una qualità insufficiente.
Un rischio che diventa ancora più rilevante con la diffusione degli AI agent e di applicazioni sempre più sofisticate, dove un singolo workflow può aver bisogno contemporaneamente di strumenti diversi per classificare, recuperare informazioni, ragionare o generare contenuti: il model routing smette di essere una scelta statica e diventa una componente dinamica dell’infrastruttura.
Per un’impresa, il punto di partenza concreto resta lo stesso: non scegliere subito il modello “giusto”, ma iniziare a misurare quanto le proprie richieste variano in base all’impegno che richiedono per gestirle — è da lì che si capisce se e quanto il model routing conviene oppure no.
