LLM locali per workload ripetitivi enterprise

Molte aziende italiane arrivano con la stessa frase. «I dati non possono uscire.» A volte è il legale. A volte è un cliente della pubblica amministrazione. A volte è solo paura. In tutti i casi la frase è un vincolo di progetto, non un'opinione sul modello migliore.

Il dibattito open contro closed non aiuta. Serve una flotta. Una parte del traffico sta in casa. Una parte va su una frontier API con contratto e DPA. Il router decide per task, non per bandiera.

Abbiamo messo in produzione Mistral 7B e Qwen 2.5 7B su GPU A10G on-prem. Classificazione documenti, estrazione di dati strutturati, bozze interne. Su questi tre workload la qualità osservata è il 92% rispetto a Sonnet 4.6. Latenza meno 65%. Costo per milione di token da 3,10 euro a 0,12. Il ragionamento complesso resta fuori, sulla frontier.

Cosa intendiamo per «locale»

Locale non è un laptop sotto la scrivania. È un runtime sotto il vostro controllo. Stanza server, VPC, GPU dedicata. I pesi del modello, i log, i documenti che passano: restano nel perimetro che avete firmato.

Self-hosting e on-prem non sono la stessa cosa. Il self-hosting può stare su un cloud EU con chiavi vostre. L'on-prem sta in casa. Per alcuni clienti la differenza è legale. Per altri è solo latenza. Va detta prima, nel contratto.

Il modello locale non «è più privato» per magia. Lo è se nessuno esfiltra i prompt, se i log ruotano, se gli accessi sono nominativi. Altrimenti avete solo spostato il rischio in una stanza che conoscete peggio.

I tre workload che tengono

Classificazione. Un documento entra. Esce un'etichetta. Contratto, fattura, reclamo, altro. Il volume è alto. Il giudizio è stretto. Un 7B addestrato o istruito sul vostro schema batte un modello grande che non ha mai visto le vostre etichette.

Estrazione. Campi da una bolla, da una polizza, da un verbale. Schema fisso. Errori misurabili. Qui il locale è abbastanza buono e molto più economico. Il 92% non è uno slogan. È il confronto cieco su un campione etichettato dal cliente.

Bozze interne. Riassunti per il team, prime stesure di mail, verbali. Niente testo che esce dal perimetro verso un cliente finale senza revisione. Il costo basso permette di farle sempre, non solo «quando c'è tempo».

Fuori da questi tre, il locale oggi perde. Analisi legale fine. Architettura. Codice nuovo su un dominio che l'operatore non ha sotto mano. Lì mandiamo la frontier. Costa di più. Sbaglia di meno.

I numeri, senza arrotondare

Qualità 92% su quei workload, rispetto a Sonnet 4.6. Significa: otto errori su cento in più, su task dove l'errore si vede e si corregge. Non su una perizia.

Latenza meno 65%. L'utente interno non aspetta la coda di un API oltreoceano. Per un operatore che classifica cinquanta documenti al giorno, quella attesa è il lavoro.

Costo da 3,10 euro a 0,12 per milione di token. Il rapporto è circa 1 a 26. Se classificate centinaia di migliaia di pagine l'anno, la frontier su tutto il volume è una tassa. Se fate dieci richieste al giorno di ragionamento, la frontier è il prezzo giusto.

Il router dello studio tratta locale e cloud come una flotta sola. Il confine si sposta per task. Per molti clienti enterprise, la quota che merita la frontier sta sotto il 20%.

Italiano tecnico, non inglese tradotto

Abbiamo un dataset di 240 prompt in italiano: fisco, logistica, norme. I modelli aperti, sui nostri test, inciampano sulla terminologia e sulle sfumature. Un 7B locale tiene sulla classificazione e sull'estrazione, dove lo schema è vostro e il vocabolario è chiuso. Perde quando il testo chiede una distinzione legale o un «salvo quanto previsto».

Per questo il confine non è «italiano vs inglese». È «schema chiuso vs linguaggio aperto». Una bolla di accompagnamento è schema chiuso. Un parere su un capitolato è linguaggio aperto. Il primo sta in casa. Il secondo, oggi, no.

Se il vostro corpus è fatto di moduli, tabelle, etichette interne, il locale ha un vantaggio che la frontier non ha: lo vedete ogni giorno e lo potete adattare senza mandare i documenti a un terzo.

GPU, persone, orari

Una A10G non è un progetto. È un pezzo. Serve chi la tiene accesa, chi aggiorna i pesi, chi guarda i log quando un batch resta in coda. Se in azienda non c'è quella persona, il self-hosting su un cloud EU con contratto chiaro è più onesto dell'on-prem «perché fa figo».

Gli orari contano. Un classificatore notturno può girare a lotti. Un operatore in sportello no. La latenza che abbiamo misurato vale sul path sincrono. I lotti sono un altro disegno: coda, retry, report al mattino. Non mescolateli.

Il costo da 0,12 euro per milione è il costo inferenza, non il costo totale. Entra l'ammortamento della GPU, l'elettricità, le ore di chi la governa. Resta più basso della frontier sul volume alto. Non è gratis. Chi vi vende «AI locale a costo zero» sta omettendo la riga del personale.

Dato in EU, contratto, AI Act

«Dati in Europa» non basta come slide. Serve sapere quale processore, quale regione, chi può leggere i log, quanto durano.

Un LLM commerciale con DPA chiaro resta la scelta giusta su progetti sensibili di ragionamento, o quando il self-hosting è immaturo. Lo abbiamo scritto anche nel benchmark sull'italiano tecnico. Il locale non sostituisce quel contratto. Lo affianca.

L'AI Act chiede di sapere cosa fa il sistema. Un router che scrive «questo task è andato a Qwen locale, questo a Sonnet» è già una parte della risposta. Un unico modello opaco, in casa o fuori, non lo è.

Come tracciare il confine

Elencate i task. Non i desideri. Task: classifica questo, estrai quello, scrivi una bozza, rispondi a questa domanda difficile.

Misurate volume e danno dell'errore. Alto volume, basso danno: locale. Basso volume, alto danno: frontier. Alto volume e alto danno: non partite dall'AI. Partite dal processo.

Fate un campione etichettato. Anche duecento esempi. Senza campione il 92% è una chiacchiera. Con il campione è una soglia: sotto, non si va in produzione.

Poi si mette il router. Non si chiede al team di «ricordarsi quale modello usare». Il team manda il task. Il router sceglie.

Cosa non fare

Non comprate una GPU «per avere l'AI in casa» e poi ci mandate tutto. Sprecherete corrente e qualità.

Non tenete due stack che non si parlano: ChatGPT per i manager, Ollama per l'IT. È lo stesso lavoro spezzato in due ombre.

Non promettete al legale che «nulla esce» se una parte del ragionamento deve uscire. Ditelo. Mettete il DPA. Istruite il router. La fiducia sta nella mappa, non nel divieto.

Se i vostri documenti non possono viaggiare, o se il volume rende la frontier insostenibile, il locale è un tier della flotta. Non un atto di fede. Possiamo aiutarvi a tracciare il confine e a metterlo in produzione. Il runtime resta vostro.