Controllare i costi della AI generativa

La preoccupazione sta però investendo anche chi paga un canone flat per licenza, a causa della totale opacità delle misure, della separazione tra chi consuma e chi ne controlla i costi e del rischio molto concreto che il fornitore cambi modalità di erogazione e prima o poi abolisca le licenze a costo fisso, che secondo tutte le stime fanno perdere denaro ai fornitori e non coprono neppure i costi vivi.

I consumi della GEN-AI vengono calcolati in token, cioè pezzetti di parola, mandati in input nei prompt e ricevuti in output nelle risposte dal programma. Nella maggior parte delle architetture aziendali e istituzionali, come Google Workspace o Microsoft 365 si paga però un costo fisso per utente. Chi li usa però non ha la minima idea di quanto stia consumando e quanto costi. Nemmeno l'amministratore del sistema, che è poi colui che dovrà autorizzare il pagamento delle fatture, ha a disposizione un contatore in euro o in token per singolo utente e per singolo giorno.

Tramite la sua console, l'amministratore vede solo quali gli utenti attivi e il numero aggregato di prompt/interazioni complessive della struttura. L'istituzione paga un canone fisso mensile per utente e non c'è alcun addebito variabile legato all'uso del singolo giorno o dei singoli utenti. Costoro si abituano a usare la GEN-AI senza controlli e senza rendersi conto del costo reale e del valore generato. Quando se ne accorgeranno, non sarà una sorpresa piacevole.

(*) Docente di Data Analytics for Finance and Insurance, MIB Trieste School of Management