ChatGpt e gli effetti nocivi del cannibalismo digitale

Ogni giorno milioni di persone chiedono a ChatGpt e ai suoi omologhi di scrivere un’email, riassumere un articolo o abbozzare un post. Quei testi, pubblicati online, tornano a fare da esca per l’addestramento della prossima generazione di modelli, che a loro volta genereranno nuovi testi destinati a rifinire quelli successivi. Un circolo che gli specialisti chiamano apprendimento a circuito chiuso, ribattezzato dal senso comune “cannibalismo digitale”: il progressivo inquinamento della rete con contenuti scritti dall’intelligenza artificiale stessa, che tornano a nutrire l’addestramento dei modelli successivi. Il timore condiviso da chi studia questi sistemi è che il cannibalismo digitale porti a un progressivo impoverimento della lingua e a un’amplificazione dei pregiudizi già presenti nei dati, fino al rischio estremo che i modelli finiscano per produrre output sempre più ripetitivi o privi di senso.

Matteo Marsili, ricercatore dell’Ictp di Trieste, insieme a Fariba Jangjoo, ex studentessa dell’Ictp oggi al Kavli Institute for Systems Neuroscience in Norvegia, e ai colleghi Giovanni di Sarra e Yasser Roudi (King’s College di Londra) ha appena pubblicato su Physical Review Letters uno studio che prova a dare una spiegazione matematica rigorosa a questo fenomeno. Gli autori hanno scelto di lavorare su una classe di modelli statistici molto più semplice delle reti neurali reali, le cosiddette famiglie esponenziali, proprio per evitare le ambiguità che affliggono la ricerca su questo tema.

«Ci sono centinaia di articoli sull’argomento, ma i risultati dipendono dall’architettura usata, dai dati, da come è stato fatto l’addestramento», spiega Marsili. «Volevamo un modello di riferimento di cui chiunque potesse seguire la matematica, senza ambiguità». La dinamica che emerge dai calcoli è quella di un sistema che, riaddestrandosi sui propri output, vede i propri parametri interni crescere senza controllo fino all’infinito. È qui che entra in gioco la scoperta più citabile dello studio: basta un solo dato generato da una fonte esterna, e non dal modello stesso, inserito a ogni ciclo di riaddestramento, per impedire che questa divergenza avvenga. Non si tratta di una soluzione che restituisce piena salute al sistema: «Questo non significa che nel processo di riaddestramento non si perda diversità dei dati. Si evita la conseguenza estrema, cioè che i parametri divergano all’infinito».

La varietà si assottiglia comunque: quel singolo dato esterno evita il collasso totale, non la progressiva usura della ricchezza informativa del sistema. Che lo stesso destino attenda i grandi modelli linguistici resta da verificare: gli autori hanno esteso l’analisi anche a un tipo di rete neurale più complesso, le macchine di Boltzmann ristrette, trovando una tendenza simile, ma restano lontani dalla scala dei chatbot in circolazione.

Nelle conclusioni dell’articolo, i ricercatori si spingono oltre l’intelligenza artificiale, accostando il fenomeno alla trasmissione culturale tra generazioni e allo sviluppo prenatale del cervello. Marsili non nasconde la natura speculativa di questi paralleli: «Sono estrapolazioni, ma ci sembrava interessante menzionare fenomeni con caratteristiche concettuali simili». Il riferimento è alle mitologie di civiltà lontane tra loro, che condividono elementi narrativi simili pur senza alcun contatto diretto: un indizio che meccanismi di apprendimento chiuso possano ricorrere anche fuori dal perimetro dell’informatica. Per il ricercatore è questa la forza della matematica applicata ai fenomeni naturali: un modello costruito per un problema specifico può toccare un livello concettuale così astratto da dire qualcosa anche su fenomeni completamente diversi, come vuole la tradizione della fisica dei sistemi complessi.

Resta la domanda pratica, quella che riguarda chiunque usi un chatbot: come sapere se il testo che si riceve arriva già da un modello impoverito da questo processo? «Non c’è», risponde Marsili, «e a maggior ragione resta fondamentale sviluppare un senso critico nell’uso di questi strumenti, che vanno trattati come fonti di informazioni da controllare, non come oracoli».