I Trasformer… hanno trasformato l’intelligenza artificiale
La chiave della comprensione del senso di un testo ha spianato la strada alle prestazioni “intelligenti” dei sistemi con cui ormai dialoghiamo ogni giorno
Leonardo Felician
Al World Meeting on Fraternity tenutosi a Roma Geoffrey Hinton, premio Nobel per i suoi studi sui primi modelli di Machine Learning, con 10 anni di carriera in Google prima delle dimissioni nel 2023, ha esposto a Papa Leone il pensiero che servono subito regole etiche per evitare che i colossi dell’AI, nella loro corsa al dominio del settore, sviluppino macchine nocive per il genere umano, tema spesso ribadito anche da Padre Paolo Benanti.
Questo argomento è al centro di un dibattito serrato, perché da quando un nuovo modello di GEN-AI è stato proposto in un fondamentale lavoro di ricerca del 2017, gli sviluppi sono stati velocissimi e sorprendenti. L’articolo di Vaswani e altri autori aveva un programma già nel titolo: Attention is All You Need. L’architettura di reti neurali basata sul meccanismo di self-attention detta transformer ha reso immediatamente obsoleti tutti gli altri approcci sviluppati per decenni, rendendo possibili modelli di linguaggio molto più potenti e scalabili che imparano ad associare sequenze di simboli ad altre sequenze in maniera ricorsiva.
Progettati per determinare la prossima parola statisticamente più probabile in una frase, fanno uso di una forma di memorizzazione che permette di catturare facilmente le dipendenze di lungo raggio tra le parole, tenendo conto così del contesto. Ad esempio passaggio può significare un tratto di strada, un trasferimento in automobile, un brano di un testo, un’azione nel gioco del calcio. Questa chiave della comprensione del senso di un testo ha spianato la strada alle prestazioni “intelligenti” dei sistemi con cui ormai dialoghiamo ogni giorno.
(*) Docente di Data Analytics for Finance and Insurance, MIB Trieste School of Management
Riproduzione riservata © il Nord Est
