Quando l’intelligenza artificiale viene addestrata ripetutamente sui propri testi, può perdere varietà e produrre risposte meno sensate. Una ricerca del CNR, dell’Università di Pisa, della Scuola Normale Superiore e della Victoria University di Wellington propone un metodo per limitare il problema
L’intelligenza artificiale generativa può impoverirsi proprio mentre aumenta la quantità di contenuti che produce. Il rischio emerge quando i testi generati dai modelli vengono riutilizzati ripetutamente per il loro addestramento, alimentando un circuito che può ridurre la qualità delle risposte. È il fenomeno dell’autofagia dell’IA, che può portare al cosiddetto collasso del modello, o model collapse.
Una ricerca dell’Istituto di scienza e tecnologie dell’informazione del Consiglio Nazionale delle Ricerche di Pisa (CNR-ISTI), dell’Università di Pisa, della Scuola Normale Superiore e della Victoria University di Wellington, in Nuova Zelanda, propone una strategia per contrastarlo: scegliere i documenti di addestramento in base a quanto risultano “sorprendenti” per il modello.
Lo studio, pubblicato su ACM Transactions on Intelligent Systems and Technology, è firmato da Daniele Gambetta, primo autore, Gizem Gezici, Fosca Giannotti, Dino Pedreschi, Alistair Knott e Luca Pappalardo. La ricerca indica che questa selezione può mitigare il collasso senza dover stabilire in anticipo se ogni testo sia stato scritto da una persona o da una macchina.
Che cos’è l’autofagia dell’intelligenza artificiale
Per apprendere a generare testi, un modello linguistico viene addestrato su grandi raccolte di documenti. Da questi esempi ricava regolarità linguistiche, relazioni e schemi che utilizza per costruire le proprie risposte.
L’autofagia si verifica quando i contenuti prodotti dall’IA rientrano nei dati usati per addestrarla nuovamente. La crescente circolazione di testi artificiali sul web rende questo scenario sempre più rilevante.
Per capire il meccanismo, si può immaginare una redazione che prepari nuovi articoli consultando soprattutto i riassunti dei propri articoli precedenti. A ogni passaggio rischia di conservare le stesse formule e di perdere dettagli, sfumature e punti di vista. Anche il modello può finire per rafforzare schemi già dominanti, restringendo progressivamente la varietà dei contenuti.
Il fenomeno riguarda dunque i cicli di addestramento e riaddestramento nei quali le risposte generate tornano a essere materiale da cui apprendere.
Come si manifesta il collasso dei modelli IA
Il collasso può compromettere due aspetti:
- La diversità linguistica: il modello utilizza un repertorio più ristretto e genera testi sempre più ripetitivi.
- La sensatezza delle risposte: le frasi possono diventare meno coerenti e significative.
«Analizzando quattro modelli di IA generativa — come Llama, sviluppato da Meta — abbiamo osservato che il collasso può manifestarsi in modi diversi», spiega Daniele Gambetta, ricercatore post-doc presso l’Università di Pisa.
Il deterioramento, quindi, va oltre lo stile. Una risposta può perdere sia ricchezza espressiva sia capacità di fornire un contenuto comprensibile e pertinente.
Che cosa significa “sorpresa” per un’intelligenza artificiale
Il cuore della proposta è la perplexity, una misura statistica che descrive quanto un testo risulti prevedibile per un determinato modello.
La “sorpresa” indica una distanza dalle aspettative statistiche del sistema: dipende dalle probabilità che il modello assegna alle parole, o alle porzioni di parola chiamate token, nel loro contesto.
In termini semplici:
- Perplexity bassa: il testo è molto prevedibile per il modello e corrisponde strettamente agli schemi che tende già a riprodurre.
- Perplexity alta: il testo è meno prevedibile e presenta combinazioni linguistiche che il modello si aspetta meno.
«Un documento è sorprendente per il modello se il modello stesso l’avrebbe scritto in modo diverso», chiarisce Luca Pappalardo, ricercatore del CNR-ISTI e co-direttore dello studio.
La sorpresa è quindi relativa: uno stesso documento può risultare più o meno prevedibile a seconda del modello che lo esamina.
Come funziona il metodo per ridurre il model collapse
I ricercatori hanno osservato che utilizzare i documenti meno sorprendenti per il riaddestramento contribuisce maggiormente alla degenerazione. Selezionare quelli più sorprendenti aiuta invece a mitigare il problema.
Il metodo prevede di valutare la perplexity dei documenti candidati e privilegiare quelli meno prevedibili. La valutazione viene aggiornata durante i successivi cicli, seguendo i cambiamenti del modello.
«Nei nostri esperimenti abbiamo dimostrato che selezionando per l’addestramento solo i documenti sorprendenti si mitiga il problema del collasso», sottolinea Pappalardo.
L’obiettivo è preservare la varietà dei testi e la capacità di generare risposte sensate, evitando che l’addestramento rafforzi continuamente gli stessi schemi.
Perché distinguere testi umani e artificiali diventa difficile
Una delle strategie per affrontare il problema consiste nel selezionare contenuti scritti da persone. La crescente somiglianza tra testi umani e artificiali rende però questa distinzione complessa.
La proposta dello studio usa un criterio diverso: quanto il documento sorprende il modello. La selezione può quindi operare anche quando l’origine del contenuto non è nota.
«Questo approccio non richiede di sapere se un documento è stato scritto da un umano o da una macchina e, in un’epoca in cui distinguere i due tipi di contenuto è sempre più difficile, questa proprietà è fondamentale per la strategia», osserva Gizem Gezici, ricercatrice presso la Scuola Normale Superiore.
Risultati promettenti e limiti della ricerca
I risultati derivano da simulazioni su modelli linguistici. Servono ulteriori verifiche sui sistemi reali e l’efficacia del metodo per immagini, audio e video resta da dimostrare.
La perplexity, inoltre, misura l’imprevedibilità: da sola non certifica la correttezza di un’informazione. Gli autori considerano anche il rischio di selezionare testi casuali o rumorosi. La “sorpresa” va dunque inserita in un processo attento di selezione dei dati.
La coevoluzione tra persone e intelligenza artificiale
Per Dino Pedreschi, il lavoro richiama il ruolo degli eventi inattesi nell’apprendimento: «Reintrodurre la sorpresa nell’addestramento richiama il modo in cui i bambini imparano dagli eventi inattesi».
La ricerca si inserisce nello studio della coevoluzione umano-IA: i sistemi artificiali producono contenuti che modificano l’ambiente informativo, mentre quello stesso ambiente può fornire i dati per addestrare i modelli successivi.
Il lavoro suggerisce così una direzione concreta per lo sviluppo dell’IA generativa: prestare attenzione alla varietà e al valore informativo dei materiali utilizzati, oltre che alla loro quantità e provenienza.
