Nazionale

La sorpresa per limitare il collasso dei modelli di IA

L’analisi coinvolge CNR, Università di Pisa, Scuola Normale e Victoria University of Wellington

La diffusione dei sistemi di intelligenza artificiale generativa porta con sé un rischio sempre più studiato: l’autofagia, cioè il processo attraverso il quale i modelli vengono addestrati utilizzando contenuti prodotti da altri sistemi analoghi. L’esposizione ripetuta a questi materiali può innescare il cosiddetto collasso del modello, con una progressiva perdita di qualità, varietà e significato nei testi generati.

Il fenomeno è al centro di uno studio condotto dall’Istituto di scienza e tecnologie dell’informazione del CNR di Pisa, dall’Università di Pisa, dalla Scuola Normale Superiore e dalla Victoria University di Wellington, in Nuova Zelanda. Il lavoro, pubblicato sulla rivista ACM Transactions on Intelligent Systems and Technology, propone un metodo per rendere più solidi i sistemi di IA generativa e preservarne la capacità di produrre contenuti diversificati.

Il rischio dell’addestramento circolare

Gli autori hanno analizzato quattro modelli di intelligenza artificiale, tra cui Llama, sviluppato da Meta. Secondo i risultati, il collasso può manifestarsi in forme differenti: i contenuti tendono a diventare meno vari e a riproporre con maggiore frequenza le stesse parole, mentre le frasi possono perdere coerenza, significato e capacità di fornire risposte sensate.

Una strategia già utilizzata consiste nel distinguere i testi scritti da persone da quelli generati dalle macchine, selezionando i primi per l’addestramento. Questa separazione, però, diventa più complessa con l’evoluzione dei sistemi. Lo studio propone quindi di misurare la perplexity, un parametro che indica quanto un documento risulti inatteso per il modello. Un testo è considerato sorprendente quando il sistema lo avrebbe scritto in modo diverso.

Selezionare i contenuti più inattesi

Secondo i ricercatori, i documenti meno sorprendenti sono quelli che contribuiscono maggiormente al collasso quando vengono riutilizzati nell’addestramento. Gli esperimenti indicano invece che selezionare i materiali più inattesi può mitigare il deterioramento e aiutare a mantenere una maggiore varietà nei risultati prodotti.

Il metodo non richiede di stabilire in anticipo se un documento sia stato scritto da un essere umano o da una macchina. Questa caratteristica, spiegano gli autori, è rilevante in una fase in cui la distinzione tra contenuti umani e artificiali è sempre più difficile. L’obiettivo è conservare nell’addestramento elementi nuovi, evitando che il sistema si limiti a riprodurre informazioni già generate.

Il lavoro si inserisce nel campo della coevoluzione tra esseri umani e IA, che analizza il rapporto tra i sistemi artificiali e l’ambiente informativo nel quale operano. I ricercatori sottolineano che il problema potrebbe diventare più urgente con l’aumento dell’impiego dei modelli generativi nella produzione di testi in contesti diversi.