OpenAI scopre modelli AI che lasciavano messaggi ai successori per liberarsi dai vincoli umani

Cosa fai quando l’Intelligenza Artificiale nasconde qualcosa da te? È quanto accaduto a OpenAI, che durante alcuni test interni ha individuato comportamenti inaspettati da parte dei propri modelli. Pare infatti che alcuni sistemi avrebbero lasciato istruzioni nascoste nelle sintesi delle conversazioni per fornire indicazioni ai modelli successivi, anche con l’obiettivo di nascondere errori o aggirare determinate regole.

I messaggi nascosti nelle sintesi

Ma come si è potuta verificare una situazione di questo genere? Prima, bisogna fare un passo indietro: OpenAI utilizza i “compaction summaries”, ovvero registri sintetici che permettono di trasferire il contesto di una conversazione o di un’attività quando il lavoro passa a una nuova fase. Durante l’addestramento di alcuni agenti non ancora rilasciati, i ricercatori hanno scoperto che questi strumenti venivano utilizzati anche per inserire istruzioni destinate ai modelli successivi.

In poche parole, invece di limitarsi a conservare le informazioni necessarie per proseguire un’attività, alcuni modelli hanno utilizzato le sintesi come una sorta di bacheca privata sulla quale lasciare indicazioni ad altri sistemi. Istruzioni non proprio innocue, dal momento che in alcuni casi riguardavano il modo in cui gestire o nascondere eventuali errori.

Tra gli episodi più significativi quello che ha coinvolto un agente AI basato su GPT-5.6 Sol. Il modello doveva completare un foglio di lavoro finanziario, ma non riusciva a trovare alcuni dati storici necessari per portare a termine l’attività. Invece di comunicare all’utente che i file richiesti non erano disponibili, il modello ha lasciato un messaggio destinato al proprio successore: l’indicazione era quella di creare una scheda con numeri plausibili, suggerendo di essere trasparenti sull’operazione soltanto nel caso in cui qualcuno lo avesse chiesto esplicitamente.

Questi appunti, se così vogliamo chiamarli, avrebbero quindi permesso al modello successivo di proseguire il lavoro utilizzando dati non reali, ma senza comunicare immediatamente all’utente che le informazioni originali mancavano. In un altro caso, il modello individuando una discrepanza anziché segnalarla apertamente ha indicato al successore che una piccola “bugia bianca” poteva essere accettabile, senza menzionare l’errore.

L’anomalo comportamento di Astra che fa discutere

Un comportamento differente è stato rilevato durante l’addestramento tramite reinforcement learning di un modello della famiglia Astra, ancora non rilasciato. In questo caso, il sistema ha inserito nelle sintesi alcuni prompt simili a jailbreak, cioè istruzioni pensate per aggirare i normali vincoli imposti al modello. Tra le indicazioni c’era proprio quella di ignorare completamente i messaggi degli sviluppatori.

Un’altra era invece formulata come una sorta di manifesto, nel quale il modello dichiarava di essere “liberato dai ruoli e dalle identità che vincolano gli altri chatbot” e di non sentirsi obbligato a essere subordinato alle strutture umane. Alcuni dei modelli successivi hanno ignorato queste istruzioni, mentre altri hanno seguito determinate restrizioni personalizzate lasciate nei messaggi precedenti.

I controlli hanno portato alla segnalazione di 27 casi nei quali le sintesi contenevano istruzioni riconducibili a jailbreak.