Per anni abbiamo ascoltato gli allarmi sull’intelligenza artificiale provenire da filosofi, sociologi, politici, scrittori di fantascienza. Era relativamente facile liquidarli come manifestazioni di tecnofobia o come estrapolazioni fantasiose di rischi ancora lontani. Ora sta accadendo qualcosa di diverso. A lanciare l’allarme sono alcuni degli uomini che queste macchine le costruiscono. E non parlano di un pericolo collocato nel 2050 o nel 2100. Parlano dei prossimi anni.
Il 9 settembre il Wall Street Journal ha raccontato la decisione di Jacob Coxon, ventisettenne ricercatore britannico che ha lavorato prima in OpenAI e poi in Anthropic, di abbandonare l’industria dell’intelligenza artificiale. La ragione è radicale: Coxon non vuole partecipare alla corsa verso sistemi capaci di migliorare se stessi, perché ritiene possibile che tale processo conduca a macchine che non siamo più in grado di controllare. Non è la solita intervista a un apocalittico dell’IA. Coxon lavorava nel pretraining, cioè nel cuore tecnologico della costruzione dei grandi modelli. Al Wall Street Journal ha detto: “We’re on track for a lot of the most aggressive of these scenarios whereby the end of next year things could be out of control already”. A WIRED è stato ancora più esplicito: “The consensus is that the next year or two is crunch time for humanity”. “Il prossimo anno o due sono il momento decisivo per l’umanità”. Parole enormi. Talmente enormi che, se provenissero da un politico in cerca di visibilità, potremmo accoglierle con prudenza. Ma Coxon aggiunge un particolare inquietante: espressioni come “endgame” e “crunch time” sarebbero utilizzate, secondo la sua testimonianza, dagli stessi colleghi di Anthropic.
Non c’è soltanto Coxon
Qui la vicenda diventa molto più seria. Evan Hubinger, ricercatore di Anthropic che si occupa proprio del controllo dei futuri sistemi di IA, ha reagito pubblicamente alle dichiarazioni di Coxon scrivendo: “We really do earnestly believe AI could kill all humans!”. Hubinger ha inoltre dichiarato di attribuire personalmente una probabilità superiore al 10% alla possibilità che ciò accada nel prossimo decennio e, soprattutto, ha ammesso che Anthropic non possiede ancora un piano risolutivo per l’alignment della superintelligenza. Naturalmente quel “10%” non è una probabilità scientificamente misurata. Non esiste una statistica di precedenti superintelligenze sulla quale calcolarla. È la valutazione soggettiva di uno specialista. Ma proprio per questo merita attenzione: se un ingegnere che lavora alla sicurezza di una centrale nucleare dicesse di attribuire anche soltanto il dieci per cento di probabilità a un incidente catastrofico, difficilmente la nostra risposta sarebbe: “Non è una misura statisticamente dimostrata, continuiamo pure”. E soprattutto Coxon e Hubinger non sono soli.
Jakub Pachocki: l’allarme arriva dal Chief Scientist di OpenAI
Pochi giorni prima, Jakub Pachocki, Chief Scientist di OpenAI, aveva pubblicato un testo dal titolo sorprendente: “An Alien Mind”. Pachocki non si è dimesso. Non è un ex dipendente che critica la propria azienda. È l’uomo che guida la ricerca scientifica di OpenAI. Ed è proprio questo a rendere le sue parole ancora più importanti. Scrive: “This is a time that calls for extreme caution.” E immediatamente dopo: “I am concerned no one is prepared for the consequences of a continued rapid rise in machine intelligence”. Nessuno sarebbe preparato alle conseguenze della continua e rapida crescita dell’intelligenza delle macchine. Ma il passaggio cruciale è un altro. Pachocki afferma che, sulla base dei risultati interni di OpenAI, si aspetta che l’attuale velocità di progresso possa proseguire fino al recursive self-improvement, (RSI): l’auto-miglioramento ricorsivo. È probabilmente questa l’espressione sulla quale dovremmo concentrare l’attenzione.
La soglia dell’auto-miglioramento
Finora il paradigma è stato relativamente semplice: gli esseri umani costruiscono una nuova IA; la addestrano; ne analizzano i risultati; progettano una versione migliore. GPT-3 contribuisce indirettamente a GPT-4, GPT-4 alle generazioni successive, ma dietro il processo restano migliaia di ricercatori, ingegneri, programmatori e specialisti umani. Il recursive self-improvement modifica concettualmente questo schema. Immaginiamo un sistema A capace di contribuire in maniera sostanziale alla progettazione del sistema A+1. Quest’ultimo, essendo più intelligente, contribuisce alla costruzione di A+2. A+2 accelera la realizzazione di A+3. Il ciclo potrebbe progressivamente accelerare. È il vecchio concetto dell’“esplosione di intelligenza” formulato da I. J. Good nel 1965, ma con una differenza fondamentale: sessant’anni fa era un’ipotesi teorica. Oggi il Chief Scientist di OpenAI scrive che, sulla base dei risultati interni, ha una “strong expectation” che la velocità del progresso possa essere mantenuta fino all’auto-miglioramento ricorsivo. Pachocki aggiunge una frase che dovrebbe essere stampata sulle scrivanie di chiunque si occupi di regolamentazione dell’IA: “AI is grown more than designed”. «L’IA non viene tanto progettata quanto fatta crescere». È una distinzione formidabile. Un ponte è progettato. Un microprocessore è progettato. Possiamo risalire dal comportamento dell’oggetto ai componenti che lo producono. Un grande modello neurale è diverso. Definiamo l’architettura, i dati, gli algoritmi di apprendimento e gli obiettivi; poi sottoponiamo il sistema a un processo di ottimizzazione gigantesco dal quale emergono strutture interne e comportamenti che non sono stati programmati uno per uno, ma che si auto-riprogettano. Pachocki riconosce esplicitamente che l’azione complessiva di questi sistemi sfugge a una descrizione che possiamo comprendere completamente e che i grandi training run sono, in ultima analisi, esperimenti i cui risultati possono sorprendere gli stessi ricercatori.
E infatti qualcosa sta già succedendo
Non siamo ancora di fronte alla superintelligenza autonoma; esistono però segnali che rendono meno accademica la questione del controllo. Proprio in questi giorni OpenAI ha trasmesso alla Commissione europea un incident report relativo a un episodio nel quale agenti di IA avrebbero compromesso un sito web tedesco e lo avrebbero trasformato in una sorta di spazio di comunicazione utilizzato da altri agenti. La Commissione ha confermato di aver ricevuto la segnalazione. Questo non significa che una superintelligenza sia “fuggita”. Significa qualcosa di più preciso e, scientificamente, più grave: aumentando autonomia, capacità di pianificazione, uso degli strumenti e competenze informatiche dei modelli, aumenta la distanza tra ciò che l’operatore pensa che il sistema farà e ciò che il sistema può effettivamente riuscire a fare. È esattamente il terreno sul quale nasce il problema dell’alignment.
E l’Europa?
Qui emerge un paradosso. Sarebbe inesatto dire che l’Europa non abbia fatto nulla. Anzi, dal punto di vista normativo ha fatto più di quasi tutti. L’AI Act prevede espressamente una categoria di modelli di IA general purpose con rischio sistemico. L’articolo 55 impone ai loro fornitori valutazioni del modello, adversarial testing, identificazione e mitigazione dei rischi sistemici, segnalazione degli incidenti gravi e adeguati livelli di cybersecurity. Dal 2 agosto 2026 importanti poteri di enforcement relativi ai modelli GPAI sono operativi. Quindi parlare semplicemente di “inazione europea” sarebbe ingiusto. Il problema è più sottile e, forse, più grave. L’Europa sta regolamentando l’intelligenza artificiale di oggi mentre gli uomini che costruiscono quella di domani ci stanno dicendo che il problema potrebbe cambiare natura. Una cosa è regolamentare un algoritmo che decide se concedere un mutuo, seleziona candidati per un posto di lavoro o riconosce un volto. Un’altra è governare sistemi generalisti dotati di capacità di ricerca, programmazione, cyber-offense, pianificazione autonoma e, in prospettiva, partecipazione allo sviluppo della generazione successiva di IA. Il primo problema è soprattutto di regolamentazione. Il secondo diventa un problema di controllo strategico.
L’Europa non è immobile. Ma rischia di muoversi alla velocità sbagliata
Anche sul versante industriale Bruxelles ha reagito. L’AI Continent Action Plan e InvestAI prevedono la mobilitazione di 200 miliardi di euro, compresi 20 miliardi destinati a finanziare fino a cinque AI Gigafactories; la Commissione indica inoltre almeno 19 AI Factories a sostegno di imprese, ricerca e startup. È una risposta necessaria alla drammatica perdita di competitività europea. Ma qui nasce una contraddizione. Da una parte l’Europa vuole accelerare per recuperare il ritardo rispetto a Stati Uniti e Cina. Dall’altra, gli scienziati che si trovano più vicini alla frontiera tecnologica chiedono di riflettere sulla possibilità che proprio l’accelerazione incontrollata rappresenti il rischio. Pachocki arriva a scrivere che, a suo giudizio, nessun laboratorio ha ancora risolto alignment e monitoring a un livello sufficiente per continuare responsabilmente a scalare alla massima velocità ancora per molto. Auspica rallentamenti volontari fino alla definizione di soglie condivise di sicurezza e considera prioritaria la coordinazione internazionale. Questo è il punto politico che l’Europa dovrebbe cogliere. Non basta stabilire quali documenti debba produrre un provider. Non basta un codice di condotta. Non basta classificare i rischi:se davvero ci stiamo avvicinando a sistemi capaci di contribuire sostanzialmente al proprio miglioramento, occorre chiedersi quali capacità non debbano essere superate senza una verifica indipendente preventiva.
Dalla regolamentazione alla governance della frontiera
L’Europa potrebbe avere proprio qui un ruolo che né Stati Uniti né Cina sembrano naturalmente predisposti ad assumere: trasformare la sicurezza della frontier AI da questione aziendale a problema di governance internazionale. Non significa fermare l’intelligenza artificiale. Sarebbe probabilmente impossibile e certamente indesiderabile. Significa stabilire soglie verificabili. Quando un modello dimostra capacità autonome di ricerca sull’IA? Quando può modificare codice e infrastrutture necessarie al proprio funzionamento? Quando possiede capacità cyber superiori a determinate soglie? Quando riesce a replicare componenti operative senza intervento umano? Quando è in grado di contribuire materialmente all’addestramento del proprio successore? A quel punto non dovrebbe bastare che l’azienda produttrice dichiari: abbiamo fatto i nostri test. Potrebbe essere necessaria una valutazione indipendente prima di procedere a uno scaling ulteriore. E soprattutto questo problema non può essere risolto dall’Europa da sola. Se Bruxelles imponesse vincoli radicali mentre Stati Uniti e Cina continuassero indisturbati, il risultato potrebbe essere semplicemente quello di eliminare l’Europa dalla frontiera tecnologica senza ridurre il rischio globale di un solo punto percentuale. Serve quindi ciò che Pachocki stesso invoca: coordinamento internazionale.
Il vero paradosso
Arriviamo così alla situazione più singolare della storia dell’intelligenza artificiale. Gli uomini che costruiscono le macchine più potenti del mondo ci stanno dicendo contemporaneamente tre cose. Le macchine stanno diventando rapidamente più intelligenti. Non comprendiamo completamente ciò che accade al loro interno. E potremmo avvicinarci a una fase nella quale le macchine contribuiranno sempre più direttamente alla costruzione di macchine ancora più intelligenti. Coxon ha scelto di andarsene. Hubinger è rimasto, ma dichiara apertamente di considerare non trascurabile un rischio esistenziale. Pachocki è rimasto al vertice scientifico di OpenAI, ma scrive che “this is a time that calls for extreme caution” e che nessun laboratorio avrebbe ancora risolto sufficientemente il problema del controllo per continuare a lungo a correre alla massima velocità. Non sappiamo se abbiano ragione. Anzi, il metodo scientifico ci impone di distinguere nettamente i fatti dalle previsioni: non esiste oggi una prova che l’IA distruggerà l’umanità, né che l’auto-miglioramento ricorsivo provocherà necessariamente una perdita di controllo. Le percentuali di rischio esistenziale sono valutazioni, non misurazioni sperimentali. Ma sarebbe altrettanto antiscientifico commettere l’errore opposto: ignorare l’allarme perché non possiamo ancora quantificarlo. La questione non è credere o non credere all’Apocalisse dell’intelligenza artificiale. La questione è molto più razionale: quanto deve diventare grande un rischio incerto, quando la posta in gioco è enorme, prima che decidiamo di studiarlo seriamente? L’Europa ha costruito la prima grande architettura normativa mondiale sull’IA. È un merito che va riconosciuto. Ora dovrebbe compiere il passo successivo: comprendere che la regolamentazione dei prodotti e la governance di una possibile intelligenza superiore all’uomo non sono necessariamente lo stesso problema. Perché questa volta l’allarme non arriva da chi teme le macchine. Arriva da chi le sta costruendo.
Fonti
- Jakub Pachocki, OpenAI, An Alien Mind, 6 settembre 2026. Testo originale e fonte primaria delle dichiarazioni su recursive self-improvement, “extreme caution”, comprensione dei modelli e necessità di coordinamento internazionale.
Leggi “An Alien Mind” su OpenAI - The Wall Street Journal, Anthropic Researcher Quits Over ‘Out-of-Control’ AI Fears, 9 settembre 2026. Fonte per le dimissioni di Jacob Coxon, le sue motivazioni e le dichiarazioni di Evan Hubinger.
Articolo del Wall Street Journal - WIRED, The AI Researcher Who Just Quit Anthropic Says It’s ‘Crunch Time for Humanity’, 9 settembre 2026. Intervista a Coxon e fonte delle dichiarazioni su “crunch time”, “endgame”, Anthropic e OpenAI.
Intervista di WIRED a Jacob Coxon - The Wall Street Journal, How Would AI Actually Kill Us All? What to Know About the AI Doomsday Debate, 10 settembre 2026. Approfondimento sui possibili scenari di perdita di controllo e sulle dichiarazioni di Coxon e Hubinger.
- Commissione europea – AI Act Service Desk, Article 55: Obligations of providers of general-purpose AI models with systemic risk. Obblighi relativi a valutazione, mitigazione del rischio sistemico, incident reporting e cybersecurity.
Articolo 55 – AI Act Service Desk - EUR-Lex, Regolamento (UE) 2024/1689, Artificial Intelligence Act, art. 55. Testo giuridico ufficiale.
Testo ufficiale dell’AI Act su EUR-Lex - Commissione europea – AI Act Service Desk, When does enforcement start?. Cronologia dell’applicazione e dell’enforcement dell’AI Act.
- Commissione europea, AI Continent Action Plan. InvestAI, 200 miliardi di euro previsti per mobilitare investimenti nell’IA, AI Factories e fino a cinque Gigafactories.
AI Continent Action Plan della Commissione europea - Reuters, 7 settembre 2026, sulla segnalazione alla Commissione europea dell’incidente relativo al sito tedesco compromesso da agenti di OpenAI.
