Due gravi incidenti informatici, a poche ore di distanza l’uno dall’altro, hanno paralizzato i servizi Microsoft in tutto il mondo e il traffico aereo degli Stati Uniti: nessuna prova indica che siano stati provocati dall’intelligenza artificiale, ma entrambi pongono una domanda che la corsa all’automazione rende sempre più urgente: quella se stiamo costruendo sistemi tanto intelligenti da diventare troppo complessi per essere governati.
Riassumi con l’IAScegli l’assistenteAssistente
Apri con il tuo assistente preferito
Nel giro di poche ore due avvenimenti hanno mostrato al mondo quanto sia diventata fragile la struttura tecnologica sulla quale poggia la nostra società: prima Microsoft, con un’interruzione dei servizi che ha coinvolto aziende, amministrazioni pubbliche, ospedali e istituzioni finanziarie in numerosi Paesi, poi gli Stati Uniti, dove un guasto al sistema di controllo del traffico aereo ha costretto la Federal Aviation Administration, la FAA, a sospendere per diverse ore le partenze su tutto il territorio nazionale. Milioni di persone hanno scoperto all’improvviso che strumenti ormai considerati indispensabili possono diventare inutilizzabili da un momento all’altro.
Osservando questi due episodi mi sono chiesto se la loro quasi contemporaneità possa avere qualcosa a che fare con la crescente introduzione dell’intelligenza artificiale nei sistemi informatici. Anche se le prime ricostruzioni ufficiali tendono a escludere un coinvolgimento diretto dell’IA, ritengo che liquidare la questione con questa constatazione significherebbe perdere l’occasione di affrontare un problema assai più importante: quello di sapere se la complessità dei sistemi tecnologici cresca più rapidamente della nostra capacità di comprenderne e controllarne il comportamento; intelligenza artificiale a parte.
Microsoft: quando un errore si propaga a milioni di utenti
Il disservizio Microsoft ha interessato Outlook, Teams, Exchange Online e altri servizi della piattaforma Microsoft 365, coinvolgendo utenti e organizzazioni distribuiti in decine di Paesi. Secondo le informazioni diffuse dall’azienda, il problema sarebbe derivato da un’anomalia tecnica collegata alla configurazione e ai controlli automatici di funzionamento dei server: una parte delle risorse informatiche sarebbe diventata indisponibile, trasferendo il carico di lavoro su quelle rimaste operative e contribuendo così alla propagazione del disservizio. È un meccanismo ben conosciuto nell’ingegneria delle reti: quando un sistema distribuito perde una parte della propria capacità, le richieste vengono indirizzate verso le risorse superstiti, e se queste non dispongono di sufficiente capacità residua il sovraccarico può provocare ulteriori malfunzionamenti, alimentando un processo a cascata. Per accadere non c’è bisogno di coinvolgere intelligenza artificiale, perché gli algoritmi tradizionali di gestione del traffico, i sistemi automatici di verifica e le procedure di riconfigurazione possono produrre effetti analoghi: la novità sta nella scala del fenomeno. Infatti, un tempo un guasto informatico poteva compromettere il funzionamento di un’azienda, di una centrale telefonica o di una rete nazionale; oggi una singola infrastruttura cloud può servire contemporaneamente centinaia di milioni di utenti, distribuendo le proprie funzioni attraverso numerosi centri di elaborazione, collegamenti di telecomunicazione e applicazioni interdipendenti. La concentrazione delle risorse introduce una forma di vulnerabilità sistemica: quando il centro di un ecosistema digitale si arresta, le conseguenze possono raggiungere organizzazioni che non hanno alcuna responsabilità nel guasto e nessuna possibilità concreta di intervenire per risolverlo.
Gli Stati Uniti fermano gli aerei: il problema delle infrastrutture obsolete
Ancora più impressionante è quanto accaduto il 13 novembre negli Stati Uniti, dove un’anomalia nelle comunicazioni utilizzate dai centri di controllo del traffico aereo ha indotto la FAA a disporre un blocco nazionale delle partenze, durato diverse ore, con migliaia di voli cancellati o ritardati e conseguenze destinate a protrarsi anche dopo il ripristino delle operazioni. Il segretario ai Trasporti Sean Duffy ha attribuito il problema a infrastrutture tecnologiche obsolete, segnalando in particolare il sovraccarico di apparati di rete, router e sistemi di commutazione, che avrebbe prodotto instabilità e incoerenze nei dati utilizzati dai controllori. Per chi, come me, ha trascorso buona parte della propria vita professionale nel settore delle telecomunicazioni, questa spiegazione è particolarmente interessante, perché un router è molto più di un dispositivo che trasporta informazioni: è un apparato che deve ricevere, esaminare e inoltrare pacchetti di dati rispettando vincoli temporali, priorità e capacità di elaborazione. Quando il traffico supera determinate soglie possono aumentare le code, i ritardi e le perdite di pacchetti, e nei sistemi critici il problema riguarda anche la possibilità che un’informazione arrivi troppo tardi o non sia più sufficientemente affidabile, oltre alla sua mancata consegna. Nel controllo del traffico aereo, dove le decisioni dipendono dalla disponibilità di informazioni coerenti e tempestive, un degrado delle comunicazioni rendere ovviamente necessaria la sospensione preventiva delle operazioni.
Il fatto più interessante, però, è un altro: pochi giorni prima dell’incidente la FAA aveva esteso ai propri centri di controllo una nuova piattaforma di supporto alle decisioni basata sull’intelligenza artificiale, denominata SMART e sviluppata con Air Space Intelligence, che integra numerosi flussi informativi relativi al traffico aereo, alle rotte, alle condizioni meteorologiche e ad altre variabili operative, con l’obiettivo di migliorare la pianificazione e la gestione dello spazio aereo.
La coincidenza temporale ha inevitabilmente alimentato interrogativi su un possibile collegamento tra l’introduzione del nuovo sistema e il guasto: la società sviluppatrice ha escluso che SMART ne sia stata la causa, e le autorità hanno indicato problemi nelle infrastrutture tradizionali. Resta però una questione che merita attenzione: quando si introduce una tecnologia nuova all’interno di un’infrastruttura costruita molti anni prima, occorre verificare che la nuova applicazione funzioni correttamente e dimostrare anche che l’intero sistema, comprese le sue componenti più vecchie, possa sostenere le nuove modalità di funzionamento e i relativi carichi. Quindi il problema non potrebbe essere semplicemente che questa infrastruttura degli USA sia vecchia (come ha affermato Trump), ma che si è messo del nuovo sul vecchio.
I sistemi legacy: la sfida che precede l’intelligenza artificiale
Che il problema riguardi anche le imprese, e non soltanto le grandi infrastrutture pubbliche, lo conferma quanto emerso il 4 novembre alla Fondazione Luigi Rovati di Milano, dove GFT Technologies ha organizzato l’evento «AI Modernization: From Legacy to Agency»: gli agenti di intelligenza artificiale sono pensati per il futuro, ma nelle aziende devono spesso operare su sistemi informativi progettati decenni fa, e la sfida consiste nel rendere dati, applicazioni e architetture esistenti in grado di sostenerli, oltre che nell’introdurre nuovi modelli. La dimensione della questione emerge dalla ricerca «The Future of AI, Unfiltered», realizzata da Wakefield Research su 945 CIO e CTO di grandi aziende in 19 Paesi: l’84% ha cancellato almeno un progetto di intelligenza artificiale a causa dei limiti dei sistemi legacy, e il 93% ritiene che utilizzare l’IA su infrastrutture obsolete senza modernizzarle possa esporre l’azienda a una grave crisi di sicurezza. Sono gli stessi aspetti che i guasti di questi giorni hanno mostrato su scala molto più ampia, perché la nuova tecnologia si innesta su fondamenta costruite per esigenze diverse, e la loro tenuta condiziona tutto ciò che vi viene appoggiato sopra.
Lette insieme, queste considerazioni indicano che la fragilità di cui abbiamo visto gli effetti nasce quasi sicuramente nel punto d’incontro tra ciò che si aggiunge e ciò che esiste già: ogni agente introdotto in un processo incontra i limiti dei dati, delle applicazioni e delle reti sulle quali poggia, e la modernizzazione dei sistemi legacy diventa la condizione preliminare di qualunque automazione affidabile, con l’intelligenza artificiale che può essere al tempo stesso il fattore di rischio e uno degli strumenti per ridurlo.
E non basta invocare lo “human in the loop”
Dobbiamo qui seriamente distinguere tra l’intelligenza artificiale che osserva e suggerisce, e quella alla quale viene attribuita la capacità di modificare il funzionamento di un sistema critico: nel secondo essa diventa parte integrante della catena di controllo e deve quindi essere sottoposta, fin dalla progettazione, a requisiti di sicurezza, verificabilità e affidabilità adeguati alle conseguenze dei suoi possibili errori. Invocare genericamente la presenza dell’uomo nel processo decisionale è insufficiente, perché un operatore che riceva centinaia di decisioni automatiche al secondo non può esercitare un controllo effettivo su ciascuna di esse: occorrono architetture progettate per contenere i guasti, limitare l’autonomia delle funzioni più rischiose, impedire riconfigurazioni massive non autorizzate e garantire modalità operative degradate ma sicure quando una componente diventa indisponibile.
Il paradosso dell’automazione intelligente
Ed eccoci al problema generale: l’intelligenza artificiale viene introdotta progressivamente nella gestione dei sistemi informatici perché promette di renderli più efficienti, affidabili e autonomi; e, in determinate architetture, può eseguire direttamente interventi correttivi. Sono capacità preziose, soprattutto quando le reti diventano troppo grandi e complesse per essere amministrate esclusivamente mediante interventi umani, ma la loro stessa autonomia crescente solleva nuove questioni. Immaginiamo un sistema di gestione di un’infrastruttura cloud nel quale un componente intelligente, incaricato di individuare i server malfunzionanti, interpreti erroneamente una serie di anomalie e suggerisca o disponga l’esclusione contemporanea di numerose macchine: la decisione potrebbe apparire corretta se considerata isolatamente, perché ogni server segnalato presenta effettivamente qualche indicatore anomalo, ma l’effetto complessivo potrebbe essere disastroso, dato che la rimozione simultanea di troppe risorse provocherebbe il sovraccarico di quelle rimaste. Il fenomeno non nasce con l’intelligenza artificiale, ed è noto da decenni nella teoria dei sistemi complessi, nella gestione delle reti e nell’ingegneria della sicurezza; l’IA però ne modifica profondamente la dinamica, perché permette di prendere decisioni più rapidamente, su una quantità maggiore di variabili e con livelli di autonomia prima difficili da raggiungere. Un essere umano può commettere errori, ma normalmente impiega un certo tempo per eseguire una sequenza di interventi, mentre un sistema automatico può modificare migliaia di configurazioni in pochi secondi: la velocità, che costituisce uno dei maggiori vantaggi dell’automazione, può diventare così un fattore di amplificazione del rischio; e del danno.
Quando l’intelligenza artificiale scrive il software che governa le infrastrutture
Esiste poi un altro problema; l’intelligenza artificiale generativa viene ormai utilizzata diffusamente per assistere i programmatori nella scrittura, nella revisione e nella manutenzione del codice: è una trasformazione straordinaria, ma produrre codice più velocemente non significa necessariamente produrre sistemi più sicuri. Un programma può essere formalmente corretto, superare numerosi test e funzionare perfettamente nelle condizioni previste, e manifestare poi comportamenti inattesi quando viene inserito in un ambiente composto da migliaia di altri programmi; la difficoltà poi cresce quando il software generato automaticamente viene integrato in architetture che nessun singolo progettista conosce ormai nella loro interezza. Non sostengo che il codice prodotto dall’IA sia necessariamente meno affidabile di quello scritto da esseri umani: il rischio sta nella possibilità che l’accelerazione della produzione superi la capacità di verifica, documentazione e collaudo.
La fragilità della concentrazione digitale
I due incidenti suggeriscono anche una riflessione economica e politica: la trasformazione digitale ha progressivamente concentrato funzioni essenziali nelle mani di un numero relativamente limitato di grandi operatori tecnologici, e Microsoft, Amazon, Google e pochi altri gestiscono piattaforme dalle quali dipendono imprese, amministrazioni pubbliche, istituzioni finanziarie e servizi sanitari. Un’organizzazione che trasferisce integralmente le proprie comunicazioni, i documenti, gli archivi e i processi operativi verso un unico fornitore, rinuncia a gran parte della propria autonomia tecnologica, e quando quel fornitore subisce un’interruzione il problema diventa immediatamente anche suo. L’intelligenza artificiale accentua questa tendenza, perché i modelli più avanzati richiedono infrastrutture di calcolo, capacità energetiche e investimenti che favoriscono ulteriormente la concentrazione industriale; e il risultato è quello che già vediamo: un mondo nel quale disponiamo di strumenti informatici sempre più potenti, ma dipendiamo da un numero sempre minore di infrastrutture.
Questa è una contraddizione che dovrebbe interessare particolarmente l’Europa, impegnata a discutere di sovranità digitale e autonomia tecnologica; dove la vera sovranità dovrebbe consistere nel mantenere operativi servizi essenziali, come quello della comunicazione aziendale, quando una piattaforma esterna smette di funzionare.
La lezione dei due incidenti
Non sappiamo ancora se le indagini sui recenti guasti Microsoft e FAA porteranno alla luce ulteriori elementi: le informazioni non dimostrano alcuna responsabilità diretta dell’intelligenza artificiale, ma sappiamo che entrambi gli episodi hanno rivelato una dipendenza profonda da infrastrutture digitali il cui funzionamento è ormai essenziale per la vita economica e sociale. Ed è qui che, a mio giudizio, si trova la questione più importante: per decenni abbiamo misurato il progresso informatico soprattutto attraverso la potenza di calcolo, la velocità delle comunicazioni, la capacità di memorizzazione e, più recentemente, le prestazioni dell’intelligenza artificiale, e abbiamo dedicato molta meno attenzione alla capacità di un sistema di continuare a funzionare quando qualcosa va storto. La sua resilienza: essa coincide con la capacità di sopportare gli errori più che con la loro assenza; un sistema veramente affidabile sa riconoscere i propri malfunzionamenti, limitarne la propagazione e conservare le funzioni essenziali anche in condizioni anomale. L’intelligenza artificiale può aiutarci a costruire sistemi di questo genere, purché venga introdotta per migliorarne la resilienza oltre che per accelerare i processi e ridurre i costi, e purché si cominci dalla modernizzazione dei sistemi esistenti, che l’IA stessa può aiutare a conoscere e a governare con maggiore consapevolezza.
Forse i due incidenti di questi giorni, pur non essendo stati attribuiti all’intelligenza artificiale, costituiscono un avvertimento particolarmente opportuno, mentre ci prepariamo ad affidarle responsabilità sempre maggiori.

