Dal diritto alla spiegazione all'interpretabilità meccanicistica: autoencoder sparsi, circuiti neurali e gli strumenti che tentano di isolare i concetti appresi dall'IA. E la debole sovranità digitale.
Perché la macchina deve spiegarsi
Per decenni il software ha eseguito istruzioni scritte da una persona, e quando sbagliava si poteva aprire il codice, trovare la riga colpevole e correggerla. Con l’apprendimento automatico questa possibilità si è ridotta: le regole non le scrive nessuno, le ricava il sistema da milioni di esempi, e il risultato è un insieme di miliardi di numeri che funziona senza che si sappia dire perché. Finché il sistema suggerisce un film o corregge un refuso, la cosa conta poco. Conta moltissimo quando lo stesso sistema concorre a decidere se una persona debba ottenere un mutuo, un impiego, una prestazione pubblica o una cura, perché chi subisce la decisione ha diritto di conoscerne le ragioni e chi la prende deve poterne rispondere. Da questa esigenza nasce l’espressione IA spiegabile, in inglese explainable AI o XAI: la capacità di un sistema, o di chi lo impiega, di rendere comprensibile come sia arrivato a un risultato. Il legislatore ha cominciato a tradurre l’esigenza in obbligo, e in Italia lo ha fatto in più tempi. Dal 1990 la legge 241, all’articolo 3, impone all’amministrazione di motivare i provvedimenti indicando i presupposti di fatto e le ragioni giuridiche che hanno determinato la decisione. Nel 2023 il Codice dei contratti pubblici, all’articolo 30, ha previsto per le procedure automatizzate che l’operatore economico abbia diritto di sapere che esiste un processo decisionale automatizzato che lo riguarda e di ricevere informazioni sulla logica utilizzata, e che nella decisione ci sia un contributo umano capace di controllare, validare o smentire quella automatizzata. La legge 132 del 2025 sull’intelligenza artificiale, all’articolo 14, dispone infine che le amministrazioni usino l’IA in funzione strumentale e di supporto all’attività provvedimentale, assicurando agli interessati la conoscibilità del suo funzionamento e la tracciabilità del suo utilizzo, e che la persona resti l’unica responsabile dei provvedimenti e dei procedimenti.1 Per un funzionario significa che l’IA può supportare il suo lavoro, ma la decisione e la responsabilità restano sue, e che deve poter dire come lo strumento funziona e ha funzionato: ma è proprio la conoscibilità del funzionamento che oggi la scienza fa più fatica a garantire.
Il quadro europeo è più ampio. Il Regolamento generale sulla protezione dei dati, applicato dal 2018, riconosce all’articolo 22 il diritto di non essere sottoposti a una decisione fondata unicamente su un trattamento automatizzato, quando questa produce effetti giuridici o incide in modo analogo sulla persona, e agli articoli 13, 14 e 15 impone di fornire informazioni significative sulla logica utilizzata.2 I giuristi discutono l’ampiezza di questi diritti, ma la direzione è chiara, e il Regolamento sull’intelligenza artificiale, l’AI Act, la rende più esplicita. L’articolo 13 prevede che i sistemi ad alto rischio siano progettati in modo da essere sufficientemente trasparenti perché chi li impiega possa interpretarne l’output e usarlo in modo appropriato. L’articolo 86 attribuisce a chi è colpito da una decisione presa sulla base dell’output di un sistema ad alto rischio dell’allegato III, quando la decisione produce effetti giuridici o incide in modo analogo e significativo sulla persona, il diritto di ottenere spiegazioni chiare e significative sul ruolo del sistema nel processo decisionale e sui principali elementi della decisione.3 Gli obblighi per i sistemi dell’allegato III, che il testo originale faceva decorrere dal 2 agosto 2026, sono stati spostati al 2 dicembre 2027 dal Regolamento (UE) 2026/1744, in vigore dal 27 luglio 2026.3
Che cosa vuol dire spiegare
Spiegare, in questo senso, vuol dire rispondere a due domande. La prima riguarda il percorso: da quali elementi di partenza e attraverso quali passaggi il sistema sia arrivato a quella risposta. La seconda riguarda il tipo di ragionamento. Il procedimento deduttivo parte da regole generali e ne ricava conseguenze necessarie, come un sillogismo o un calcolo fiscale, ed è un percorso che chiunque può ripetere passo per passo. Il procedimento induttivo parte da casi osservati e ne ricava regolarità probabili, come fa il medico che riconosce un quadro clinico già visto o il giudice che decide per analogia con i precedenti. I modelli linguistici si formano per induzione, perché le loro regolarità vengono dall’osservazione di enormi quantità di testo, ma nell’uso producono risposte che hanno la forma di una deduzione, con premesse e conclusione. Chi legge non può sapere se dietro quella forma ci sia stato un ragionamento in senso proprio, un’associazione statistica che ne imita l’aspetto o una miscela dei due.
La difficoltà è di principio, prima ancora che tecnica. Un programma tradizionale è una sequenza di regole leggibili. Una rete neurale è una funzione fatta di miliardi di numeri, i parametri, che si sono assestati durante l’addestramento senza che nessuno li scegliesse uno per uno, e ciascuno, preso da solo, non significa nulla. Chiedere al modello di raccontare come ha ragionato non risolve il problema, perché il racconto è un’altra risposta, prodotta con lo stesso meccanismo, e nulla garantisce che corrisponda a ciò che è avvenuto dentro. Per le decisioni più delicate è raccomandabile che si possa scegliere di costruire fin dall’inizio modelli semplici, leggibili per progetto, ed è la posizione di Cynthia Rudin, professoressa alla Duke University, che invita a non accontentarsi di spiegazioni a posteriori delle scatole nere quando la posta in gioco è alta.4 I modelli linguistici di uso generale (ChatGpt, Claude, etc…), però, non appartengono a questa famiglia, e per essi la spiegazione deve venire dall’esame diretto dei meccanismi interni. È il campo dell’interpretabilità meccanicistica.
Aprire la scatola nera
L’interpretabilità meccanicistica tenta di fare con un’intelligenza artificiale ciò che si fa con un motore: smontarla, individuare le parti che la compongono e capire come lavorano insieme. Oggi un modello si verifica soprattutto provandolo, come si collauda un’auto in pista, senza poterne aprire il cofano: si vede se va bene nei casi provati, però non si sa che cosa farà in quelli che nessuno ha pensato di provare. Tra il 2022 e il 2025 Anthropic ha pubblicato quattro lavori che segnano le tappe principali di questa impresa, e qui ne ripercorro il filo.
Troppi concetti e poche caselle
Una rete neurale è fatta di unità di calcolo chiamate neuroni, e l’idea più naturale è che ogni neurone si occupi di un concetto, come in uno schedario con un cassetto per argomento. Nella pratica non funziona così: molti neuroni si accendono per cose che non hanno nulla in comune, per esempio uno può reagire nello stesso modo, sia a un certo tipo di citazione sia a un termine di cucina. I ricercatori chiamano il fenomeno polisemanticità, e nel 2022 un gruppo guidato da Nelson Elhage ne ha offerto una spiegazione con un modello semplificato.5 Il modello deve ricordare molti più concetti di quanti neuroni abbia a disposizione, e allora li sovrappone, come chi in un armadio piccolo mette più oggetti nello stesso scomparto contando sul fatto che quando ne serve uno particolare, sa dove e come trovarlo. Gli autori chiamano questa strategia superposizione. Funziona perché quasi tutti i concetti sono rari: in una frase qualunque, ne compaiono pochi, e le sovrapposizioni creano raramente confusione. Lo studio mostra anche che il passaggio da una rappresentazione ordinata a una sovrapposta avviene in modo brusco, come l’acqua che diventa ghiaccio.5 La conseguenza è che osservare i singoli neuroni equivale a leggere un testo in cui ogni lettera sia stata scritta sopra un’altra: l’informazione c’è, ma non nel punto in cui logicamente la cerchiamo. I concetti coincidono con combinazioni di neuroni, e per individuarle serve uno strumento diverso.
Il dizionario dei concetti
Lo strumento è l’autoencoder sparso, che Anthropic ha descritto nel 2023.6 Il nome è più ostico dell’idea: un autoencoder è un programma in due metà: la prima legge lo stato interno del modello in un dato istante e lo traduce in un elenco di concetti attivi, la seconda ricostruisce lo stato originale partendo soltanto da quell’elenco. Se la ricostruzione è fedele, l’elenco è una descrizione corretta di ciò che il modello stava facendo: l’aggettivo sparso indica il vincolo decisivo: l’elenco deve essere breve, con pochi concetti accesi tra migliaia di disponibili. È come chiedere a un traduttore di descrivere una scena con poche parole scelte da un vocabolario molto ampio, il che lo costringe a scegliere le più precise; il punto è che il vocabolario non è dato in partenza, si impara durante l’addestramento.
Applicato a un modello piccolo, con un solo strato, il metodo ha prodotto concetti che un lettore umano riconosce: la scrittura araba, le sequenze di DNA, i codici informatici, l’ebraico, ciascuno distribuito su molti neuroni, come prevede la teoria della superposizione.6 Ingrandendo il dizionario, un concetto largo si divide però in concetti più fini, come una voce di enciclopedia che si articola in sottovoci, e concetti simili ricompaiono in modelli addestrati separatamente, segno che non sono l’artefatto di un singolo esperimento.6 Gli stessi autori definiscono quindi questo metodo debole e spiegano di averlo scelto dopo aver visto che la sola sparsità imposta nella struttura della rete non basta a evitare la polisemanticità e che i metodi classici di apprendimento del dizionario soffrono di sovradattamento, cioè tendono a imparare a memoria i dati di addestramento.
Dal giocattolo al modello vero
Restava quindi un dubbio serio: un modello da laboratorio è una cosa, un sistema usato ogni giorno da milioni di persone è un’altra, come il modellino provato in galleria del vento è una cosa e l’aereo che vola con i passeggeri a bordo è un’altra. Nel 2024 Adly Templeton e colleghi hanno messo alla prova il metodo su Claude 3 Sonnet, un modello di Anthropic realmente in uso e non costruito per l’esperimento, con un dizionario fino a 34 milioni di voci, un numero molto superiore a quello delle voci di una grande enciclopedia.7 Ogni voce corrisponde a un concetto che il modello ha imparato a riconoscere e il modello si accende quando la riconosce. I concetti corrispondono a luoghi e persone note; altri sono idee astratte: c’è una voce che si accende davanti a un elogio sarcastico, cioè a un complimento che dice l’opposto di ciò che si pensa, e una che si accende davanti a un errore in un programma, come una divisione per zero o una variabile scritta male, senza reagire ai semplici refusi di un testo comune. Altri concetti ancora riguardano tratti rilevanti per la sicurezza: l’inganno, la ricerca di potere, la piaggeria, cioè la tendenza a dare ragione a chi parla per compiacerlo, e il pregiudizio.7 La prova più convincente è quella causale. Vedere che un concetto si accende quando si parla di un certo argomento dimostra soltanto una correlazione, come la lampadina dello stop che si accende quando l’auto frena: la si vede sempre insieme alla frenata, ma accenderla da sola non fa frenare nessuno. Per i concetti del modello i ricercatori hanno fatto la verifica opposta: ne hanno forzato l’accensione dall’esterno, tenendoli attivi a un livello molto superiore al normale mentre il resto del modello lavorava come sempre, e hanno osservato se cambiava ciò che il modello diceva. Un esempio efficace è stato l’esperimento con la voce legata al Golden Gate Bridge, esperimento reso pubblico da Anthropic: da dire che il concetto si accendeva davanti alla descrizione del ponte, ed era molto bravo, perché si accendeva anche quando la stessa descrizione compariva in cinese, giapponese, coreano, russo, vietnamita o greco. Si accendeva anche davanti a una fotografia del ponte, benché il modello fosse stato addestrato soltanto su testo, e per questo i concetti si dicono anche multimodali. Ma le risposte sono cambiate rispetto ad un modo normale previsto dal significato del concetto.7 Nella dimostrazione resa pubblica da Anthropic nel maggio 2024 la voce del Golden Gate Bridge era tenuta accesa a dieci volte il suo valore massimo: a chi chiedeva come spendere dieci dollari, il modello consigliava di usarli per attraversare il ponte in auto, e pagare il pedaggio, il che può apparire abbastanza logico; ma, invitato a scrivere una storia d’amore, raccontava quella di un’auto che non vede l’ora di raggiungere il suo amato ponte in una giornata di nebbia; interrogato su come si immagini, rispondeva che probabilmente si vede come il ponte stesso.8 È l’equivalente di stimolare una zona del cervello e osservare quale funzione si altera: nessuno aveva scritto quelle risposte, erano l’effetto di un solo concetto spinto oltre misura; come fosse drogato.
Gli autori avvertono però di non attribuire troppo peso alla semplice esistenza di un concetto: aver trovato ciò che corrisponde all’inganno non dimostra che il modello inganni, così come una persona che sa che cos’è una truffa, finché non la subisce.
Dai concetti ai circuiti
Un elenco di concetti, quindi, non basta a capire un ragionamento, come un elenco di ingredienti non basta a capire una ricetta: occorre sapere come si combinano. Il lavoro del 2025, dedicato a Claude 3.5 Haiku, affronta questo passo con i grafi di attribuzione.9 L’idea è costruire una versione del modello che dia le stesse risposte ma abbia parti più leggibili, in cui i concetti sono collegati da frecce che indicano chi influenza chi, perché nel modello originale l’effetto di un concetto su un altro dipende da tutto il resto e le frecce non si lasciano tracciare. Il grafo che ne risulta ricostruisce in modo parziale la sequenza di passaggi con cui una domanda diventa una risposta. Gli autori non lo prendono per vero: lo trattano come un’ipotesi e lo mettono alla prova intervenendo, cioè spegnendo o accendendo un concetto e controllando se la risposta cambia come previsto, e precisano che anche i grafi più complessi restano semplificazioni del modello originale.9
Nel caso più citato si chiede al modello: qual è la capitale dello stato in cui si trova Dallas? La risposta è Austin, ma il modello non la ricava con un salto diretto da Dallas. Attiva prima il concetto di Texas, lo stato che contiene Dallas, e solo da lì passa alla sua capitale. È un ragionamento in due tappe, prima lo stato e poi la capitale, e non una risposta imparata a memoria.9 In altri casi emerge che il modello usa in parte meccanismi legati a una lingua specifica e in parte meccanismi comuni a tutte le lingue, e che alcune allucinazioni, cioè le risposte inventate, nascono dal malfunzionamento di un meccanismo interno.9 Gli autori parlano di biologia dei modelli: i concetti fanno da cellule, i circuiti da tessuti, gli interventi da esperimenti. Forse per non dover dire che non esiste ancora la comprensione completa.
Il divario tra la norma e gli strumenti
Il titolo di questo articolo contiene una domanda, perché hai risposto così, e una distanza: la legge chiede all’IA di spiegarsi, la scienza ha appena cominciato a poterlo fare. E questa distanza si misura nei limiti che gli stessi autori dichiarano. I grafi di attribuzione offrono una comprensione soddisfacente per circa un quarto delle richieste provate, una stima informale che gli autori giudicano difficile da quantificare con precisione, e funzionano su una versione sostitutiva del modello, che ne riproduce il comportamento in modo incompleto e imperfetto. Non mostrano inoltre come il modello decida a quali parti del testo prestare attenzione, e in alcuni casi, come nel tentativo di aggirare le sue protezioni, il meccanismo sembra passare proprio da lì.9 Il dizionario dei concetti ricostruisce almeno il 65 per cento dell’informazione originale, con meno di 300 concetti accesi per ogni parola o frammento di parola elaborato su 34 milioni disponibili, e resta, per ammissione dei suoi autori, una descrizione incompleta: in un controllo sulle circoscrizioni amministrative di Londra il dizionario più grande conteneva un concetto per circa il 60 per cento di esse, come un’enciclopedia che dedicasse una voce a sei circoscrizioni su dieci.7 I casi di studio, che gli autori definiscono dimostrazioni di esistenza, mostrano che alcuni meccanismi interni si possono ricostruire, ma non sono una teoria generale del modello: sono un campione che, per loro stessa ammissione, risente dei limiti degli strumenti con cui è stato scelto.9
Per chi usa ChatGPT, Claude e gli altri assistenti della stessa famiglia, il limite più importante è che la spiegazione che il modello dà di sé non coincide con il suo funzionamento. Quando a Claude è stato chiesto come avesse calcolato 36 più 59, il cui risultato è 95, ha descritto il procedimento che si impara a scuola, sommare le unità, riportare il resto e sommarci le decine, mentre il grafo di attribuzione ha mostrato due percorsi in parallelo: uno stima la somma a grandi linee, intorno a 92, un valore approssimato che da solo sarebbe sbagliato, e l’altro determina con esattezza l’ultima cifra del risultato, il 5, e dai due insieme esce il 95. Gli autori osservano che il modello non ha consapevolezza di questo suo procedimento e che imparare a produrre spiegazioni e imparare a eseguire un calcolo sono due cose distinte.9 Chiedere a un assistente perché ha risposto così produce quindi un racconto plausibile, non una verifica. Lo studio riguarda i modelli di Anthropic, ma è ragionevole attendersi lo stesso da modelli costruiti con tecniche analoghe, sui quali lavorano anche altri laboratori: OpenAI ha addestrato un dizionario di 16 milioni di voci sulle attivazioni di GPT-4,10 e Google DeepMind ha rilasciato oltre 400 dizionari per i modelli aperti Gemma 2,11 ma sono lavori sul metodo, non verifiche sul comportamento dei prodotti che milioni di persone usano ogni giorno.
La XAI è possibile?
La XAI è dunque possibile? Dipende da che cosa si intende per spiegare, e le risposte sono tre, di solidità diversa. Dove si può scegliere, la spiegazione è possibile oggi, costruendo da zero modelli leggibili per ogni progetto; questa è la strada indicata da Rudin per le decisioni ad alto rischio: sistemi a punteggio o elenchi di regole in cui ogni elemento che pesa sul risultato si può leggere e discutere e che, quando i dati sono strutturati e descritti da grandezze dotate di significato, come in una pratica di credito o in una valutazione clinica, raggiungono prestazioni quasi pari a quelle dei modelli opachi, perché l’idea di un compromesso inevitabile tra accuratezza e leggibilità è, per lei, un mito.4 Rudin riconosce però che l’argomento vale meno per i dati grezzi, come immagini e suoni, e il linguaggio dei chatbot è un caso affine.
Per i modelli linguistici di uso generale (ChatGpt, Claude, ecc…), invece, la spiegazione dei meccanismi interni è possibile soltanto in parte, e caso per caso, ed è oggi un risultato di ricerca. Si possono isolare concetti, seguirne i legami e verificarne l’effetto con interventi mirati, e, nel caso medico, gli autori trovano che il ragionamento del modello può talvolta essere scomposto in passaggi leggibili, utili a integrare il giudizio del clinico, ma avvertono che questo caso non va preso come prova che gli strumenti siano abbastanza avanzati per fidarsi delle risposte mediche senza la supervisione di esperti.9 C’è poi la spiegazione che la norma richiede davvero: l’articolo 86 dell’AI Act chiede spiegazioni chiare e significative sul ruolo del sistema nella decisione e sugli elementi principali che l’hanno determinata, non la ricostruzione del calcolo interno,3 e la legge italiana chiede tracciabilità dell’uso e responsabilità della persona.1 Questo si può ottenere fin d’ora con mezzi organizzativi: documentare come il sistema è usato, conservare traccia dei dati e delle risposte, far verificare l’esito da una persona competente.
Ne discende un modo di procedere. Dove la decisione incide sui diritti di una persona, conviene preferire la costruzione di modelli leggibili per progetto. I modelli linguistici commerciali vanno usati come supporto a chi decide e non come decisore.
Resta il problema di chi controlla e la sovranità digitale; gli strumenti di lettura interna richiedono l’accesso ai pesi del modello e molta potenza di calcolo, e stanno oggi in pochi laboratori, quasi tutti fuori dall’Europa, che sono anche i costruttori dei modelli studiati. Strumenti aperti esistono, come quelli rilasciati per Gemma 2,11 ma una sovranità digitale che comprenda la capacità di verificare i sistemi adottati richiede competenze e infrastrutture pubbliche di interpretabilità in Italia e in Europa, applicate a modelli aperti. Senza di esse, il controllo di un modello resta affidato a chi lo ha prodotto.
In sintesi, la legge chiede all’IA di spiegarsi e la scienza comincia a poterla ascoltare soltanto in parte: la XAI è oggi possibile come progetto, progettando da zero modelli leggibili, dove sono in gioco i diritti; e, come processo, documentando e verificando l’uso dei modelli linguistici, mentre la lettura completa della loro mente resta un traguardo della ricerca e non una garanzia che oggi si possa avere da ChatGPT, da Claude o dagli altri.
Note e fonti
1. Legge 7 agosto 1990, n. 241, articolo 3; decreto legislativo 31 marzo 2023, n. 36, articolo 30; legge 23 settembre 2025, n. 132, Disposizioni e deleghe al Governo in materia di intelligenza artificiale, articolo 14, Gazzetta Ufficiale, Serie generale n. 223 del 25 settembre 2025 (testi su https://www.normattiva.it).
2. Regolamento (UE) 2016/679 del Parlamento europeo e del Consiglio, del 27 aprile 2016, relativo alla protezione delle persone fisiche con riguardo al trattamento dei dati personali (GDPR), articoli 13, 14, 15 e 22, Gazzetta ufficiale dell’Unione europea L 119, 4 maggio 2016 (https://eur-lex.europa.eu/eli/reg/2016/679/oj).
3. Regolamento (UE) 2024/1689 del Parlamento europeo e del Consiglio, del 13 giugno 2024, che stabilisce regole armonizzate sull’intelligenza artificiale (AI Act), articoli 13 e 86, Gazzetta ufficiale dell’Unione europea, 12 luglio 2024 (https://eur-lex.europa.eu/eli/reg/2024/1689/oj); per il differimento dei termini, Regolamento (UE) 2026/1744 (Digital Omnibus on AI), in vigore dal 27 luglio 2026.
4. Cynthia Rudin, Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead, Nature Machine Intelligence, vol. 1, 2019, pp. 206-215, preprint arXiv:1811.10154 (https://arxiv.org/abs/1811.10154).
5. Nelson Elhage et al., Toy Models of Superposition, Transformer Circuits Thread, 21 settembre 2022, arXiv:2209.10652 (https://arxiv.org/abs/2209.10652).
6. Anthropic (Trenton Bricken et al.), Towards Monosemanticity: Decomposing Language Models With Dictionary Learning, Transformer Circuits Thread, 2023 (https://transformer-circuits.pub/2023/monosemantic-features/index.html).
7. Adly Templeton et al., Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Transformer Circuits Thread, 2024 (https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html).
8. Anthropic, Golden Gate Claude, 23 maggio 2024 (https://www.anthropic.com/news/golden-gate-claude).
9. Jack Lindsey et al., On the Biology of a Large Language Model, Transformer Circuits Thread, 2025, con l’articolo gemello Circuit Tracing: Revealing Computational Graphs in Language Models (https://transformer-circuits.pub/2025/attribution-graphs/biology.html).
10. Leo Gao et al. (OpenAI), Scaling and evaluating sparse autoencoders, arXiv:2406.04093, 6 giugno 2024 (https://arxiv.org/abs/2406.04093).
11. Tom Lieberum et al. (Google DeepMind), Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2, arXiv:2408.05147, agosto 2024 (https://arxiv.org/abs/2408.05147).
