Rendere interpretabile e trasparente ciò che un algoritmo fa.
Oggi l'intelligenza artificiale decide in silenzio moltissime cose per tutti noi. Il traguardo è che ogni decisione automatica sia trasparente, comprensibile e corrispondente agli intenti di chi l'ha adottata. È scritto nei nostri documenti dal 2025, prima che esistesse un prodotto — e non è ancora raggiunto da nessuno.
Oggi non siamo pronti per questa sfida di avanguardia, ma stiamo percorrendo ogni giorno un tratto di strada. Abbiamo cominciato da quello che offriamo, che serve a sostenere Imprese e Pubbliche Amministrazioni nella loro adozione dell'IA.
Intanto sappiamo che per arrivare a dire qualcosa di credibile su come si comporta il sistema di qualcun altro, bisogna saperlo studiare e aver misurato il proprio.
Due approcci complementari con una logica di Adversarial AI
La trasparenza di un sistema di IA si può cercare in modi diversi che individuano elementi diversi.
Perché ha prodotto quella risposta
- È la «risonanza magnetica per l'IA» di cui parla Dario Amodei in The Urgency of Interpretability (2025).
- Quali caratteristiche interne si sono attivate, e come si concatenano.
- Richiede l'accesso ai pesi del modello.
- Oggi la possono fare i laboratori che quei pesi li hanno, e dall'esterno non si può.
Su che cosa poggia quello che il sistema produce
- Da dove viene ogni affermazione, e se la fonte dice davvero quello che le si attribuisce.
- Quanto il risultato cambia se si rifà la stessa domanda.
- Che cosa succede se il sistema riceve un documento costruito apposta per ingannarlo.
- Non serve il codice, non servono i pesi: serve il sistema in funzione e un metodo.
L'approccio esterno trova difetti che quello interno non vedrebbe. Lo stesso identico programma, sugli stessi identici documenti, dà giudizi che si spostano — e questo si vede solo eseguendolo due volte, non guardando dentro. È una proprietà del sistema in esercizio: la misuriamo a ogni versione dello strumento.
Che cosa chiede già il giudice amministrativo
Su un punto il diritto italiano è arrivato prima della tecnica.
Dal 2019 il Consiglio di Stato dice che, quando una pubblica amministrazione decide con un algoritmo, l'algoritmo è «a tutti gli effetti» un «atto amministrativo informatico» (sentenza n. 2270/2019). Ne seguono alcune garanzie:
- l'algoritmo deve essere conoscibile «a monte» — chi l'ha fatto, come è costruito, con quali criteri e quali dati —, e la riservatezza dell'impresa che lo fornisce non può essere opposta (sentenza n. 8472/2019);
- la sua regola va spiegata in modo comprensibile, anche a chi non ha competenze tecniche (TAR Campania, sentenza n. 7003/2022);
- l'amministrazione deve svolgere un ruolo «di mediazione e composizione di interessi, anche per mezzo di costanti test, aggiornamenti e modalità di perfezionamento dell'algoritmo (soprattutto nel caso di apprendimento progressivo e di deep learning)» (sentenza n. 2270/2019);
- se non si riesce a capire come ha deciso, la decisione è viziata per questo solo (sentenza n. 2270/2019), e l'ente non può «trincerarsi» dietro il sistema di un fornitore (sentenza n. 4929/2025).
Dal 2023 il Codice dei contratti pubblici, per le soluzioni automatizzate usate nel ciclo di vita dei contratti, «ivi incluse l'intelligenza artificiale», chiede di assicurarsi il codice sorgente e «ogni altro elemento utile a comprenderne le logiche di funzionamento» (D.Lgs. 36/2023, art. 30).
Per un algoritmo fatto di regole basta pubblicare la formula e spiegarla (TAR Lazio, sentenza n. 10689/2023). Per un modello di oggi no: nessuna documentazione dice perché ha dato quella risposta. Il dovere esiste già; lo strumento per adempiere fino in fondo non ancora. È lo spazio in cui lavoriamo: le prove sul comportamento oggi, l'interpretabilità domani.
Che cosa oggi non c'è — detto da noi
- La risonanza magnetica vera è fuori dalla nostra portata con i mezzi che abbiamo. Se e come ci si possa arrivare da fuori — modelli a pesi aperti, partner di ricerca, programmi pubblici — è la prima cosa che dobbiamo studiare, e non l'abbiamo ancora fatto.
- Il nostro approccio ha un punto cieco, e lo conosciamo: non si accorge di un sistema che sbaglia in modo coerente — che cita bene e conclude male, sempre nella stessa direzione.
- Un audit dei documenti non è trasparenza dell'algoritmo. Dice come un'organizzazione governa l'IA che ha adottato; non dice come funziona il modello che ha comprato.
- Il rilevamento dei bias: oggi non abbiamo niente di nostro, e nessun lavoro in corso lo porta.
- «Spiegazione convincente» non vuol dire «spiegazione vera». Vale per l'interpretabilità dei modelli e vale per le motivazioni che scriviamo noi: è il motivo per cui accanto a ogni giudizio mettiamo la prova, e non solo il ragionamento.
- Rispetto a quanto avevamo pensato nel 2025 sappiamo di essere in cammino, probabilmente insieme ai più avveduti analisti e progettisti dell'IA. Non ci siamo ancora, ma ci interroghiamo costantemente su come si può fare e su quel che c'è da fare. Ogni test ci fa guadagnare piccoli passi di strada nello sviluppo.
Questa sezione è scomoda e sta qui apposta. Un fornitore di trasparenza che dichiara solo quello che sa fare non offrirebbe esempio adeguato di trasparenza.
Perché abbiamo cominciato dalla Misurazione della Strategia e della Shadow AI
L'adozione consapevole dell'IA è cruciale per le Imprese, per le Pubbliche Amministrazioni e per il paese
Il tema è di moda, ma adozioni non presidiate possono comportare danni elevatissimi.
Ci ha dato un laboratorio
Misure ripetute di un sistema costruito su modelli, che progressivamente fanno emergere difetti veri e verificabili alla fonte. Non è una deviazione dalla sfida: è materiale per la sfida. Il registro dei difetti che teniamo su noi stessi — che cosa il sistema ha sbagliato, come l'abbiamo trovato, per quanto è rimasto — è il primo pezzo di trasparenza che produciamo dall'esterno, senza accedere ai pesi. È una nostra lettura, e non l'abbiamo ancora confrontata con chi lavora su questo.
Ogni cliente ha esigenze diverse, e un sistema avversario come makeTransparent.ai deve offrire servizi che sappiano adattarsi
Chi «prende decisioni» ha bisogno di essere supportato da soluzioni credibili e che non comportino oneri organizzativi impossibili da sostenere (questionari, colloqui, profilazioni, ecc.). Il supporto deve essere pronto oggi e senza frizioni di utilizzo.
C'è un rischio, e lo scriviamo
I prodotti di oggi devono prendersi il tempo necessario per offrire valore aggiunto ai clienti, ma non ci devono far dimenticare il traguardo della nostra sfida. Alimentiamo regolarmente un documento per moderare questo rischio, e ogni test, ogni scoperta, ogni passo in avanti si traduce in una riga del documento: che cosa porta verso la sfida.
Una scommessa, detta per quella che è
Nei nostri documenti del 2025 c'è una tesi: che l'interpretabilità degli algoritmi possa essere l'ambito in cui l'Europa acquisisce una posizione di riferimento, visto il dominio di Stati Uniti e Cina su hardware e modelli. Non si compete dove il vantaggio è incolmabile; si compete dove il problema è aperto per tutti.
È una tesi di posizionamento, non una previsione, e non l'abbiamo ancora confrontata con chi in Europa lavora oggi su questo. La scriviamo qui perché è la sfida per cui esiste questo progetto, non perché sia dimostrata.
Le misure che facciamo su noi stessi stanno in La nostra forza, dove entrerà anche il registro degli errori. Quello che potete avere adesso sta in Cosa offriamo.