L’articolo in breve
- Gli agenti AI possono accedere a dati e strumenti ed eseguire azioni nei processi aziendali.
- Data lineage e decision lineage permettono di ricostruire dati, trasformazioni, modelli, regole e decisioni.
- Trasparenza ed explainability aiutano a comprendere il sistema, ma non garantiscono il controllo.
- La supervisione deve restare efficace anche quando aumentano agenti, operazioni e verifiche automatizzate.
- Autonomia e controlli devono essere proporzionati ai rischi e alle conseguenze di eventuali errori.
- Servono limiti architetturali, privilegi minimi, supervisione umana e responsabilità definite.
L’intelligenza artificiale sta passando dalla generazione di contenuti all’esecuzione di attività. I sistemi agentici possono interrogare fonti, utilizzare strumenti, accedere ad applicazioni aziendali e compiere una sequenza di azioni per raggiungere un obiettivo.
Quando utilizziamo un sistema di AI generativa per produrre un testo o sintetizzare un documento, possiamo verificare il risultato prima di impiegarlo. Un agente AI può invece intervenire direttamente all’interno di un processo: consultare dati, aggiornare informazioni, richiamare servizi o attivare operazioni successive.
La qualità dell’output rimane importante, ma diventa solo una delle variabili da considerare. Occorre sapere che cosa il sistema può fare, quali risorse può utilizzare, entro quali limiti può agire e come sia possibile intervenire quando il suo comportamento si discosta da quello previsto.
La governance dell’AI agentica coinvolge quindi il modello, l’architettura nella quale opera e l’organizzazione che ne governa l’utilizzo.
Indice degli argomenti
Dalla generazione di contenuti all’esecuzione di azioni
Un agente AI è un sistema capace di perseguire un obiettivo attraverso passaggi che possono includere la pianificazione delle attività, l’utilizzo di strumenti e l’interazione con ambienti esterni.
Il grado di autonomia può variare. Alcuni agenti si limitano a proporre un’azione. Altri la eseguono dopo aver ricevuto un’approvazione. Altri ancora operano autonomamente all’interno di un perimetro prestabilito.
Per governare questa autonomia occorre ricostruire la catena che ha condotto a una decisione: quali dati sono stati consultati, da dove provengono, come sono stati trasformati, quale modello è intervenuto, quali istruzioni ha ricevuto e quali azioni ha eseguito.
Il data lineage permette di seguire il percorso del dato attraverso sistemi, processi e trasformazioni. Il decision lineage estende questa capacità alla decisione prodotta, collegando dati, modelli, regole, autorizzazioni, controlli e risultati.
La tracciabilità dei dati diventa così una componente della governance dell’AI. Se non è possibile ricostruire l’origine e le trasformazioni delle informazioni utilizzate, diventa più difficile comprendere e verificare anche il comportamento dell’agente.
Trasparenza ed explainability garantiscono davvero il controllo?
Trasparenza ed explainability rispondono a esigenze differenti.
- La trasparenza permette di ricostruire gli elementi che hanno contribuito al comportamento del sistema: dati, modelli, istruzioni, strumenti e operazioni eseguite.
- L’explainability cerca di rendere comprensibile il motivo per cui un sistema ha prodotto un determinato risultato o ha seguito un particolare percorso.
Il controllo riguarda la possibilità di limitare, verificare e, quando necessario, interrompere le operazioni. Comprende autorizzazioni, soglie, procedure di escalation, verifiche automatiche e intervento umano.
Queste tre dimensioni si rafforzano reciprocamente, senza coincidere. Un processo può essere accuratamente tracciato e rimanere difficile da governare. La disponibilità di log dettagliati consente di ricostruire un incidente, ma non garantisce che l’organizzazione riesca a riconoscerlo mentre si sta verificando.
Durante la tavola rotonda del DMS 2026 – Milano “Ethical and Explainable AI (XAI): The Trust Challenge”, Federico Bonelli, CEO di RES IT, ha sintetizzato il problema con una domanda:
«Una volta che abbiamo reso tutto trasparente, chi ci guarda dentro?»
La capacità di eseguire attività attraverso l’AI può crescere molto più rapidamente della capacità umana di verificarle.
Se gli agenti diventano centinaia e ciascuno compie numerose operazioni, la quantità di informazioni prodotte dai sistemi di monitoraggio rischia di superare le possibilità di analisi dell’organizzazione.
La tracciabilità rimane necessaria. Il suo valore dipende però dalla capacità di selezionare gli eventi significativi, riconoscere le anomalie e indirizzare l’attenzione umana verso le decisioni che richiedono una valutazione.
Registrare tutto ciò che accade non significa essere in grado di controllarlo.
Il problema della scala e la supervisione automatizzata
Una delle risposte al problema della scala consiste nell’utilizzare altri modelli per verificare gli output e le operazioni degli agenti.
Un sistema può controllare che una risposta rispetti determinati criteri, confrontare un risultato con le fonti disponibili oppure analizzare il percorso seguito da un altro agente.
Questi meccanismi permettono di automatizzare una parte della supervisione, ma introducono un ulteriore livello da governare. Agente e verificatore potrebbero condividere fonti, interpretazioni e punti ciechi.
Occorre quindi stabilire quali controlli possano essere automatizzati, quali operazioni debbano essere bloccate, quali anomalie richiedano l’intervento di una persona e chi conservi la responsabilità finale.
Il controllo automatico produce valore quando riduce la complessità presentata all’operatore. Se genera un ulteriore flusso indistinto di segnalazioni, rischia di rendere ancora più difficile individuare gli eventi rilevanti.
Affidabilità e controlli devono essere proporzionati al rischio
Non tutti gli agenti AI richiedono lo stesso livello di controllo.
Un sistema che prepara la prima bozza di un documento interno ha un profilo di rischio diverso da un agente che modifica informazioni anagrafiche, utilizza credenziali, interviene su un ambiente produttivo o influenza una decisione con conseguenze economiche o giuridiche.
Un’architettura agentica progettata per raggiungere livelli molto elevati di affidabilità e sicurezza può richiedere numerosi meccanismi di validazione. Ogni misura riduce il rischio, ma introduce anche costi, tempi di elaborazione e complessità.
Quando lo use case ammette un margine di errore più ampio, l’AI può offrire vantaggi rilevanti in termini di velocità e capacità operativa. Quando un errore può generare conseguenze significative, occorre introdurre verifiche più rigorose, ridurre l’autonomia e mantenere una supervisione umana adeguata.
Il livello di governo dovrebbe dipendere dalle conseguenze dell’errore, dalla reversibilità delle azioni, dalla possibilità di verificare il risultato prima dell’esecuzione e dalla velocità con cui un comportamento scorretto può propagarsi.
In alcuni casi l’agente potrà agire autonomamente. In altri dovrà formulare una proposta e attendere un’approvazione. Nei processi più sensibili potrebbe essere opportuno limitarne il ruolo alla raccolta e all’elaborazione delle informazioni.
Lo stesso approccio basato sul rischio è adottato dall’AI Act europeo, che per gli impieghi ad alto rischio prevede requisiti relativi a tracciabilità, supervisione umana, robustezza e cybersecurity.
Gli agenti non condividono i vincoli impliciti delle persone
Quando una persona riceve un obiettivo, interpreta la richiesta attraverso un insieme di regole che raramente vengono specificate per intero.
Se chiediamo a un collega di recuperare un’informazione, diamo per scontato che non utilizzi credenziali altrui, non aggiri i sistemi di sicurezza e non compia azioni illegali. La richiesta esplicita si inserisce in un contesto professionale, sociale e giuridico condiviso.
Un agente AI opera sulla base delle istruzioni ricevute, degli strumenti disponibili e dei vincoli applicati dal sistema. Se un limite non viene espresso o implementato tecnicamente, l’agente potrebbe individuare un percorso coerente con l’obiettivo assegnato, ma incompatibile con le intenzioni dell’organizzazione.
Definire l’obiettivo non significa quindi aver delimitato tutti i percorsi attraverso i quali il sistema potrebbe provare a raggiungerlo. I principi di sicurezza devono diventare limitazioni effettive.
Le linee guida OWASP sulla sicurezza degli agenti AI indicano, tra le misure principali, il privilegio minimo, l’accesso ai soli strumenti necessari, l’autorizzazione esplicita per le operazioni sensibili, l’isolamento degli ambienti e la supervisione umana per le azioni ad alto impatto.
La formulazione del prompt contribuisce a indirizzare il comportamento, ma non può sostituire i controlli architetturali. Un agente non dovrebbe avere accesso a strumenti, dati o credenziali che non sono necessari per il compito assegnato.
La governance dell’AI coinvolge tecnologia, processi e persone
Gli agenti AI collegano tecnologia e processi aziendali. La loro governance coinvolge quindi IT, cybersecurity, business, legal, risk e compliance: funzioni diverse, chiamate a collaborare mantenendo chiara l’attribuzione delle responsabilità.
Anche l’AI literacy assume un ruolo operativo. Le persone devono conoscere capacità e limiti del sistema, sapere quando verificarne i risultati e quali attività non possano essere delegate.
Prima di introdurre un agente all’interno di un processo è necessario chiarire:
- quali azioni può eseguire autonomamente e quali richiedono un’approvazione;
- a quali dati, applicazioni e strumenti può accedere;
- quali conseguenze può produrre un errore e se le azioni sono reversibili;
- come vengono rilevati e gestiti i comportamenti anomali;
- chi verifica i controlli automatici e conserva la responsabilità finale.
Trasparenza ed explainability permettono di comprendere e ricostruire il comportamento del sistema. Acquistano valore operativo quando sono accompagnate dalla capacità di intervenire.
Con l’aumento dell’autonomia e del numero degli agenti, occorre considerare la scala delle operazioni, la criticità dello use case e le risorse disponibili per la supervisione. Rendere visibili le azioni è il primo passo; limitarle e indirizzarle completa la capacità di governo.
Vuoi approfondire il tema?
Guarda su YouTube la tavola rotonda “Ethical and Explainable AI (XAI): The Trust Challenge”, con la partecipazione di Federico Bonelli, CEO di RES IT, per approfondire il confronto su explainability, governance, sicurezza e supervisione dei sistemi AI.