Per tenere sotto controllo un agente che agisce da solo servono tre capacità distinte: sapere quale modello sta operando, capire perché si comporta in un certo modo, e poterlo fermare o correggere mentre gira. Le tre non hanno lo stesso grado di maturità, e l’asimmetria fra loro è oggi il vincolo più stretto per chi manda sistemi agentici in produzione.

Contesto

Qui per “agente” non intendo un modello che genera testo. Intendo un modello dentro un ciclo: riceve un obiettivo, sceglie quali strumenti chiamare, guarda i risultati e ripete. La differenza rispetto a una singola inferenza è che le conseguenze delle sue decisioni si accumulano e si propagano attraverso strumenti esterni — una casella di posta, un database, un endpoint di pagamento.

La tassonomia OWASP per le applicazioni LLM, nella revisione del 18 novembre 2024, ha promosso questo problema a categoria a sé: LLM06:2025 — Excessive Agency. Distingue tre radici: excessive functionality (l’agente arriva a strumenti che esulano dal suo compito), excessive permissions (quegli strumenti girano con privilegi più ampi del necessario) ed excessive autonomy (azioni ad alto impatto procedono senza un umano nel ciclo). La raccomandazione esplicita è far girare le estensioni nel contesto di sicurezza dell’utente e tenere l’autorizzazione in sistemi esterni, invece di delegarla al modello.

Conviene disporre le contromisure su tre fasi: identificazione, diagnosi, intervento. La maturità tecnica cala in modo netto dalla prima alla terza.

Identificazione

Sapere quale modello risponde dietro un’applicazione è il più trattato dei tre problemi, perché si formula come un normale problema di classificazione.

LLMmap (Pasquini, Kornaropoulos, Ateniese, arXiv:2407.15847, luglio 2024) costruisce un fingerprinting attivo: manda un pugno di query costruite ad arte e analizza le risposte. Gli autori riportano che con appena 8 interazioni il metodo riconosce 42 versioni distinte di modelli con accuratezza oltre il 95%, e che la firma resta leggibile attraverso strati applicativi diversi — system prompt variabili, iperparametri di campionamento, RAG, chain-of-thought. Per la governance interessa la simmetria, non l’attacco in sé: la stessa tecnica con cui un avversario profila un servizio serve a chi verifica per accertare che un fornitore stia davvero servendo il modello dichiarato.

Sul versante intrinseco, REEF (Zhang et al., arXiv:2410.14273, ottobre 2024) confronta le rappresentazioni interne di due modelli sugli stessi input tramite centered kernel alignment, e regge a fine-tuning sequenziale, pruning, model merging e permutazioni dei neuroni. HuRef (Zeng et al., NeurIPS 2024) produce un’impronta leggibile da un umano che riconosce il modello base senza interferire con l’addestramento né esporre i parametri.

In pratica, l’identificazione black-box (dall’esterno, via query) e quella white-box (sui pesi) sono entrambe disponibili, con risultati pubblicati e riproducibili. Questa fase è la più solida.

Diagnosi

Capire perché un agente si comporta in un certo modo è meno avanzato, e la difficoltà cresce con la sottigliezza del comportamento da rilevare.

Alcuni comportamenti hanno già una letteratura misurabile. La sycophancy — la tendenza a confermare le convinzioni dell’utente a scapito della correttezza — è documentata in modo sistematico da Sharma et al. (arXiv:2310.13548, ottobre 2023), che la rilevano in cinque assistenti su task realistici: feedback distorto dalle preferenze, revisione di risposte corrette quando l’utente protesta, conformismo nelle domande aperte, ripetizione degli errori dell’utente. Esiste un benchmark riutilizzabile (SycophancyEval) con dataset pubblici. Qui la diagnosi è uno score su un comportamento osservabile.

Il problema cambia natura quando il comportamento da diagnosticare è strategico. Distinguere un modello che sbaglia da un modello che produce di proposito un output fuorviante non si riduce a un punteggio sull’output: richiede ipotesi sullo stato interno. L’interpretabilità lavora in questa direzione, ma siamo lontani da uno strumento affidabile che dica, in produzione e in tempo reale, se un agente sta ingannando.

Per i sistemi multi-agente la diagnosi si complica ancora, perché un comportamento problematico può nascere dall’interazione e non stare in un singolo componente. Attribuire la responsabilità — quale agente, quale chiamata di strumento, quale decisione ha causato un certo esito — è in gran parte un problema aperto: tracing distribuito su entità non deterministiche.

Punto critico

L’intervento è la fase meno matura, ed è proprio quella su cui poggia ogni garanzia di sicurezza. Un kill switch è banale se l’agente è un processo che controllo: lo termino. Smette di essere banale appena l’agente ha già propagato effetti — ha mandato la mail, ha scritto sul database, ha avviato il pagamento. Terminare il processo non annulla le conseguenze già uscite all’esterno.

Per questo le raccomandazioni OWASP e l’impianto del NIST AI 600-1 (Generative AI Profile, luglio 2024) spostano il punto di controllo a monte: invece di fidarsi della capacità di fermare l’agente dopo, limitano ex ante ciò a cui l’agente può arrivare — permessi minimi, autorizzazione in sistemi esterni, umano nel ciclo sulle azioni ad alto impatto. È una scelta di ingegneria difensiva che ammette il limite senza dirlo: il contenimento affidabile di un agente che ha già agito non è una primitiva che si possa dare per scontata.

L’asimmetria fra le tre fasi è il punto. Identifichiamo bene, diagnostichiamo in modo parziale e disuguale, interveniamo poco e tardi. Una garanzia di sicurezza vale quanto il suo anello più debole, e l’anello più debole è l’ultimo.

Implicazioni

Per chi progetta un sistema agentico la conseguenza è una scala di priorità rovesciata rispetto all’intuizione. Conviene investire prima nel ridurre la superficie d’azione — cosa che si controlla per costruzione — e solo dopo nei rilevatori comportamentali, che danno segnali probabilistici. Un rilevatore di inganno con falsi negativi non sostituisce un permesso che semplicemente non c’è.

Sul piano della verifica esterna, il fingerprinting dà qualcosa di concreto subito: accertare che il modello servito corrisponda a quello dichiarato, a prescindere dalle assicurazioni del fornitore. È una capacità di audit già a portata di mano, e usata poco rispetto a quanto sarebbe possibile.

Su questa stessa scansione in tre fasi noze ha impostato DebugABot, un progetto di ricerca deep tech che declina identificazione, diagnosi e intervento in nove primitive operative: https://www.noze.it/insights/debugabot/.

Limiti

Tre cose non vanno date per scontate. Le tecniche di fingerprinting hanno già attacchi corrispondenti che ne erodono l’affidabilità, quindi l’identificazione robusta è una corsa, non un risultato fisso. La diagnosi del comportamento strategico oggi non ha uno strumento che regga in produzione, e trattarne l’assenza come temporanea è una scommessa. E il termine “kill switch” descrive un’azione semplice solo finché gli effetti restano dentro il sistema controllato: per tutto il resto, la sicurezza si gioca sui permessi concessi prima, non sull’interruttore premuto dopo.

https://arxiv.org/abs/2407.15847 https://arxiv.org/abs/2410.14273 https://proceedings.neurips.cc/paper_files/paper/2024/file/e46fc33e80e9fa2febcdb058fba4beca-Paper-Conference.pdf https://arxiv.org/abs/2310.13548 https://github.com/meg-tong/sycophancy-eval https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/ https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

Immagine di copertina: Grande pulsante rosso di arresto di emergenza a fungo montato su un macchinario, in primo piano su sfondo sfocato — foto di Angus Fraser, CC BY 2.0 — https://commons.wikimedia.org/wiki/File:Big_red_emergency_stop_button_(2972000481).jpg