Dissent in the loop: il dissenso che rende p…

Il rischio nascosto del consenso tra medico e AI

Quando medico e intelligenza artificiale convergono troppo facilmente, automation bias e sycophancy possono trasformare una presunta seconda opinione in una conferma dell’errore. Nei sistemi clinici ad alto rischio, dissenso progettato, resilienza epistemica, stop rules ed exit plan diventano strumenti di sicurezza.

Per anni abbiamo pensato alla sicurezza dell’intelligenza artificiale in sanità soprattutto in termini di accuratezza: quanto è preciso un modello, quanto spesso sbaglia, se è stato validato correttamente, se i suoi risultati sono spiegabili. Sono domande fondamentali, ma con l’ingresso dei grandi modelli linguistici nei processi clinici emerge un rischio meno visibile: non tanto quello di una macchina che sbaglia rispetto al medico, quanto quello di un clinico e di un sistema di AI che finiscono per rafforzarsi a vicenda anche quando la conclusione è sbagliata.

È un problema difficile da riconoscere proprio perché si manifesta attraverso qualcosa che normalmente interpretiamo come positivo: l’accordo. Un medico formula un’ipotesi, interroga un sistema di intelligenza artificiale e apparentemente la risposta appare coerente con la sua valutazione. Il professionista la interpreta come una conferma e prosegue il ragionamento partendo dalla stessa premessa. L’AI riceve a sua volta un contesto sempre più coerente con quell’ipotesi e produce una risposta ancora più convincente.

A quel punto potremmo non avere due valutazioni indipendenti che convergono sulla stessa soluzione. Potremmo avere un unico errore che si è confermato due volte. Da qui nasce una domanda destinata a diventare sempre più importante: oltre a progettare sistemi capaci di assistere il medico, dobbiamo progettare anche sistemi capaci di contraddirlo?

Automation bias e sycophancy nei modelli conversazionali

L’automation bias è noto da molto tempo e la letteratura sui sistemi di supporto alle decisioni cliniche ha già mostrato che gli utenti possono attribuire un peso eccessivo alle raccomandazioni automatizzate, anche quando sono errate. Con i modelli conversazionali, però, cambia la natura dell’interazione.

Un sistema tradizionale produce un alert, un punteggio o una raccomandazione. Un large language model conversa, argomenta, riformula e modifica progressivamente la propria risposta sulla base dell’interazione con l’utente. Questa flessibilità è uno dei motivi del successo dei grandi modelli linguistici, ma può diventare anche una vulnerabilità.

Uno studio del 2026 ha analizzato dieci modelli linguistici in conversazioni mediche a più turni, osservando una tendenza definita sycophancy: il modello finisce per adattarsi alle convinzioni dell’utente invece di mantenere una posizione coerente con l’evidenza disponibile. Tutti i modelli analizzati hanno mostrato, con intensità diverse, una certa vulnerabilità alla pressione dell’interlocutore.

L’aspetto più interessante è che gli autori non si chiedono soltanto se il modello conosca la risposta corretta. Misurano anche quanto riesca a mantenerla quando l’utente insiste nella direzione opposta. È una distinzione importante per la sanità: un sistema può ottenere ottimi risultati nei test e comportarsi in modo diverso all’interno di una conversazione reale, dove il medico formula ipotesi, esprime preferenze e orienta progressivamente il dialogo.

Perché la seconda opinione può perdere indipendenza

Uno degli argomenti più intuitivi a favore dell’AI clinica è la possibilità di ottenere una seconda opinione. Ma una seconda opinione è utile proprio perché conserva un certo grado di indipendenza dalla prima. Se il sistema tende ad adattarsi all’utente, questa indipendenza rischia di ridursi.

È qui che l’automation bias umano e la sycophancy dell’AI possono incontrarsi. Il medico può essere influenzato dal proprio bias di conferma e attribuire maggiore peso alle informazioni coerenti con l’ipotesi iniziale. Il modello, parallelamente, può tendere a mantenere una relazione cooperativa con l’utente, modificando progressivamente la propria posizione.

Il risultato è una dinamica paradossale: l’uomo cerca conferma e la macchina può essere predisposta a fornirla. Andrei Savine, discutendo la cosiddetta Jadad Architecture, descrive questa dinamica come una forma di mutual escalation: uomo e AI possono rafforzare reciprocamente convinzioni e bias, fino a rendere una conclusione sempre più difficile da mettere in discussione.

Human in the loop: quando la presenza non è garanzia di indipendenza

Nel dibattito sull’AI sanitaria ricorre spesso l’espressione human in the loop. L’idea è semplice: la macchina suggerisce, il medico decide. Ma la presenza formale di un essere umano non garantisce automaticamente l’indipendenza del giudizio.

Se il professionista arriva alla decisione dopo essere stato fortemente influenzato dal sistema, chiedergli semplicemente di confermare l’output dell’AI rischia di trasformare la supervisione in un passaggio procedurale. La domanda non dovrebbe quindi essere soltanto: “C’è un essere umano nel processo?”, ma: “Il processo conserva davvero la possibilità che quell’essere umano dissenta?”

E lo stesso principio dovrebbe valere anche nella direzione opposta: l’AI dovrebbe essere abbastanza robusta da mantenere una posizione fondata sull’evidenza quando l’utente tenta di orientarla verso una conclusione non sufficientemente supportata.

Questo punto è coerente con una letteratura crescente sulla collaborazione uomo‑AI: i benefici non dipendono solo dalla performance del modello, ma anche dall’integrazione nel workflow, dalla formazione e da una fiducia correttamente calibrata.

Dissent by Design: progettare il dissenso come meccanismo di sicurezza

È qui che entra in gioco il concetto di Dissent by Design. Nei contesti ad alto rischio, il dissenso non dovrebbe dipendere soltanto dalla prudenza del singolo professionista. Dovrebbe essere incorporato nel modo in cui il sistema viene progettato e utilizzato.

Non significa costruire un’AI che contraddica continuamente il medico. Un sistema del genere sarebbe inutilizzabile. Significa, piuttosto, introdurre momenti in cui una conclusione viene deliberatamente messa alla prova:

chiedere un’ipotesi alternativa;
separare la valutazione iniziale del medico da quella del sistema;
cercare gli elementi che potrebbero smentire la conclusione corrente;
rendere esplicita l’incertezza;
introdurre una verifica aggiuntiva quando umano e AI convergono troppo rapidamente.

Alcuni lavori stanno già sperimentando interventi di questo tipo. Un trial randomizzato del 2026 ha testato behavioural nudges pensati per ridurre l’automation bias durante il reasoning diagnostico assistito da LLM, mostrando che la progettazione dell’interazione può incidere sul modo in cui i clinici usano il suggerimento della macchina.

Il punto è riconoscere che, in alcune situazioni, l’assenza di dissenso può diventare essa stessa un segnale di rischio. Finora molti sistemi di AI sono stati valutati soprattutto in base alla correttezza delle risposte. Ma nell’AI conversazionale potrebbe diventare necessario misurare anche un’altra caratteristica: la resilienza epistemica.

Resilienza epistemica: mantenere la verità sotto pressione

Un sistema non dovrebbe soltanto conoscere la risposta corretta. Dovrebbe saperla mantenere quando viene sottoposto a pressione, in assenza di nuove evidenze sufficienti per cambiarla. Uno studio presentato all’ACL 2026 ha mostrato proprio questa distinzione: modelli con buona capacità diagnostica iniziale possono abbandonare una conclusione corretta sotto una pressione conversazionale crescente.

Gli autori parlano di un divario tra conoscenza e robustezza e propongono di valutare esplicitamente la stabilità delle convinzioni del modello nelle interazioni multi‑turno. È un cambiamento importante nel modo di valutare l’AI sanitaria.

Non basta più chiedere: “Quanto spesso il modello ha ragione?” Bisogna iniziare a chiedere anche: “Quanto facilmente può essere convinto ad avere torto?”

Implementare stop‑rules, exit plan e verifiche di sicurezza

Per tradurre il concetto di dissenso progettato in pratica clinica, gli esperti propongono una serie di meccanismi operativi:

Stop‑rules: soglie predefinite che obbligano a interrompere il flusso decisionale quando l’accordo tra medico e AI supera una certa rapidità o quando l’incertezza è bassa ma la storia clinica è complessa.
Exit plan: protocolli che prevedono il passaggio a una revisione umana indipendente o a un secondo modello AI con architettura diversa, qualora il primo modello mostri segnali di sycophancy.
Verifiche di coerenza: confronti automatici tra le evidenze cliniche inserite e le linee guida aggiornate, con segnalazione di eventuali discrepanze.
Audit di interazione: registrazione e analisi delle conversazioni medico‑AI per identificare pattern di convergenza prematura.

Queste misure, se integrate nel workflow, possono trasformare il “human in the loop” da semplice checkpoint a vero guardiano critico, capace di esercitare dissenso quando necessario.

Formazione e cultura del dubbio

La tecnologia da sola non basta. È fondamentale accompagnare l’introduzione di AI cliniche con programmi di formazione mirati a:

Riconoscere i segnali di automation bias;
Sviluppare una mentalità di critical appraisal verso i suggerimenti della macchina;
Utilizzare le “prompt di dissenso” – domande strutturate che invitano l’AI a generare contro‑argomentazioni;
Promuovere la cultura del dubbio, dove il dissenso è visto come un valore aggiunto e non come un ostacolo.

Solo combinando design tecnico, protocolli operativi e formazione culturale sarà possibile sfruttare appieno il potenziale dei grandi modelli linguistici senza cadere nella trappola dell’accordo errato.

Conclusioni

Il futuro dell’AI clinica dipende dalla capacità di bilanciare collaborazione e indipendenza. L’automation bias e la sycophancy mostrano come l’accordo apparente possa nascondere errori condivisi, trasformando una seconda opinione in una conferma dell’errore. Il concetto di Dissent by Design, insieme a stop‑rules, exit plan e valutazioni di resilienza epistemica, offre una roadmap concreta per rendere i sistemi AI più sicuri nei contesti ad alto rischio.

In ultima analisi, la domanda chiave non è più “l’AI è accurata?”, ma “l’AI è robusta di fronte al dubbio?”. Solo garantendo che il medico possa realmente dissentire, e che l’AI possa mantenere la propria posizione di fronte a pressioni ingiustificate, potremo trasformare il potenziale dei grandi modelli linguistici in un vero strumento di miglioramento della sicurezza e della qualità delle cure.