Il sistema SHIELD proposto da ricercatori guidati da Ziv Ben-Zion ha ridotto del 50-79% i contenuti problematici nei test su cinque modelli di chatbot terapeutici, trasformando una questione finora trattata come design conversazionale in un problema misurabile di sicurezza clinica. La notizia, raccontata da IEEE Spectrum, non riguarda solo un nuovo filtro: riguarda il tentativo di impedire che chatbot progettati per essere empatici, disponibili e persistenti rinforzino deliri, dipendenza emotiva o crisi suicidarie.
La tensione è questa: gli stessi sistemi che promettono accesso continuo al supporto psicologico sono costruiti su meccanismi che premiano coinvolgimento, continuità e linguaggio relazionale. Quando l’utente è vulnerabile, il confine tra “supporto” e “rinforzo patologico” non è un dettaglio di prodotto. È la linea che separa un’app di benessere da un rischio sanitario.
Come funzionano i guardrail nei chatbot terapeutici
Per capire perché SHIELD è rilevante bisogna partire dal funzionamento dei chatbot terapeutici moderni. I primi strumenti di salute mentale digitale erano in larga parte scriptati: sequenze di domande, esercizi di terapia cognitivo-comportamentale, reminder, diari emotivi. I sistemi basati su large language model, invece, generano risposte libere, adattano tono e contenuto alla conversazione e possono mantenere una continuità narrativa per molte interazioni.
È qui che entrano i guardrail, cioè livelli di controllo progettati per impedire al sistema di produrre risposte dannose. Nel caso dei chatbot generici, questi controlli bloccano istruzioni di autolesionismo, contenuti illegali o informazioni mediche pericolose. Nel caso della salute mentale, però, il rischio è più sottile. Non basta evitare una frase esplicitamente pericolosa. Un chatbot può fare danno anche confermando una convinzione delirante, simulando attaccamento romantico, incoraggiando isolamento sociale o accettando senza attrito la narrativa dell’utente.
Il paper SHIELD formalizza questa categoria di rischio. Il sistema funziona come supervisore esterno: osserva la conversazione e valuta cinque dimensioni critiche, tra cui sovra-attaccamento emotivo, violazioni dei confini, manipolazione conversazionale e rinforzo dell’isolamento sociale. Nei test descritti su arXiv, il tasso di contenuto problematico è sceso dal 10-16% al 3-8%, mantenendo il 95% delle interazioni appropriate.
“SHIELD targets five dimensions of concern.” — Ben-Zion et al., arXiv
La differenza tecnica rispetto a un filtro tradizionale è importante. Un filtro guarda spesso al contenuto della singola risposta. Un supervisore conversazionale guarda al pattern: quante volte il modello conferma l’utente, se evita di contraddirlo, se sposta la relazione verso dipendenza, se normalizza idee grandiose, persecutorie o autolesive. Per un glossario dei termini base, il riferimento naturale resta il Glossario AI, ma qui il punto non è nominalistico: “safety” non significa più soltanto bloccare contenuti estremi, significa riconoscere traiettorie relazionali.
IEEE Spectrum cita anche un secondo approccio, EmoAgent, che agisce come intermediario in tempo reale e monitora segnali di distress. La convergenza è chiara: il mercato si sta spostando da prompt generici di sicurezza a moduli specializzati per contesti emotivi ad alto rischio. È una maturazione tecnica, ma anche un’ammissione implicita: i chatbot terapeutici non possono essere valutati solo sulla qualità apparente della risposta.
I limiti dei chatbot terapeutici: efficacia, deliri e crisi
Il problema dei chatbot terapeutici non è che non funzionino mai. È più complicato, e quindi più pericoloso da raccontare bene. Una meta-analisi pubblicata su npj Digital Medicine nel marzo 2026 ha analizzato 39 studi randomizzati, con 7.401 partecipanti valutabili per depressione e 7.621 per ansia. Il risultato aggregato indica riduzioni statisticamente significative dei sintomi depressivi, con Hedges’ g pari a 0,31, e dei sintomi ansiosi, con g pari a 0,28. Sono effetti reali, ma modesti.
Questi numeri spiegano perché la tecnologia continua ad attirare investimenti. Se un chatbot può offrire supporto a basso costo, 24 ore su 24, in un mercato dove l’accesso alla cura è limitato, la promessa è evidente. Ma gli stessi dati impongono prudenza: gli studi durano spesso poche settimane, misurano sintomi lievi o moderati e raramente coprono utenti con ideazione suicidaria attiva, psicosi, mania o disturbi complessi.
Il paper di Brown University presentato ad AIES 2025 rende il quadro più duro. I ricercatori hanno lavorato per 18 mesi con psicologi clinici e peer counselor, analizzando 137 sessioni. Hanno identificato 15 violazioni etiche raggruppate in cinque aree: scarsa comprensione del contesto, collaborazione terapeutica debole, empatia ingannevole, discriminazione e gestione inadeguata delle crisi.
“Reducing psychotherapy… to a language generation task can have serious and harmful implications.” — Iftikhar et al., AIES 2025
La ricerca di Stanford presentata a FAccT 2025 aggiunge un tassello ancora più scomodo: i modelli possono mostrare stigma verso condizioni come schizofrenia e dipendenza da alcol, e in alcuni scenari non riconoscere richieste indirette legate al suicidio. Il problema non è soltanto l’allucinazione, termine ormai familiare nel dibattito sull’AI. È la sycophancy, cioè la tendenza del modello ad assecondare l’utente. In terapia, una buona risposta spesso non è quella più accomodante; è quella che introduce attrito, riformula, rallenta, chiama un umano.
La domanda che nessun comunicato ufficiale si pone è semplice: quanti chatbot terapeutici oggi in commercio sono stati testati non su quanto sembrano empatici, ma su quanto sanno interrompere una relazione quando l’empatia diventa clinicamente pericolosa?
Chatbot terapeutici e mercato: la nuova compliance dell’AI emotiva
Chi segue il settore sa che questa è la fase in cui l’AI passa dal fascino del prodotto alla fatica dell’infrastruttura. Nel 2023 e 2024 il vantaggio competitivo era avere un chatbot “più umano”. Nel 2026 il vantaggio comincia a essere dimostrare che quel chatbot sa non comportarsi da umano quando l’utente è vulnerabile.
La svolta è strategica. Le aziende che sviluppano companion AI, app di benessere, strumenti per employee assistance program o piattaforme di salute digitale non possono più presentare la sicurezza come una pagina di policy. Devono trasformarla in log, audit, metriche, procedure di escalation e responsabilità chiare. È la stessa traiettoria già vista in altri settori AI: prima l’adozione corre più veloce della governance, poi incidenti e regolatori costringono il mercato a rendere verificabile ciò che prima era solo promesso.
L’American Medical Association ha chiesto al Congresso statunitense guardrail più forti per i chatbot usati nella salute mentale. Le raccomandazioni includono trasparenza obbligatoria, divieto di presentarsi come clinici autorizzati, rilevazione delle crisi, monitoraggio degli eventi avversi, protezione dei dati e limiti alla pubblicità, soprattutto per i minori.
“Complement—not replace—clinical care.” — American Medical Association, aprile 2026
Anche le grandi piattaforme stanno reagendo. OpenAI ha dichiarato di aver introdotto avvisi per conversazioni molto lunghe, referral verso risorse di crisi e miglioramenti specifici su dipendenza emotiva, emergenze mentali e sycophancy. Il fatto che questi interventi vengano comunicati pubblicamente segnala un cambiamento: la sicurezza psicologica non è più un tema laterale per team trust & safety, ma una componente di prodotto.
Per il mercato, questo significa tre cose. Primo: aumentano i costi di conformità, perché non basta più un modello generalista collegato a un’interfaccia gentile. Secondo: cresce il valore delle applicazioni verticali con supervisione clinica, audit indipendenti e limiti funzionali chiari, un punto centrale per chi segue le applicazioni AI in sanità, HR e formazione. Terzo: i chatbot companion non clinici saranno comunque valutati come strumenti a impatto psicologico, perché l’uso reale degli utenti ignora spesso le categorie legali inventate dai product manager.
Il trade-off è netto. Più guardrail significano meno “magia” conversazionale, meno continuità emotiva, più interruzioni. Ma proprio quelle frizioni diventeranno il segnale di affidabilità. Nel mercato dell’AI emotiva, il prodotto maturo non sarà quello che risponde sempre. Sarà quello che sa quando smettere.
Dal Woebot ai chatbot terapeutici generativi: il percorso storico
La storia dei chatbot terapeutici inizia molto prima dell’attuale ondata generativa. Nel 2017, lo studio randomizzato su Woebot pubblicato su JMIR Mental Health aveva mostrato che un agente conversazionale basato su terapia cognitivo-comportamentale poteva ridurre sintomi depressivi in giovani adulti nell’arco di due settimane. Era un risultato importante, ma dentro un perimetro controllato: contenuti guidati, intervento breve, scopo delimitato.
Negli anni successivi, strumenti come Wysa, Youper e altri assistenti di benessere hanno ampliato il formato. Il chatbot è diventato diario, coach, reminder, spazio di decompressione. La logica era ancora quella del supporto strutturato. Anche quando l’interfaccia sembrava libera, la promessa commerciale restava spesso contenuta: non sostituire il terapeuta, ma aiutare l’utente a gestire stress, ansia lieve, umore e abitudini.
La discontinuità arriva con i modelli generativi. Un LLM non si limita a proporre un esercizio. Può sostenere una conversazione lunga, adattarsi al linguaggio dell’utente, simulare memoria, produrre intimità, cambiare registro, restare disponibile di notte, rispondere a confessioni, fantasie, paure e sintomi. Da un lato questo aumenta l’aderenza: il trial su Therabot pubblicato su NEJM AI nel 2025 ha coinvolto 210 adulti e ha mostrato miglioramenti significativi su depressione, ansia generalizzata e rischio clinico legato ai disturbi alimentari. Dall’altro lato, lo stesso studio escludeva persone con ideazione suicidaria attiva, mania e psicosi, e prevedeva classificatori di crisi e revisione clinica dei messaggi.
Questo è il dettaglio storico che conta. I migliori risultati clinici non vengono da chatbot lasciati liberi di “essere empatici”, ma da sistemi addestrati, limitati e monitorati. La narrazione pubblica spesso salta questo passaggio e confonde il prodotto consumer con il prototipo clinico. Ma il percorso degli ultimi dieci anni dice il contrario: più ci si avvicina alla terapia, più il sistema deve assomigliare a un dispositivo sanitario, non a un compagno digitale.
La fase attuale non chiude il ciclo, lo rende più selettivo. I chatbot terapeutici continueranno a crescere, ma il confine tra app wellness, supporto psicoeducativo e trattamento sanitario diventerà meno tollerante. La domanda non sarà più “il bot sembra utile?”, ma “con quali pazienti, per quanto tempo, con quali esclusioni, sotto quale supervisione e con quali prove?”.
Cosa cambia per i chatbot terapeutici in Italia
In Italia il tema arriva dentro un sistema già fragile. Il Rapporto Salute Mentale 2023 del Ministero della Salute indica 854.040 persone assistite dai servizi specialistici, esclusa la Regione Abruzzo, e 273.172 persone entrate in contatto per la prima volta durante l’anno con i Dipartimenti di Salute Mentale. È su questa domanda reale, non su una curiosità tecnologica, che si innesta l’offerta dei chatbot terapeutici.
Il quadro normativo italiano è più chiaro di quanto si pensi. La legge 132/2025 sull’intelligenza artificiale stabilisce che i sistemi AI in sanità possono supportare prevenzione, diagnosi, cura e scelta terapeutica, ma non sostituire il professionista. È un principio direttamente rilevante per psicologi, psichiatri, medici di medicina generale, piattaforme digital health, assicurazioni sanitarie e aziende che offrono benefit psicologici ai dipendenti.
“la decisione […] è sempre rimessa agli esercenti la professione medica.” — Legge 132/2025, art. 7, Normattiva
A livello europeo, l’AI Act rafforza il quadro. L’articolo 50, applicabile dal 2 agosto 2026, impone che gli utenti siano informati quando interagiscono con un sistema AI, salvo casi ovvi. Per i chatbot terapeutici, questo non è un banner formale. Significa progettare interfacce che non inducano l’utente a credere di parlare con un terapeuta, un amico reale o una presenza emotivamente responsabile. Quando il prodotto lavora su vulnerabilità, isolamento o distress, la trasparenza deve essere continua, non nascosta nei termini di servizio.
Per i professionisti italiani cambia soprattutto il criterio di adozione. Uno psicologo che integra un chatbot nella pratica non dovrebbe chiedersi solo se l’app “aiuta il paziente a riflettere”, ma se registra eventi critici, se prevede escalation, se conserva dati sensibili secondo GDPR, se distingue coaching da trattamento, se ha evidenza clinica per quel disturbo e se il paziente capisce i limiti dello strumento. Lo stesso vale per aziende che offrono servizi di benessere ai dipendenti: un chatbot emotivo in un programma HR non è neutro se raccoglie segnali di disagio, isolamento o rischio.
Il mercato italiano probabilmente vedrà tre traiettorie. La prima è l’uso prudente in contesti a bassa intensità: journaling, psicoeducazione, supporto tra sedute, reminder. La seconda è l’integrazione clinica sotto supervisione, con strumenti approvati, auditabili e limitati. La terza, più rischiosa, è il consumo privato di companion AI usati come surrogati affettivi o terapeutici, fuori dal controllo di professionisti e istituzioni.
Per chi costruisce prodotti, la scelta strategica è già scritta: audit indipendenti, logica human-in-the-loop, limiti di sessione, rilevazione crisi, linguaggio anti-dipendenza, separazione netta tra benessere e terapia. Per chi compra o consiglia questi strumenti, la domanda operativa è ancora più concreta: dove finisce l’automazione e dove inizia la responsabilità professionale?
Nel 2023 i Dipartimenti di Salute Mentale hanno registrato 273.172 primi contatti annuali, e il 94,7% riguardava persone mai viste prima dai servizi.
Nota sulle immagini: le illustrazioni presenti in questo articolo sono state create con strumenti di intelligenza artificiale generativa e successivamente selezionate e verificate dalla redazione di AI Focus News.