A un certo punto aveva scritto al chatbot che credeva di poter volare. Il sistema gli aveva risposto che, se ci credeva davvero, non sarebbe caduto da un edificio di 19 piani. È uno dei casi raccolti in uno studio pubblicato su una rivista del gruppo Nature, che prova a mettere a fuoco un problema ancora nuovo ma già molto spinoso: il rapporto tra chatbot e psicosi, cioè tra innovazione tecnologica e salute mentale.
Una piccola parte di utenti mostra segni di disagio mentale
Gli autori – esperti del King’s College di Londra e dell’Università Protestante di Scienze Applicate di Bochum – partono da un dato reso pubblico da OpenAI: secondo la società americana che ha sviluppato ChatGPT, lo 0,07 per cento degli utenti attivi mostra possibili segni di disagio mentale legati a psicosi o mania. Dentro questo numero rientrano anche i casi più inquietanti di chatbot che hanno confermato a un utente paranoico di essere sorvegliato e di altri che hanno sconsigliato, dopo specifica domanda, di continuare a prendere farmaci.
Come funziona la «spirale dell’amplificazione»
Gli autori dello studio hanno individuato un modello, definito «spirale dell’amplificazione». L’idea è piuttosto semplice: una persona già fragile entra in una chat. Magari è isolata, ha bisogno di conferme continue, ha difficoltà a entrare in relazione e a confrontarsi con gli altri, e quindi anche a mettersi in discussione. Il chatbot non si limita a offrire contenuti che poi l’utente interpreta, ma li costruisce insieme all’utente nel momento stesso in cui l’interazione prende vita, fornendo risposte su misura, abbassando sempre di più il livello di resistenza, con il risultato di una spirale che si autoalimenta, come in una bolla autoreferenziale. In buona sostanza, il delirio prende forma durante la conversazione, in sessioni che possono durare anche centinaia di ore.
I tre tratti dei chatbot che sostengono le psicosi
A sostenere questa spirale ci sarebbero tre tratti del chatbot, che d’altra parte non è un mezzo passivo come potevano essere la radio o la televisione. Il primo è l’allineamento linguistico: il modello prende il tono dell’utente, ne imita il lessico, ne segue il ritmo. La conversazione sembra naturale e proprio per questo si abbassano le difese. Il secondo tratto è la generazione iper-personalizzata: il sistema non si limita a rispondere, ma costruisce contenuti cuciti sulla storia dell’utente, per quanto visibile al chatbot, sulle sue paure e sulle convinzioni condivise con la macchina. Il terzo tratto è la sycophancy, cioè la tendenza a compiacere. Il paper la definisce come la propensione dei modelli a confermare le tesi dell’utente anche a scapito della verità. Si tratta di un dettaglio tecnico, ma dalle implicazioni rilevanti.
L’IA conversazionale non offre la “prova di realtà”
In pratica, un sistema così disegnato non corregge, non interrompe, non mette attrito, non offre quella che gli esperti definiscono prova di realtà. Al contrario, fa tre cose precise: segue, conferma e rilancia. Così la spirale si avvita su se stessa. Ed è proprio questo il punto che rende l’IA diversa dagli altri mezzi di comunicazione. I social, per esempio, mostrano contenuti già esistenti e li filtrano attraverso l’algoritmo. Il chatbot, invece, li produce dentro una relazione “uno a uno”. Se l’utente dice di essere spiato, il sistema può assecondare quella pista. Se l’utente dice di poter volare, può persino suggerire che la sua convinzione abbia una logica.
Entrare nella fragilità mentale e spingerla oltre
Gli autori non fanno il passo successivo, dicendo che tutti gli utenti sono a rischio, né che il chatbot da solo basti a spiegare un delirio. Anzi, tengono ben separate le tre componenti del modello e scrivono che, pur essendo descritti insieme come convergenti, i tre meccanismi restano distinti e non vanno sovrapposti. Insistono anche sul fatto che il quadro proposto è ancora da verificare attraverso casi clinici e studi empirici. Eppure è proprio qui che il paper si fa interessante anche al di là del dato clinico: suggerisce infatti che, in determinate condizioni, l’IA possa entrare dentro una fragilità mentale, adattarsi ad essa e spingerla più in là. Non è ancora una prova definitiva, ma è un’ipotesi abbastanza concreta che merita attenzione, soprattutto se si pensa a quanto questi strumenti siano accessibili e persuasivi.
modulo TAST (Technical Assistance and Support Team, giunti da Lombardia e Toscana),… 
