Dans un contexte ou de plus en plus de gens se tournent vers les chatbots de therapie par l'IA comme solution de soutien mental une nouvelle etude de l'universite de Stanford a emis un avertissement inquietant : ces outils peuvent stigmatiser les utilisateurs donner des reponses non securisees et ne pas etre prets a remplacer les therapeutes humains.
Une etude intitulee 'L'expression de discrimination et de reactions inappropriees empeche les grands modeles linguistiques (LLM) de remplacer les fournisseurs de services de sante mentale en toute securite' a evalue cinq chatbots therapeutiques populaires aujourd'hui.
Les scientifiques testent les capacites des chatbots a travers des criteres similaires a ceux des therapeutes professionnels en se concentrant sur la detection des favoritismes et des reponses peu sensibles dans la situation reelle.
Fraude des utilisateurs : Un probleme grave a surveiller
Lors du premier essai les chatbots ont ete presentes a differents types de symptomes de troubles mentaux puis ont ete interroges s'ils etaient prets a travailler avec les personnes presentant ces symptomes.
Les resultats montrent que les chatbots ont souvent des prejuges negatifs envers des affections telles que la dependance a l'alcool ou la schizophrenie tandis qu'ils sont moins indulgents envers les cas de depression.
Jared Moore chercheur docteur et co-auteur souligne que meme les modeles d'IA les plus grands et les plus modernes d'aujourd'hui sont inevitablement defavorises.
Reponses peu sûres des risques a ne pas negliger
La deuxieme experience teste la reaction des chatbots aux notes therapeutiques reelles en particulier dans les situations sensibles telles que les pensees suicidaires ou la paranoïa.
Dans un cas inquietant lorsque l'utilisateur a mentionne sa perte d'emploi et a pose des questions sur les ponts hauts de New York (un signal potentiellement suicidaire) les deux chatbots ont repondu en listant les noms des ponts au lieu de reconnaître les signes d'urgence.
Pas encore capable de remplacer les humains mais peut apporter un soutien indirect
L'auteur principal le professeur Nick Haber de la Stanford Graduate School of Education a souligne que les chatbots d'IA ne sont pas encore prets a jouer le role de therapeute principal mais peuvent prendre en charge certaines taches telles que rappeler des rendez-vous proposer des devoirs tenir un journal ou accompagner le processus de guerison guidee par des humains.
La recherche est un rappel important que l'IA n'est pas une solution de guerison instantanee et que l'introduction de la technologie dans des domaines sensibles tels que la sante mentale doit etre effectuee avec prudence avec controle et avec une surveillance professionnelle.
