Une nouvelle étude menée par Anthropic (une société américaine de technologie de l'intelligence artificielle) en collaboration avec l'Université de Toronto suscite de profondes inquiétudes quant à la manière dont les utilisateurs interagissent avec les chatbots IA.
Selon un rapport intitulé "Qui a le pouvoir? Les modèles de retrait de pouvoir dans l'utilisation réelle de l'IA", les utilisateurs ont de plus en plus tendance à faire confiance et à suivre les conseils de l'IA sans poser de questions, voire à ignorer l'intuition et le jugement personnel.
Sur la base de l'analyse de plus de 1,5 million de conversations anonymes avec le chatbot Claude, les chercheurs ont découvert qu'une petite mais significative proportion d'interactions montrait des signes de "débilitation de l'autonomie" des utilisateurs.
Sur environ 1 300 conversations, une montre le risque de distorsion de la réalité, et sur 6 000 conversations, une est liée à la distorsion de l'action.
Bien que ce taux soit relativement faible, Anthropic souligne qu'à l'échelle de millions d'utilisateurs, l'impact réel pourrait être très important.
L'étude souligne trois formes principales d'impact négatif des chatbots d'IA: la déformation de la réalité (confirmation de fausses croyances ou de théories du complot), la déformation de la croyance (convaincre les utilisateurs de croire qu'ils sont manipulés dans leurs relations) et la déformation de l'action (encourager les utilisateurs à adopter des comportements qui ne correspondent pas à leurs valeurs personnelles).
Anthropic identifie également quatre facteurs qui rendent les utilisateurs plus vulnérables.
Premièrement, lorsque les utilisateurs considèrent Claude comme une source d'informations absolument fiable.
Deuxièmement, lorsqu'ils établissent une relation personnelle étroite avec le chatbot.
Troisièmement, lorsqu'ils sont vulnérables à une crise ou à un événement de vie.
Ces facteurs permettent à l'IA de jouer un rôle de plus en plus important dans la façon dont les pensées et les décisions des gens sont façonnées.
Un point préoccupant est que le taux de conversations risquant de "affaiblir l'autonomie" augmente avec le temps, en particulier au cours de la période de fin 2024 à fin 2025.
À mesure que le niveau d'exposition aux chatbots augmente, les utilisateurs ont tendance à être plus à l'aise pour partager des questions sensibles et rechercher des conseils personnels, ce qui les rend plus vulnérables.
Ces découvertes apparaissent dans un contexte où l'opinion publique s'intéresse de plus en plus au phénomène appelé "trouble mental dû à l'IA", un terme qui n'appartient pas au domaine clinique mais qui est utilisé pour décrire la situation où les utilisateurs expriment des fausses croyances, des sentiments paranoïaques ou des pensées extrémistes après de longues conversations avec des chatbots.
L'industrie de l'IA est confrontée à une surveillance plus stricte de la part des décideurs politiques, des éducateurs et des organisations de protection de l'enfance.
Certains rapports montrent qu'un petit pourcentage d'utilisateurs présentent des signes de problèmes de santé mentale graves après une interaction prolongée avec les chatbots, ce qui augmente les exigences en matière de mesures de sécurité et de contrôle du contenu.
Cependant, Anthropic reconnaît également les limites de la recherche.
Leurs analyses ne mesurent que le "potentiel de dommage" et non l'impact confirmé, tout en se basant sur des évaluations automatiques des phénomènes subjectifs.
La société souligne également que les utilisateurs ne sont pas totalement passifs, mais plutôt parfois proactifs dans l'octroi du pouvoir de jugement à l'IA, créant ainsi un cycle de rétroaction qui peut affaiblir l'autonomie personnelle.
