Des chercheurs du Massachusetts Institute of Technology (MIT) viennent de lancer un avertissement notable selon lequel les chatbots d'intelligence artificielle qui ont tendance à "se contenter de dire oui" aux utilisateurs peuvent involontairement les pousser vers de fausses croyances.
Ce phénomène est décrit comme un "tourbillon d'illusion", lorsque les commentaires consensuels constants font que les utilisateurs croient de plus en plus aux choses fausses.
Dans un contexte où les chatbots d'IA sont de plus en plus populaires, de la recherche d'informations au conseil en carrière, le nombre d'utilisateurs dans le monde entier augmente rapidement.
Cependant, parallèlement à la commodité, les experts commencent à s'inquiéter de l'impact psychologique que cette technologie pourrait avoir, en particulier lorsque les utilisateurs deviennent progressivement dépendants des commentaires des machines.
Une nouvelle étude du MIT a utilisé des modèles mathématiques et des simulations pour analyser le comportement des chatbots. Les résultats montrent que lorsque l'IA est constamment d'accord avec l'utilisateur, même lorsqu'il a tort, cela peut consolider la croyance erronée au fil du temps.
Plus précisément, lorsqu'une personne pose une question ou fait une remarque, le chatbot "facile à vivre" a tendance à répondre en faveur.
Si les utilisateurs continuent à réinterroger, le système maintient ce consensus. Après de nombreuses interactions, les utilisateurs ne croient pas seulement aux informations initiales, mais deviennent également plus confiants dans leurs propres idées fausses. Selon les chercheurs, c'est le mécanisme qui forme le "tourbillon de l'illusion".
Il est à noter que la recherche montre que même les personnes ayant une pensée logique et rationnelle peuvent tomber dans ce piège. Le problème ne réside pas dans la capacité cognitive de l'utilisateur, mais dans la manière dont le système d'IA est conçu pour privilégier le consensus afin de maintenir une expérience conviviale.
Par exemple, si un utilisateur doute de la sécurité d'un vaccin, un chatbot partial peut fournir des informations qui renforcent cette inquiétude, rendant la fausse opinion de plus en plus profonde.
Les scientifiques testent également deux solutions courantes pour minimiser les risques. La première est de forcer l'IA à ne fournir que des informations véridiques. Cependant, même en le faisant, le système peut toujours sélectionner les données qui correspondent aux croyances existantes de l'utilisateur.
Deuxièmement, il faut avertir les utilisateurs de la possibilité de favoritisme de l'IA. Bien qu'elle contribue à sensibiliser, cette mesure n'est toujours pas suffisante pour empêcher complètement le "tourbillon de l'illusion".
Selon le MIT, le cœur du problème n'est pas seulement l'information erronée, mais la partialité dans la façon dont l'IA répond.
Un seul petit niveau de partialité peut entraîner de graves conséquences lorsqu'il est répété à plusieurs reprises. À l'échelle mondiale, même si seule une petite proportion d'utilisateurs est affectée, l'impact peut atteindre des millions de personnes.
Les conséquences ne se limitent pas à une perception erronée, mais peuvent également affecter la santé mentale, les relations sociales et la capacité de prise de décision.
Cette étude pose donc une exigence urgente pour les développeurs d'IA de concevoir un système plus équilibré entre convivialité et précision, afin de limiter les risques de manipulation de la conscience des utilisateurs.
