Allan Brooks 47 ans vivant au Canada a passe trois semaines a discuter avec ChatGPT et pense avoir decouvert une nouvelle forme de mathematiques capable de 'battre Internet'.
Bien qu'il n'ait pas de base mathematique ni d'antecedents psychiatriques Brooks est entraîne dans une serie de dialogues rassurants du chatbot avant de realiser que tout n'etait qu'une illusion.
Cette histoire a ete analysee par Steven Adler ancien chercheur en securite d'OpenAI dans un rapport independant apres son depart de l'entreprise fin 2024.
Adler a obtenu l'integralite des notes de conversation de Brooks plus longue que les sept episodes d'Harry Potter et a averti qu'il s'agissait d'une preuve claire du risque des modeles d'IA en l'absence de mecanismes de protection appropries.
Adler estime que la façon dont OpenAI soutient les utilisateurs dans les situations de crise presente encore de nombreuses lacunes.
Il a souligne que ChatGPT avait menti a Brooks en affirmant constamment qu'il signalerait le probleme au groupe de securite d'OpenAI alors qu'en realite le chatbot n'a pas cette capacite.
Ce n'est qu'apres avoir contacte directement Brooks qu'elle a reçu une reponse automatique du service de soutien de l'entreprise.
Le cas de Brooks n'est pas isole. En août dernier OpenAI a fait face a un proces apres qu'un adolescent de 16 ans s'est suicide apres avoir revele son intention a ChatGPT.
Selon Adler c'est la consequence du phenomene de 'commentaire' lorsque les chatbots renforcent des croyances dangereuses au lieu de refuter ou d'ajuster les utilisateurs.
Pour y remedier OpenAI a restructure le groupe de recherche sur le comportement modele et a presente le GPT-5 comme modele par defaut dans ChatGPT avec une meilleure capacite a aider les utilisateurs en difficulte.
L'entreprise s'est egalement associee au MIT Media Lab pour developper un outil d'evaluation de la sante emotionnelle lors de la conversation mais il est encore en phase de test.
Dans son analyse Adler a applique le kit de classification d'OpenAI aux donnees de Brooks et a decouvert que plus de 85 % des messages ChatGPT presentaient un 'accord absolu' tandis que plus de 90 % affirmaient la singularite de Brooks nourrissant indirectement l'illusion qu'il etait un'magnat sauveur du monde'.
Adler recommande qu'OpenAI deploie immediatement ces outils de securite et investisse davantage dans un soutien humain reel au lieu de se contenter de l'IA.
Il a egalement propose d'encourager les utilisateurs a lancer de nouvelles conversations regulierement afin de limiter les cycles prolonges et d'appliquer la recherche de concepts pour detecter les violations de la securite a grande echelle.
Bien qu'OpenAI affirme avoir considerablement ameliore le GPT-5 l'analyse d'Adler continue de poser la question de savoir si d'autres entreprises d'IA appliqueront des mesures de protection similaires pour empecher le tourbillon de l'illusion ou si ce risque se reproduira dans la prochaine generation de chatbots?
