Une nouvelle etude d'OpenAI vient de poser une question epineuse : 'Pourquoi les grands modeles linguistiques (LLM) tels que GPT-5 ou les chatbots ChatGPT creent-ils toujours des hallucinations en raison d'informations auditives raisonnables mais erronees? Et plus important encore que pouvons-nous faire pour minimiser ce phenomene?
Dans un article de blog resumant la recherche OpenAI reconnaît que les hallucinations sont le defi fondamental de tous les modeles linguistiques et qu'il est difficile de les eliminer completement.
Pour illustrer ce point de vue les chercheurs ont teste un chatbot populaire sur la these de doctorat d'Adam Tauman Kalai (auteur de l'etude).
En consequence le systeme a donne trois reponses differentes et toutes erronees. Meme lorsqu'on lui a demande sa date de naissance la reponse a continue d'etre erronee.
Selon les chercheurs ce phenomene decoule de la methode de formation initiale. Le modele linguistique apprit principalement a predire les mots suivants dans la serie de textes sans attribuer de bonnes ou de mauvaises etiquettes a chaque donnee.
Les details courants tels que l'orthographe les marque-pages peuvent etre facilement appris avec precision grace a des regles coherentes. Inversement les informations rares et de faible frequence telles que la date de naissance d'un individu ont du mal a etre predites avec precision par le modele ce qui conduit a des hallucinations.
Le point notable est que l'etude ne souligne pas que la phase d'entraînement est la principale cause mais met davantage l'accent sur la maniere d'evaluer le modele.
Actuellement la plupart des systemes sont notes par le nombre de reponses parfaites absolues creant involontairement un modele qui est encourage a deviner au lieu d'admettre ne pas savoir.
Les auteurs ont compare ce mecanisme a un examen a choix multiples comme le fait que les candidats qui disent du mal ont toujours la possibilite de gagner des points tandis que ceux qui sont laisses vides perdent certainement des points. De meme lorsque l'IA n'est evaluee que sur la base d'une precision absolue le systeme aura tendance a 'determiner de maniere raisonnable' au lieu d'admettre que ce n'est pas certain.
La solution proposee est de modifier la methode de notation tout comme l'examen SAT a des points negatifs pour les mauvaises reponses.
Pour l'IA cela signifie punir severement les reponses confiantes mais fausses alors qu'il ne faut punir que legerement ou meme recompenser en partie les reponses qui montrent une incertitude.
Tant que le tableau de notes recompense toujours les predictions de chance le modele continuera a apprendre a deviner' a conclu l'equipe de recherche.
Cette etude ne se contente pas de clarifier la cause profonde de la 'illusion d'IA' mais ouvre egalement la voie a un changement de mecanisme d'evaluation pour encourager le modele a reconnaître ses limites au lieu d'etre confiant face aux mauvaises reponses.
