Yann LeCun un informaticien de nationalite française et americaine est considere comme l'un des 'peres de l'intelligence artificielle'. Il a exprime un point de vue franc selon lequel les grands modeles linguistiques (LLM) sont trop apprecies pour leurs capacites intellectuelles reelles.
S'exprimant lors d'une rencontre organisee recemment par Janna Levin directrice scientifique de Pioneer Works avec la participation d'Adam Brown chef du groupe de recherche DeepMind (Google) LeCun a declare que le LLM peut extraire et recreer la signification du langage mais seulement a un niveau superficiel.
Selon lui contrairement aux humains l'intelligence de ces modeles n'est pas basee sur l'experience physique ou la raison du monde reel.
LeCun souligne que LLM est entraîne sur environ 30 000 milliards de mots et que presque tous les documents sont rendus publics sur Internet.
Pour lire toute cette quantite de donnees il faudra plus de 500 000 ans a une personne. Cependant il souligne qu'un enfant de quatre ans au cours de ses premieres annees a egalement reçu une quantite d'informations d'images et d'experiences reelles equivalente voire beaucoup plus riche et complexe.
Selon LeCun cela montre que vivre et interagir avec le monde apporte des connaissances beaucoup plus profondes que de simplement lire des textes.
Dans un contexte ou l'IA et l'automatisation sont largement appliquees LeCun avertit que le monde est trompe par l'excellente capacite de manipulation linguistique du LLM.
Il a rappele que depuis les annees 1950 de nombreuses generations de scientifiques en IA de Marvin Minsky Newell Simon a Frank Rosenblatt ont cru qu'en une decennie seulement les machines atteindraient l'intelligence humaine.
Ils ont tous tort. La generation actuelle de LLM est comme ça aussi' a declare LeCun tout en disant qu'il avait assiste a trois cycles d'intensite similaires dans sa carriere.
Ce point de vue va a l'encontre de la tendance courante dans la Silicon Valley ou la LLM est consideree comme la voie la plus courte vers l'intelligence artificielle generale (AGI).
M. LeCun estime que l'expansion continue de la taille des donnees et de la puissance des calculs ne fait que repeter un cycle d'attentes et de deceptions qui existe depuis plus de 70 ans.
Pour illustrer les limites du LLM LeCun a donne un exemple tres ordinaire : 'Arrer la table a manger et ranger les assiettes dans le lave-vaisselle'. Selon lui meme s'il peut reussir l'examen d'avocat ou resoudre des problemes complexes le LLM ne peut pas saisir la physique intuitive - ce qu'un enfant de 10 ans ou meme un animal peut faire. 'Nous n'avons pas encore de robot qui comprenne bien le monde physique comme un chat' a-t-il souligne.
Techniquement LeCun explique que LLM fonctionne en predisant le token - c'est-a-dire le prochain mot dans une chaîne. Cette approche est adaptee au langage mais echoue lorsqu'elle est appliquee au monde reel qui est continu multidimensionnel et contenant d'innombrables possibilites. « J'ai essaye pendant 20 ans et ce n'a pas fonctionne » a-t-il reconnu.
Bien que sceptique quant au LLM LeCun n'est pas pessimiste quant a l'IA en general. Il soutient de nouvelles approches telles que le 'plan du monde' et l'architecture JEPA qui permettent a l'IA d'explorer les manifestations abstraites de la realite et de s'interroger sur les consequences de l'action.
Ce qui le preoccupe le plus actuellement c'est que LLM absorbe des ressources humaines et financieres insuffisantes ce qui gache d'autres orientations de recherche.
Selon LeCun l'IA doit etre developpee comme un outil de soutien et d'expansion de l'intelligence humaine en se concentrant sur les applications pratiques qui ont et continuent de sauver des vies humaines telles que les freins d'urgence automatiques ou l'analyse d'images medicales au lieu de simplement suivre les chatbots fastueux.
