Alors que l'Inde s'efforce de developper ses propres modeles linguistiques (LLM) OpenAI vient d'annoncer la norme IndQA un systeme d'evaluation conçu pour tester non seulement la capacite de traitement linguistique mais aussi la capacite de saisir les nuances culturelles specifiques de l'Inde.
IndQA comprend 2 278 questions reparties dans 12 langues et 10 domaines culturels differents redigees en collaboration avec 261 experts a travers l'Inde.
Des themes allant de l'art de la culture de l'histoire de la religion de la cuisine aux medias au sport et a la vie quotidienne avec des langues courantes telles que l'hindi le tchetchene le Bengali le Marathi le Telugu et meme l'anglais-hindi hybride sont des formes de communication typiques dans ce pays.
OpenAI a declare que l'objectif d'InduQA n'est pas de creer un classement mais de mesurer l'amelioration au fil du temps des modeles d'IA afin d'aider les groupes de recherche a mieux comprendre la capacite de chaque modele a saisir le contexte culturel.
Le systeme de notation est base sur les criteres fixes par les experts avec une echelle de points refletant le niveau complet et approprie de chaque reponse.
Il est a noter que les questions dans IndQA ont ete soigneusement selectionnees et que seules les questions auxquelles les modeles avances d'OpenAI tels que GPT-4o o3 ou GPT-4.5 n'ont pas encore bien repondu sont conservees.
Selon OpenAI cela permet d'assurer le vide de developpement pour les modeles futurs tout en evitant que le test ne devienne trop facile.
Au cours du processus de construction le groupe de redaction d'IndeQA a egalement vu la participation de journalistes d'erudits d'artistes de poetes et de chevaliers de table refletant la diversite culturelle et la profondeur de la connaissance indienne. Chaque question a une traduction anglaise et une reponse modele qui facilitent l'evaluation.
Cette initiative est nee dans un contexte ou l'Inde devient le deuxieme plus grand marche de ChatGPT apres les Etats-Unis.
OpenAI renforce egalement sa presence dans ce pays de plus d'un milliard d'habitants avec des evenements tels que DevDay Exchange a Bengaluru et un programme offrant un forfait ChatGPT Go gratuit pendant un an aux utilisateurs qui s'inscrivent tot.
Cependant les experts estiment qu'IndQA n'est qu'un debut dans le parcours de construction des normes d'IA locales.
De nombreuses start-up indiennes telles que Sarvam ou Shunya Labs se sont plaintes que les normes mondiales different en termes d'anglais ce qui rend le modele linguistique indien difficile a concurrencer.
Recemment Shunya Labs a declare que son modele vocal Pingala avait un taux d'erreur de seulement 3 1 % ce qui est mieux que les 5 6 % de Nvidia mais n'etait toujours pas tres bien classe en raison d'un processus d'evaluation non transparent.
IndQA est donc consideree comme un effort important pour creer un terrain de jeu plus equitable pour les modeles linguistiques indiens ouvrant la voie a la formation d'un ecosysteme d'IA portant l'identite et les normes uniques de ce pays d'Asie du Sud.
