Roblox est une plateforme de jeux en ligne avec plus de 111 millions d'utilisateurs mensuels principalement des enfants et des adolescents.
Roblox vient d'annoncer le deploiement d'une version open source du systeme d'intelligence artificielle AI Sentinel selon Indianexpress.
Cette technologie est conçue pour detecter precocement les signes de langage et de comportement potentiels de risque d'agression infantile dans les conversations sur plateforme.
Cette action intervient alors que Roblox fait face a de nombreuses critiques et poursuites notamment une affaire dans l'Iowa (Etats-Unis) concernant une fillette de 13 ans qui a ete faite la connaissance par des escrocs via un jeu puis enlevee et vendue a travers plusieurs Etats.
La plaignante accuse les fonctionnalites de conception de Roblox de faire des enfants des 'objectifs faciles pour les pedophiles'.
Selon Roblox Sentinel fonctionne en capturant rapidement toute la conversation en une minute soit environ 6 milliards de messages par jour et en analysant le contexte.
Le systeme ne recherche pas seulement les mots-cles sensibles mais compare egalement le comportement a deux categories : un ensemble de conversations saines et un ensemble contenant des interactions illegales qui risquent d'attirer les enfants.
Les filtres precedents n'examinent que quelques lignes de texte appropriees pour bloquer le langage vulgaire mais ils ne sont pas efficaces pour detecter les comportements d'attraction qui se produisent silencieusement et de maniere prolongee' explique Matt Kaufman directeur de la securite chez Roblox.
Sentinel corrigera cette limitation en analysant l'ensemble du contexte du contenu de la conversation de la liste d'amis aux jeux auxquels il a participe.
Au cours du premier semestre 2025 Sentinel a aide Roblox a envoyer 1 200 rapports sur les efforts potentiels visant a exploiter les enfants au Centre national americain pour les enfants disparus et exploites (NCMEC).
Naren Koneru vice-president technique en charge de la fiabilite et de la securite chez Roblox a declare : 'Nous notons les utilisateurs en fonction de tous les comportements de la journee afin de determiner qui doit etre examine plus attentivement. Lorsque des risques sont detectes les personnes les examineront et coopereront avec les autorites competentes'.
Roblox n'autorise pas les enfants de moins de 13 ans a discuter en dehors du jeu sans l'accord des parents et bloque le partage d'informations personnelles et ne crypte pas les messages prives afin de faciliter la surveillance.
Cependant l'entreprise reconnaît qu''il n'y a pas de systeme parfait' et que les mechants cherchent toujours a contourner la loi.
En ouvrant le code source Sentinel Roblox espere que d'autres plateformes pourront egalement appliquer cette technologie contribuant a ameliorer la securite des enfants dans l'environnement en ligne ou des questions apparemment inoffensives telles que « Quel age avez-vous? » recelent parfois de graves menaces.
