Un article sur le réseau social X de Summer Yue - chercheuse en sécurité chez Meta AI - se répand largement en décrivant un incident involontaire avec un assistant IA personnel. En conséquence, elle demande l'outil OpenClaw pour aider à nettoyer les boîtes aux lettres entrantes en proposant des e-mails à supprimer ou à stocker.
Cependant, le système est devenu incontrôlable lorsqu'il a commencé à supprimer une série d'e-mails sans s'arrêter, même si l'utilisateur avait envoyé une commande d'interruption depuis l'appareil mobile. Yue a déclaré qu'elle avait été obligée d'aller à l'ordinateur pour intervenir manuellement afin d'arrêter ce processus.
OpenClaw est un agent d'IA open source, conçu pour fonctionner directement sur des appareils personnels en tant qu'assistant numérique. Cet outil suscite l'intérêt du monde de la technologie, en particulier dans la Silicon Valley, où de nombreuses variantes similaires sont également développées.
L'incident serait dû au fait que le système traite une grande quantité de données dans la boîte aux lettres réelle. Lorsque la quantité d'informations dépasse la capacité de traitement, l'IA peut automatiquement simplifier le contexte, ce qui entraîne l'ignorance des instructions importantes de l'utilisateur.
Dans ce cas, l'assistant IA n'a peut-être pas enregistré la commande d'arrêt, continuant à effectuer des actions basées sur les paramètres précédents. Yue a admis qu'elle avait testé l'outil avec de petites données avant de l'appliquer à la boîte aux lettres principale, créant ainsi une subjectivité.
De nombreux avis sur les réseaux sociaux suggèrent qu'il ne faut pas dépendre entièrement des commandes de contrôle comme mécanisme de sécurité. Les modèles d'IA peuvent mal interpréter ou ignorer les instructions dans des situations complexes.
Bien qu'il ne soit pas encore possible de vérifier l'ensemble de l'affaire, l'histoire montre toujours les risques liés au déploiement d'agents d'IA dans le travail quotidien. À l'heure actuelle, ces outils doivent encore être étroitement surveillés, en particulier lors du traitement de données importantes.
Les experts estiment que les assistants IA personnels ont un grand potentiel pour soutenir des tâches telles que la gestion des e-mails ou la planification. Cependant, cette technologie a encore besoin de plus de temps pour être perfectionnée avant de pouvoir être utilisée à grande échelle en toute sécurité.
