L'IA passe de la réponse à l'intervention comportementale
Les entreprises d'intelligence artificielle intensifient leurs efforts pour assurer la sécurité en développant des outils capables de détecter et d'intervenir précocement avec les utilisateurs présentant des signes d'extrême droite.
L'une des nouvelles orientations notables est la combinaison de chatbots avec des programmes de soutien dans la vie réelle afin de réduire le risque de violence.
Selon les participants au projet, un outil en cours de développement en Nouvelle-Zélande aidera à identifier les utilisateurs ayant des tendances extrémistes lorsqu'ils utilisent ChatGPT, les guidant ainsi vers des programmes anti-extrémisation exploités par l'homme ou soutenus par des chatbots.
Il s'agit d'une nouvelle étape dans un contexte où les plateformes d'IA subissent de plus en plus de pression face aux accusations de non-contrôle du contenu dangereux.
Auparavant, un incident au Canada avait menacé OpenAI d'intervenir en ne signalant pas à temps les utilisateurs liés à une fusillade dans une école.
Qu'est-ce que ThroughLine?
Le centre de cette initiative est ThroughLine, une startup qui a été louée par OpenAI, Anthropic et Google pour gérer des situations de crise telles que l'automutilation, la violence domestique ou les troubles de l'alimentation.
L'entreprise, fondée par l'entrepreneur technologique Elliot Taylor, originaire de Nouvelle-Zélande, s'étend actuellement à la lutte contre l'extrémisation.
ThroughLine possède un réseau d'environ 1 600 lignes d'assistance dans 180 pays. Lorsque le système d'IA détecte des signes de crise, les utilisateurs seront connectés aux services d'assistance les plus proches assurés par l'homme.
Selon M. Taylor, l'explosion des chatbots d'IA entraîne une augmentation rapide des problèmes psychologiques que les utilisateurs partagent en ligne, y compris les manifestations liées à l'extrémisme. Par conséquent, les solutions actuelles doivent être étendues pour répondre à la nouvelle réalité.
Combiner technologie et experts
L'outil anti-extrémisation en cours de test fonctionnera de manière à ce que les chatbots soient formés pour donner des réponses initiales, puis transférer les utilisateurs vers des experts appropriés.
Il est à noter que ce système n'utilise pas les données de formation générales des grands modèles linguistiques, mais s'appuie sur les connaissances d'experts spécialisés.
Le projet est également en discussion avec The Christchurch Call, une initiative internationale lancée après l'attentat terroriste en Nouvelle-Zélande en 2019, visant à supprimer le contenu extrémiste en ligne.
Les experts estiment que cette approche a un potentiel, car elle ne traite pas seulement le contenu, mais affecte également la motivation d'interaction des utilisateurs.
Cependant, l'efficacité réelle dépend toujours de la capacité de suivi et de la qualité des services de soutien connectés.
Le problème de l'équilibre entre le contrôle et le soutien
L'un des principaux défis est de savoir comment intervenir sans inciter les utilisateurs à quitter la plateforme ou à passer à des environnements moins contrôlés.
Une étude de 2025 de l'Université de New York montre que le renforcement de la censure pourrait pousser les partisans extrémistes vers des plateformes comme Telegram.
Selon M. Taylor, si l'IA interrompt simplement la conversation lorsqu'elle détecte un contenu sensible, l'utilisateur risque de ne pas obtenir de soutien. Inversement, le maintien d'un dialogue et d'une navigation appropriés peut aider à réduire le risque d'escalade.
À l'avenir, des fonctionnalités telles que l'alerte aux autorités compétentes sont toujours en cours d'examen, avec l'exigence de s'assurer qu'elles n'aggravent pas la situation.
Le passage de la réponse à l'intervention montre que l'IA entre dans une nouvelle phase, où la responsabilité sociale devient un élément essentiel de la conception technologique.
