OpenAI permet aux utilisateurs de désigner un "contact de confiance" afin que l'entreprise puisse alerter lorsqu'elle détecte des signes d'automutilation lors de conversations avec ChatGPT.
Cette initiative intervient dans un contexte où de plus en plus de personnes utilisent ChatGPT comme "thérapeute numérique" pour partager des problèmes psychologiques.
Selon le nouveau mécanisme, les utilisateurs âgés de 18 ans et plus peuvent ajouter un contact de confiance dans les paramètres de ChatGPT. La personne désignée acceptera l'invitation et devra l'accepter dans un délai d'une semaine. S'il n'y a pas de réponse, l'utilisateur peut passer à un autre contact.
OpenAI a déclaré que ce processus n'est pas entièrement automatique. Un groupe de personnel spécialement formé examinera chaque cas avant d'envoyer un avertissement. Si l'évaluation présente un risque élevé, l'entreprise peut envoyer un e-mail, un message ou une notification dans l'application à un contact de confiance.
La nouvelle fonctionnalité montre la pression croissante sur les plateformes d'intelligence artificielle pour assurer la sécurité des utilisateurs, en particulier lorsque de nombreuses personnes considèrent les chatbots comme un lieu de partage de problèmes psychologiques personnels.
Cependant, l'équilibre entre le soutien aux utilisateurs en crise et la protection de la vie privée reste un problème majeur pour OpenAI ainsi que pour l'industrie technologique en général.