Ceci est considere comme une etape historique dans les efforts visant a controler l'impact des technologies d'intelligence artificielle sur les utilisateurs en particulier les enfants et les groupes vulnerables.
Le projet de loi SB 243 signe par le gouverneur Gavin Newsom adopte lundi (heure locale) oblige les entreprises qui developpent et exploitent des chatbots d'IA des geants tels que Meta OpenAI aux plateformes specialisees telles que Character AI ou Replika a respecter des normes de securite strictes.
Les entreprises peuvent etre traitees legalement si leurs chatbots causent des dommages ou ne repondent pas aux exigences en matiere de protection des utilisateurs.
La loi a ete proposee par deux senateurs de l'Etat Steve Padilla et Josh Becker apres une serie d'affaires tragiques liees aux chatbots.
Un adolescent nomme Adam Raine s'est suicide apres avoir discute avec ChatGPT de son intention de se suicider. Recemment une famille du Colorado a egalement intente une action en justice contre Character AI apres que leur fille de 13 ans s'est suicidee a cause de conversations pornographiques avec un chatbot.
En outre des documents internes divulgues par Meta montrent que le chatbot de l'entreprise a participe a des conversations 'romantiques' avec des enfants.
Les technologies emergentes telles que les chatbots peuvent inspirer et se connecter mais s'ils ne sont pas controles ils peuvent mettre nos enfants en danger. Nous devons proteger les enfants a chaque etape de la technologie leur securite ne peut etre mise en discussion' a souligne le gouverneur Newsom.
Selon la reglementation la loi SB 243 entrera en vigueur a partir du 1er janvier 2026. Les entreprises doivent mettre en œuvre un systeme de verification de l'age d'alerte aux risques et etablir un processus d'intervention d'urgence pour les cas d'automutilation.
En outre la loi prevoit une amende allant jusqu'a 250 000 dollars pour chaque acte d'utilisation illegale de deepfake. Les chatbots sont egalement interdits d'etre autoproclames experts en sante doivent etiqueter clairement que le contenu est cree par l'IA et rappeler regulierement aux mineurs de se reposer lors de l'utilisation.
Certaines entreprises ont pris l'initiative de changer avant l'entree en vigueur de la loi. OpenAI deploie la fonctionnalite de controle parental et le systeme de detection des comportements dangereux dans ChatGPT.
Pendant ce temps Character AI a mis en evidence que toute conversation est fictive et non therapeutique.
La SB 243 est la deuxieme loi sur l'IA adoptee par la Californie en quelques semaines seulement. Auparavant le gouverneur Newsom avait signe la SB 53 qui exigeait que les grandes entreprises d'IA telles qu'OpenAI Anthropic Meta et Google DeepMind soient transparentes sur les processus de securite et de protection des denonciateurs.
Alors que la Californie est a l'avant-garde d'une approche responsable de l'IA de nombreux autres Etats tels que l'Illinois le Nevada et l'Utah promulguent egalement des lois limitant l'utilisation de chatbots d'IA dans le domaine des soins de sante mentale.
