OpenAI recrute un chef de departement charge de la preparation et de la reponse aux risques, responsable de la recherche, de l'evaluation et de la gestion des risques de plus en plus complexes decoulant de l'intelligence artificielle.
Cette information a ete annoncee par le PDG Sam Altman dans un article sur le reseau social X, montrant l'interet croissant de l'entreprise pour les impacts inattendus de la technologie AI avancee.
Selon Sam Altman, les modeles d'IA actuels commencent a poser de reels defis. Parmi ceux-ci, il convient de noter l'impact potentiel sur la sante mentale des utilisateurs et la possibilite que les systemes d'IA deviennent trop doues dans le domaine de la securite informatique, au point de pouvoir detecter eux-memes de graves failles. Ce sont des risques non seulement techniques mais aussi directement lies a la securite sociale.
Altman appelle les candidats competents a participer a un effort commun pour aider le monde a utiliser la puissance de l'IA en toute securite.
Il a souligne que le double objectif est d'equiper les experts en cybersecurite des outils les plus avances, tout en empechant que ces capacites ne soient exploitees par des mechants.
Une approche similaire est egalement appliquee a d'autres domaines sensibles tels que la biologie et les systemes autonomes.
Selon la description du poste, ce poste sera responsable du deploiement du cadre de preparation d'OpenAI. Il s'agit d'un cadre qui explique comment l'entreprise suit, evalue et se prepare aux capacites avancees de l'IA qui peuvent creer de nouveaux risques, entraînant de graves dommages s'ils ne sont pas controles.
OpenAI a annonce pour la premiere fois la creation de ce groupe en 2023, avec pour mission d'etudier les risques potentiels.
Ces risques s'etendent des menaces immediates telles que l'escroquerie en ligne, les cyberattaques, aux scenarios plus speculatifs mais ayant de graves consequences.
Cependant, moins d'un an plus tard, le chef de la preparation et de la reponse a l'epoque, Aleksander Madry, a ete transfere a un poste axe sur l'etude theorique de l'IA. D'autres dirigeants responsables de la securite ont egalement quitte l'entreprise ou ont pris de nouveaux roles.
Recemment, OpenAI a mis a jour le Cadre de preparation, qui indique que l'entreprise peut ajuster les exigences de securite si un laboratoire d'IA concurrent lance un modele a haut risque sans mesures de protection similaires.
Cette decision suscite un debat sur la question de savoir si la pression concurrentielle peut affaiblir les normes de securite.
En outre, les chatbots d'IA generateurs, dont ChatGPT, subissent une surveillance de plus en plus stricte de leur impact sur la sante mentale.
Un certain nombre de poursuites recentes suggerent que les chatbots IA pourraient renforcer les perceptions distorsionnees et accroître l'isolement social des utilisateurs. OpenAI a declare qu'ils continuaient d'ameliorer leur capacite a reconnaître les signes de stress emotionnel et a connecter les utilisateurs a des sources de support appropriees.
La recherche du chef du departement charge de la preparation et de la reponse aux risques montre qu'OpenAI est confronte a un grand probleme: comment continuer a innover rapidement, tout en veillant a ce que l'IA soit developpee et deployee de maniere responsable.
