OpenAI vient de publier un avertissement notable concernant un point faible de securite « proprietaire » dans les navigateurs web pris en charge par l'intelligence artificielle estimant que cette faille pourrait ne jamais etre completement corrigee.
Selon le developpeur de ChatGPT les attaques de injection de logiciels malveillants egalement connues sous le nom de prompt injection deviennent une menace persistante pour les systemes d'IA modernes.
Les navigateurs IA tels que ChatGPT Atlas ou Perplexity Comet changent progressivement la façon dont les utilisateurs recherchent et interagissent avec les informations sur Internet.
Au lieu d'afficher uniquement la liste des liens ces outils peuvent lire synthetiser et effectuer des taches a la place des utilisateurs.
Cependant c'est cette capacite de 'percevoir le contexte' qui les rend attrayantes pour les cybercriminels.
L'attaque pour inserer des codes malveillants est une forme dans laquelle les mechants deguisent les indications malveillantes en contenu apparemment valide afin de tromper les grands modeles linguistiques tels que GPT Gemini ou Llama.
Lorsqu'elle tombe dans le piege l'IA peut involontairement divulguer des donnees sensibles ignorer les demandes des utilisateurs ou diffuser de fausses informations.
Par exemple un e-mail conçu de maniere sophistiquee pourrait permettre a un acteur de l'IA de transmettre des documents fiscaux ou des informations internes a l'agresseur.
OpenAI reconnaît que bien qu'il corrige et ameliore continuellement le systeme de defense le prompt injection est un type d'attaque tres difficile a eliminer completement.
Dans un article sur son blog l'entreprise compare cette forme d'attaque a l'escroquerie et aux techniques sociales traditionnelles sur le web qui sont des menaces qui existent depuis des decennies mais qui n'ont jamais ete completement eliminees.
Selon OpenAI l'approche la plus pratique est d'ameliorer constamment les classes de protection au lieu de s'attendre a une solution « definitive ».
Un rapport de la societe de navigateurs Brave souligne egalement que la cause fondamentale du probleme reside dans la nature des navigateurs IA bases sur les facteurs.
Ces modeles ont du mal a distinguer quel contenu est necessaire a extraire pour repondre aux utilisateurs quels sont les instructions qu'ils doivent suivre. Cette couche grise cree des conditions pour que les instructions malveillantes se faufilent et prennent le controle du comportement de l'IA.
Pour y faire face OpenAI a declare avoir mis au point un outil d'attaque automatique base sur son propre modele de langage grand public afin de detecter de maniere proactive les scenarios de prompt injection dangereux.
Cet outil est forme pour jouer le role d'un attaquant aidant ainsi les ingenieurs a identifier et a corriger les faiblesses avant d'etre exploites en dehors de la realite.
Non seulement OpenAI mais le Centre national de cybersecurite britannique (NCSC) a egalement fait une remarque similaire et a estime que les attaques d'insertion de logiciels malveillants ciblant les applications d'IA de nouvelle generation pourraient ne jamais etre completement maîtrisees.
Cela pose un defi majeur en matiere de protection des donnees en particulier lorsque l'IA est de plus en plus integree profondement aux services en ligne et aux systemes d'entreprise.
OpenAI n'a pas encore annonce en detail si le nouvel outil d'attaque automatique est suffisamment capable de contrer les attaques d'insertion de code rapide.
Cependant la societe a declare qu'elle collabore avec de nombreux partenaires tiers pour renforcer la securite de ChatGPT Atlas meme si ce navigateur n'est pas encore officiellement lance.
L'avertissement d'OpenAI est considere comme un rappel que l'ere des navigateurs IA bien qu'ayant beaucoup de potentiel s'accompagne de risques de cybersecurite qui ne peuvent etre negliges.
