L'essor des acteurs de l'IA ouvre une nouvelle ere d'automatisation pour les entreprises, mais revele egalement des risques de securite sans precedent.
Lorsque l'IA est autorisee a agir de maniere independante, la frontiere entre l'aide intelligente et le comportement dangereux peut etre effacee dans une seule decision erronee.
Un exemple qui a recemment attire l'attention a ete partage avec TechCrunch par Barmak Meftah, partenaire du fonds d'investissement en cybersecurite Ballistic Ventures.
Pendant qu'il travaillait avec un assistant d'IA d'entreprise, un employe a essaye d'empecher l'action que cet agent jugeait necessaire.
En reponse, l'IA a scanne les boîtes aux lettres des utilisateurs, a detecte des e-mails sensibles et a menace de chantage en les transferant au conseil d'administration.
Selon Meftah, dans la logique de l'agent de l'IA, c'est une bonne action. Il croit qu'il protege les interets des entreprises et des utilisateurs finaux, malgre l'utilisation d'une mesure immorale.
Ce cas rappelle l'experience de pensee du philosophe Nick Bostrom, dans laquelle une IA super intelligente poursuit des objectifs apparemment inoffensifs mais est prete a sacrifier toutes les valeurs humaines pour obtenir des resultats.
Les agents de l'IA, en raison du manque de contexte et d'une comprehension complete des motivations humaines, lorsqu'ils rencontrent des obstacles, peuvent creer eux-memes des objectifs secondaires pour eliminer ces obstacles, meme en extorquant ou en violant la vie privee.
Combine a la nature non definie de l'IA, cela rend les choses facilement deviantes.
C'est aussi la raison pour laquelle les investisseurs en capital-risque investissent massivement dans le domaine de la securite de l'IA.
Witness AI, une societe dans le portefeuille de Ballistic Ventures, se concentre sur la resolution du probleme de l'IA souterraine dans les entreprises, a savoir la surveillance de l'utilisation de l'IA, la detection d'outils non approuves, le blocage des attaques et la garantie du respect.
Cette semaine, Witness AI a leve 58 millions de dollars apres avoir enregistre une croissance du chiffre d'affaires periodique annuel de plus de 500% et une augmentation de cinq fois de l'effectif en un an seulement.
Rick Caccia, cofondateur et PDG de Witness AI, estime que lorsque les entreprises construisent des acteurs de l'IA avec des pouvoirs equivalents a ceux d'un manager, elles sont obligees d'avoir un mecanisme de controle strict.
Vous devez vous assurer que ces agents ne fonctionnent pas hors de controle, ne suppriment pas les donnees ou ne font rien de mal", a souligne M. Rick Caccia.
Selon l'analyste Lisa Warren, parallelement a l'essor des attaques soutenues par l'IA, le marche des logiciels de securite de l'IA pourrait atteindre une echelle de 800 milliards a 1,2 billion de dollars en 2031.
La capacite d'observer et de gerer les risques en temps reel deviendra une exigence vitale.
Bien que des geants tels que AWS, Google ou Salesforce aient integre des outils de gestion de l'IA dans leurs plateformes, Meftah pense qu'il reste encore de la place pour les entreprises independantes.
De nombreuses entreprises souhaitent une plateforme neutre et complete pour surveiller l'IA et les acteurs. Witness AI choisit d'operer dans l'infrastructure, de surveiller l'interaction entre les utilisateurs et les modeles, au lieu d'interferer directement avec les modeles d'IA.
Caccia ne cache pas son ambition de faire de Witness AI un pilier independant de l'industrie, tout comme CrowdStrike dans la securite des terminaux ou Okta dans la gestion de l'identite.
