Des chercheurs ont identifié une faille dans Copilot de Microsoft 365, « EchoLeak », qui pourrait permettre à des attaquants d'exfiltrer des données sensibles d'entreprise sans aucune interaction avec l'utilisateur. Face à la multiplication de ces problèmes, les entreprises se montrent-elles complaisantes face à la menace posée par l'IA ?

En juin, des chercheurs ont révélé avoir trouvé une faille dans Microsoft 365 Copilote qui pourrait permettre aux adversaires d’exfiltrer des données sensibles de l’entreprise dans une attaque « zéro clic », ne nécessitant aucune interaction de la part de l’utilisateur.

Surnommé « EchoLeak » et considéré comme le premier du genre, la vulnérabilité exploite des défauts de conception trouvés dans génération augmentée de récupérationdes chatbots et des agents d'IA basés sur l'IA, ont déclaré les chercheurs d'Aim Labs.

Dans une blogLes chercheurs ont expliqué comment ils ont utilisé une nouvelle technique d'exploitation appelée « violation de portée du modèle de langage étendu » (LLM). « Il s'agit d'une avancée majeure dans la recherche sur la manière dont les acteurs malveillants peuvent attaquer les agents d'IA, en exploitant les mécanismes du modèle interne », ont-ils écrit.

Microsoft a corrigé le problème avant qu'il ne puisse être utilisé dans des attaques réelles, mais EchoLeak démontre les risques très réels posés par Outils d'IA en entreprise.

Alors que des vulnérabilités comme celles-ci apparaissent de plus en plus, les entreprises sont-elles complaisantes face à la menace posée par l’IA et quelles mesures doivent-elles prendre pour garantir leur résilience ?

Menaces basées sur l'IA

Les outils d'IA présentent de nombreux risques pour les entreprises. Par exemple, bien qu'ils aient été formés pour être utiles, ils ne comprennent pas toujours ce qui ne doit pas être partagé, explique Sam Peters, directeur produit chez ISMS.online.

L'un des principaux risques réside dans la manière dont les systèmes d'IA générative sont entraînés ou pilotés. « Ils peuvent stocker ou révéler des informations sensibles par inadvertance, sans intention malveillante », prévient Lillian Tsang, avocate principale spécialisée en protection des données et de la vie privée au sein du cabinet Harper James.

Mal configurés, les outils d'IA pourraient même régurgiter les données des clients ou des employés en réponse à des sollicitations. « Les processus d'arrière-plan peuvent exposer des informations mises en cache ou tokenisées lors d'interactions avec des systèmes externes », explique Tsang. « Le plus inquiétant est que l'utilisateur peut ne jamais se rendre compte que ses données ont été mal gérées, ce qui complique d'autant plus la détection et la réponse. »

La vitesse à laquelle l'IA est adoptée aggrave encore la situation. Les outils d'IA sont de plus en plus intégrés aux infrastructures des entreprises, souvent avec des « politiques floues » ou une « visibilité limitée sur la manière dont elles traitent et stockent les données », explique Robert Rea, directeur technique de Graylog.

Les vulnérabilités des outils d'IA ajoutent de l'huile sur le feu. EchoLeak montre clairement que les modèles de sécurité sur lesquels les entreprises se sont appuyées ne sont pas adaptés à l'IA, explique Emilio Pinna, directeur chez SecureFlag. « Des outils comme Copilot fonctionnent avec de multiples sources et autorisations, récupérant automatiquement les données pour améliorer la productivité. Le problème est que l'IA ne suit pas les mêmes limites claires que les applications traditionnelles. »

Les outils d'IA, comme Microsoft Copilot, sont indéniablement puissants, mais leur sécurité dépend des systèmes et de la gouvernance qui les entourent, explique Peters. « Je pense que cet incident met en évidence qu'à l'heure actuelle, le véritable risque lié à l'IA ne réside pas seulement dans une utilisation abusive délibérée ; il s'agit d'une exposition involontaire. »

Conscient des risques

Comme le montre EchoLeak, la menace est réelle et croissante, mais les experts estiment que certaines entreprises se montrent complaisantes face aux dangers associés aux outils d'IA. Cela s'explique en partie par le fait que l'accent est mis sur les capacités de l'IA plutôt que sur les risques qu'elle représente.

« Dans une certaine mesure, les entreprises sont actuellement aveuglées par la nouveauté de l'IA et ses possibilités », explique Joseph Thompson, avocat au sein de l'équipe commerciale et technologique de Birketts LLP. ISMS.en ligne« Nous ne nous demandons pas si c’est sûr, quels sont les risques et comment nous pouvons nous protéger et protéger nos entreprises. »

Le principal problème est que de nombreuses organisations considèrent encore l'IA comme un simple ajout, plutôt que comme un outil capable de transformer radicalement la manière dont les données sont consultées et exposées, explique Peters. « On part du principe que les fournisseurs maîtrisent tout. »

Cependant, la réalité est que l'IA ne reste pas cloisonnée, affirme-t-il. « Elle impacte tout. C'est précisément cette interconnexion qui la rend si risquée sans les contrôles adéquats. »

L'intégration de l'IA dans les suites de productivité clés accroît considérablement les risques associés, explique Rea. « Les systèmes d'IA ne fonctionnent plus comme des outils isolés, mais évoluent vers des couches omniprésentes intégrées aux applications, API et canaux de communication. Cette intégration généralisée accroît le risque d'utilisation abusive, d'exposition accidentelle et de fuite de données. »

Si rien n'est fait pour résoudre le problème maintenant, la situation va empirer. À mesure que la technologie évolue, l'IA touchera davantage de données, de systèmes et de flux de travail, élargissant considérablement les surfaces d'attaque potentielles, explique Thompson.

Parallèlement, les entreprises devront faire face à des méthodes d'attaque de plus en plus sophistiquées. « Les attaquants ne cibleront plus uniquement le code et l'infrastructure, mais se concentreront sur le comportement de l'IA elle-même », prévient Thompson.

Tout cela rendra la gouvernance de l’IA de plus en plus complexe, obligeant les équipes de toute l’entreprise à travailler ensemble pour superviser la conformité et surmonter les menaces potentielles, ajoute Thompson.

Renforcer les stratégies de gouvernance de l'IA

Avant tout, EchoLeak est un signal d'alarme, déclare Thompson. « Il ne s'agit pas seulement de corriger la vulnérabilité et de passer à autre chose. Les organisations doivent reconsidérer l'étendue et les modalités d'intégration de l'IA dans leurs systèmes critiques. »

Face à l'arrivée sur le marché d'un nombre croissant d'outils et d'applications d'IA, les entreprises doivent réagir rapidement. Cela implique une « réflexion majeure » dans leur approche de la gouvernance de l'IA, explique Peters. « Aussi simple que cela puisse paraître, cela implique une classification claire des données, des contrôles d'accès renforcés, une meilleure surveillance et, surtout, la formation de vos équipes à la compréhension du fonctionnement de ces outils. »

Il vaut la peine de considérer les données du NIST Cadre de gestion des risques liés à l'IA, ce qui aidera les entreprises à tirer parti des avantages de la technologie tout en atténuant ses risques. ISO 42001:2023 Le cadre suggère également comment créer et maintenir des systèmes de gestion de l’IA de manière responsable au sein des organisations.

Une gouvernance efficace ne peut pas être négligée. Si c'est le cas, vous avez déjà échoué, affirme Peters. Pour que la gouvernance protège efficacement votre entreprise, elle doit être intégrée dès le départ à vos stratégies de gestion des risques et de conformité, conseille-t-il.

« Aucune entreprise ne peut se permettre de dire "non à l'IA". Nous voulons tous en exploiter les avantages, mais cela doit se faire de manière responsable », explique Peters.

Cela signifie poser des questions difficiles sur l’endroit où se trouvent vos données, la manière dont elles circulent dans votre entreprise et auprès de vos fournisseurs, et qui – ou quoi – y a accès.

« Je crains que si les entreprises n'anticipent pas ce problème dès maintenant, elles se retrouveront à réagir constamment aux incidents au lieu de les prévenir », déclare Peters. « D'un point de vue commercial, avec le rythme de développement de l'IA, cette situation deviendra rapidement intenable. »