Comment un nouveau code de bonnes pratiques pourrait contribuer à atténuer les risques liés à l’IA

Le gouvernement britannique mise gros sur l'IA. Compte tenu de l'état des finances publiques et d'une baisse prolongée de la productivité nationale, il doit à bien des égards le faire. Un pari ambitieux Plan d'action sur les opportunités de l'IA Le plan annoncé en janvier a beaucoup à offrir. Mais là où il y a des opportunités, il y a aussi des risques.

C’est pourquoi il est encourageant de voir que le gouvernement prend également des mesures concrètes pour améliorer la sécurité de l’écosystème de l’IA. Annoncé Quinze jours seulement après la mise en place du plan d'action, un nouveau code de bonnes pratiques, une première mondiale, aidera les développeurs, les opérateurs de systèmes et les autres parties prenantes à construire, déployer, maintenir et surveiller leurs systèmes d'IA conformément aux meilleures pratiques de sécurité. On espère que ce code constituera à terme la base d'une nouvelle norme internationale ETSI.

Pourquoi nous en avons besoin

Même si la technologie progresse rapidement, nous connaissons déjà certaines des principales menaces que l’IA représente pour les entreprises si elle n’est pas conçue de manière sécurisée. Elles comprennent :

• Attaques par injection rapide qui permettent aux acteurs malveillants de contourner les garde-fous de sécurité intégrés afin d'abuser des modèles de langage volumineux (LLM) à des fins malveillantes. Le dark web serait déjà inondé avec des offres de « jailbreak en tant que service » qui permettent exactement cela.
• Des vulnérabilités et des erreurs de configuration dans les composants du système d'IA, qui pourraient être exploitées/utilisées pour voler ou « empoisonner » des données ou des modèles de formation sensibles. De telles failles de sécurité ont déjà été découverts tout au long de la chaîne d'approvisionnement, y compris dans les bases de données vectorielles, les composants open source et les plateformes d'hébergement LLM.
• Déni de service, si un attaquant alimente une entrée inhabituellement grande dans un LLM
• Divulgation de données sensibles (par exemple, données client) via la réponse à une invite d'un utilisateur, qu'elle soit involontaire ou malveillante

En réalité, les systèmes d’IA modernes élargissent une surface d’attaque cybernétique déjà vaste au sein des entreprises, notamment les API, les modèles LLM, le code open source, les jeux de données de formation, les interfaces frontales et l’infrastructure cloud. Le risque de malversation augmente à mesure qu’ils s’intègrent à davantage de processus et d’applications métier. Top 10 de l'OWASP pour les candidatures au LLM C'est un bon début. Mais il ne s'agit pas d'une liste exhaustive des risques de sécurité liés à l'IA.

Pour qui est-ce?

Le code de bonnes pratiques s'applique à un certain nombre d'intervenants clés, notamment :

• Fournisseurs de logiciels proposant des services d'IA aux clients
• Les éditeurs de logiciels qui utilisent l'IA en interne, qu'elle ait été créée en interne ou par un tiers
• Organisations régulières qui créent des systèmes d'IA pour une utilisation interne
• Organisations régulières qui utilisent uniquement des composants d'IA tiers pour un usage interne

Seuls les « fournisseurs d’IA » qui vendent des modèles ou des composants mais ne les développent ni ne les déploient réellement sont susceptibles d’être en dehors du « champ d’application » de ce code.

Qu'est-ce qu'il y a dans le code

Le code de bonnes pratiques est divisé en 13 « principes » couvrant toutes les étapes du cycle de vie de l’IA, de la conception au développement, en passant par le déploiement, la maintenance et la fin de vie. Ces principes sont les suivants :

1. Sensibiliser des menaces et des risques liés à la sécurité de l’IA en formant le personnel de cybersécurité et un bassin d’employés plus large.
2. Concevoir des systèmes d'IA pour la sécurité, la fonctionnalité et les performances basées sur une planification approfondie et des évaluations des risques.
3. Évaluer/modéliser les menaces et gérer les risques liés à l’utilisation de l’IA grâce à des contrôles de sécurité et une surveillance continue.
4. Permettre la responsabilité humaine et la supervision des systèmes d’IA.
5. Identifier, suivre et protéger les actifs grâce à un inventaire complet et à des outils de suivi qui tiennent compte des interdépendances et de la connectivité.
6. Infrastructure sécurisée tels que les API, les modèles, les données et les pipelines de formation et de traitement. Cela doit inclure une politique de divulgation des vulnérabilités et des plans de gestion des incidents/de récupération du système.
7. Sécuriser la chaîne d'approvisionnement des logiciels au moyen d’évaluations des risques, de contrôles d’atténuation et de documentation.
8. Données, modèles et invites du document avec une piste d'audit claire de la conception du système et des plans de maintenance post-déploiement. Une documentation sera nécessaire pour apaiser les inquiétudes concernant l'empoisonnement des données lorsque des données de formation publiques sont utilisées.
9. Effectuer des tests et des évaluations appropriés couvrant tous les modèles, applications et systèmes avant le déploiement via des testeurs indépendants.
10. Déployer en toute sécurité en indiquant aux utilisateurs finaux comment leurs données seront utilisées, consultées et stockées. Les parties prenantes doivent également fournir des mises à jour de sécurité, des conseils sur la gestion et la configuration, ainsi qu'une assistance pour contenir et atténuer l'impact de tout incident.
11. Maintenir des mises à jour de sécurité régulières, correctifs et atténuations.
12. Surveiller le comportement du système en enregistrant les actions du système et des utilisateurs et en détectant les anomalies, les failles de sécurité ou les comportements inattendus au fil du temps.
13. Assurer une élimination appropriée des données et des modèles lors de la mise hors service ou du transfert de propriété d'un modèle ou de données de formation.

Mettre en place les éléments de base

La bonne nouvelle est que les normes de cybersécurité les plus performantes peuvent aider les organisations à se conformer au code. La norme ISO 27001 est citée dans le document lui-même, mais David Cockcroft, responsable du secteur de la sécurité de l’information chez ISOQAR, affirme que la norme ISO 42001 est la plus adaptée. Cette norme relativement nouvelle est conçue pour aider les organisations à établir, mettre en œuvre, maintenir et améliorer en permanence un système de gestion de l’intelligence artificielle (SGA).

« Les liens fondamentaux avec la norme ISO 42001 sont évidents dès le départ. Le public et les parties prenantes du code de bonnes pratiques sont directement liés au contexte organisationnel et au rôle de l'organisation dans le cycle de vie de l'IA tel que défini par la norme », explique-t-il à ISMS.online.

« Tous les principes du code de bonnes pratiques peuvent être mis en correspondance avec les clauses et les contrôles de la norme 42001. »

Andreas Vermeulen, responsable de l'IA chez Avantra, est du même avis.

« En intégrant la norme ISO 42001 aux normes de sécurité actuelles, les organisations peuvent améliorer leur conformité au code, en s'assurant que les risques opérationnels et de sécurité spécifiques à l'IA sont traités de manière adéquate, améliorant ainsi la posture de sécurité globale de l'IA », explique-t-il à ISMS.online.

« Le Royaume-Uni donne l’exemple en établissant des lignes directrices complètes qui garantissent le déploiement sûr et sécurisé des technologies d’IA. Ces efforts positionnent le pays comme un leader dans le développement responsable des systèmes d’IA. »

Sur ISMS.online, nous avons déjà interrogé Les ambitieux projets du gouvernement en matière d'intelligence artificielle pourraient-ils également injecter des risques cybernétiques dans les infrastructures et les applications nécessaires à la mise en œuvre de sa « décennie de renouveau national » tant vantée ? Il est donc bon de voir des orientations utiles publiées parallèlement à des promesses souvent vagues de croissance tirée par la technologie.

« Le nouveau code de bonnes pratiques, que nous avons élaboré en collaboration avec des partenaires mondiaux, contribuera non seulement à renforcer la résilience des systèmes d'IA contre les attaques malveillantes, mais favorisera également un environnement dans lequel l'innovation en matière d'IA au Royaume-Uni pourra prospérer », déclare Ollie Whitehouse, directeur technique du NCSC.

À mesure que le code mûrit et évolue vers une norme internationale, il pourrait devenir la référence de facto en matière de sécurité de l’IA pour un certain temps encore.