L’UE est sans aucun doute le leader mondial actuel en matière de réglementation de l’IA. Aussi imparfait soit-il, son nouveau Loi sur l'IA peut-être, cela représente une réalisation importante. Le Royaume-Uni adopte une approche plus non interventionniste, même s’il affiche son ambition de devenir un acteur mondial responsable, en organisant un sommet mondial sur la sécurité de l’IA en novembre de l’année dernière. Peu de temps après, son Centre national de cybersécurité (NCSC) a produit un nouvel ensemble de lignes directrices pour le développement sécurisé de systèmes d’IA.

Saluées par l'Agence américaine de cybersécurité et de sécurité des infrastructures (CISA) comme une « étape clé », ces lignes directrices constituent une première étape importante pour aider les développeurs à intégrer les principes de sécurité dès la conception dans leur travail. La meilleure nouvelle est qu’ils peuvent utiliser les meilleures pratiques existantes pour les aider.

Qu’impliquent les lignes directrices du NCSC ?

Le nouveau document s'adresse aux fournisseurs de tout système contenant de l'IA, qu'ils aient été construits à partir de zéro ou sur des services existants. Ils ont également été approuvés par Amazon, Google, Microsoft et OpenAI, ainsi que par plusieurs autres pays, dont l'ensemble du G7, ainsi que le Chili, la Tchéquie, l'Estonie, Israël, le Nigéria, la Norvège, la Pologne, Singapour et la Corée du Sud. Les lignes directrices sont divisées en quatre sections :

Conception sécurisée

Les considérations à prendre en compte lors de la première étape du développement de l’IA comprennent :

  • Sensibiliser aux menaces et aux risques les scientifiques des données, les développeurs, les hauts dirigeants et les propriétaires de systèmes. Les développeurs devront être formés aux techniques de codage sécurisé et aux pratiques d’IA sécurisées et responsables.
  • Appliquer un « processus holistique » pour évaluer les menaces pesant sur le système d’IA et comprendre l’impact potentiel sur le système et les utilisateurs/la société si l’IA est compromise ou se comporte « de manière inattendue ».
  • Concevez le système en fonction de la sécurité ainsi que de la fonctionnalité et des performances. Cela nécessitera une chaîne d'approvisionnement la gestion des risques, et l'intégration du développement de systèmes logiciels d'IA dans les pratiques sécurisées existantes
  • Comprenez les compromis en matière de sécurité ainsi que les avantages lors du choix d’un modèle d’IA. Le choix de l'architecture du modèle, de la configuration, des données de formation, de l'algorithme de formation et des hyperparamètres doit être effectué en fonction du modèle de menace de l'organisation et régulièrement réévalué.

Développement sécurisé

Au stade du développement, considérez :

  • Évaluation et surveillance de la sécurité de la chaîne d'approvisionnement tout au long du cycle de vie du système d'IA. Les fournisseurs doivent adhérer aux mêmes normes que celles que l'organisation applique à d'autres logiciels.
  • Identifier, suivre et protéger les actifs liés à l'IA, notamment les modèles, les données, les invites, les logiciels, la documentation, les journaux et les évaluations
  • Documenter la création, l'exploitation et la gestion du cycle de vie des modèles, des ensembles de données et des méta-invites
  • Gérer et suivre la dette technique tout au long du cycle de vie du modèle d'IA

Déploiement sécurisé

Au stade du déploiement, regardez :

  • Sécuriser les infrastructures selon les principes des meilleures pratiques, tels que contrôles d'accès pour les API, les modèles et les données, et la ségrégation des environnements contenant du code sensible
  • Protection continue du modèle par les meilleures pratiques contre les accès directs et indirects
  • Développement la gestion des incidents procédures
  • Publier des modèles, des applications ou des systèmes uniquement après une évaluation de sécurité telle que des exercices de l'équipe rouge
  • Implémentation d'une configuration sécurisée par défaut, afin qu'il soit plus facile pour les utilisateurs de faire les bonnes choses

Exploitation et maintenance sécurisées

Au stade opérationnel, le NCSC suggère aux organisations :

Comment un SMSI peut aider

Un système de gestion de la sécurité de l'information (ISMS) peut grandement contribuer à garantir que les systèmes d'IA et leur utilisation d'une organisation sont sécurisés, résilients et dignes de confiance, selon Sam Peters, directeur technique d'ISMS.online. Il affirme que la conformité à la norme ISO 27001 offre une « culture de sécurité de l’information évolutive et descendante » fondée sur une « sécurité axée sur les risques et basée sur les processus », ce qui peut aider les développeurs cherchant à suivre les directives du NCSC.

« La beauté de la norme ISO 27001 est qu'elle définit la sécurité de l'information comme une question de gouvernance organisationnelle », explique Peters à ISMS.online.

« En adoptant cette approche de gouvernance pour la stratégie de sécurité de l’IA, les organisations peuvent être sûres qu’elles peuvent faire évoluer la sécurité de manière durable au lieu de simplement rattraper leur retard. Les équipes savent également clairement quelles sont leurs attentes de base. En fin de compte, cela réduit les risques, même si les systèmes d’IA et leur utilisation deviennent exponentiellement plus complexes.

Peters voit sept domaines clés de croisement entre la norme ISO 27001 et les lignes directrices du NCSC :

Évaluations des risques:

La norme ISO 27001 impose des évaluations régulières des risques liés à la sécurité des informations, qui peuvent aider à découvrir les vulnérabilités, les menaces et les vecteurs d'attaque dans les systèmes d'IA.

Les politiques et les procédures:

Un SMSI nécessite des politiques et des processus complets pour gérer la sécurité. Ceux-ci pourraient être adaptés aux systèmes d’IA et alignés sur les directives du NCSC.

Contrôles d'accès :

Basé sur les rôles les contrôles d'accès et la gestion des privilèges sont requis par l'ISO 27001 et pourrait également aider à restreindre l’accès aux actifs sensibles de l’IA tels que les ensembles de données et les modèles.

Gestion des fournisseurs:

Les exigences ISO 27001 en matière d’audits et d’accords contractuels peuvent aider à gérer les risques dans les relations tierces avec les fournisseurs d’IA.

La gestion des incidents:

La norme ISO comporte également des exigences pour gestion des incidents que les organisations peuvent utiliser pour répondre à la sécurité incidents affectant les systèmes d’IA.

Surveillance de la sécurité:

Les contrôles de journalisation, de surveillance et d'alerte requis pour la conformité à la norme ISO 27001 peuvent aider les organisations à détecter le comportement anormal du système d'IA et à répondre aux incidents.

Sensibilisation et formation à la sécurité :

Les exigences ISO 27001 dans ce domaine peuvent être étendues pour garantir que les principales parties prenantes comprennent les défis de sécurité uniques des systèmes d'IA et restent informées des dernières menaces et des meilleures pratiques.

Les prochaines étapes

"À mesure que les technologies d'IA évoluent et s'intègrent de plus en plus dans les processus quotidiens, le chevauchement entre la sécurité de l'IA et la sécurité de l'information va probablement s'accroître dans des domaines tels que la sécurité des données, la robustesse des modèles, l'explicabilité et la confidentialité - qui s'appuient tous directement sur les fondements de la sécurité de l'information", Peters. conclut.

« Cela nécessitera une approche globale de la sécurité qui tienne compte à la fois des principes traditionnels de sécurité de l’information et des défis uniques posés par les technologies d’IA. »

Les lignes directrices du NCSC seront-elles largement adoptées ? Étant donné qu'ils sont volontaires, il n'y a pas encore de décision à ce sujet. Mais pour toute organisation développant des systèmes d’IA, ils sont fortement recommandés. Mieux vaut consacrer du temps et des efforts dès maintenant à la conception de systèmes sécurisés dès la conception, plutôt que de risquer une grave violation à l'avenir. Un tel incident pourrait coûter bien plus cher à l’organisation pour y remédier et rétablir sa réputation.