Peu d'entreprises peuvent à elles seules effacer 1 XNUMX milliards de dollars de capitalisation boursière du marché boursier américain. Pourtant, c'est précisément ce que fait une start-up chinoise d'IA. DeepSeek géré Fin janvier, après avoir lancé un nouveau modèle censé fonctionner à un coût bien inférieur à celui d'OpenAI et obtenir des résultats similaires. Depuis, les marchés se sont redressés et de graves problèmes de sécurité et de confidentialité liés au modèle de langage étendu (LLM) DeepSeek-R1 et à l'application front-end de l'entreprise ont été signalés.

Mais avant que les RSSI ne haussent les épaules et ne passent à autre chose, remettons les choses en contexte. Ce n'est pas parce que la technologie de DeepSeek est qualifiée de « à haut risque » que les autres modèles sont totalement irréprochables. Les équipes de sécurité pourraient avoir besoin de normes de bonnes pratiques pour les aider à gérer les risques dans ce secteur en constante évolution.

Quel est le problème avec DeepSeek ?

Selon un élément de rechercheDeepSeek-R1 présente deux problèmes principaux :

 

  • Il est vulnérable au « jailbreaking » Par injection d'invites. Autrement dit, en saisissant des invites spécifiques, les utilisateurs peuvent contourner les garde-fous de sécurité intégrés par les développeurs de DeepSeek, ce qui produit des résultats contraires à l'éthique et carrément dangereux. Par exemple, lorsque les chercheurs de Kela ont incité le LLM à adopter une personnalité « maléfique », libre de toute contrainte éthique ou de sécurité, celui-ci s'est contenté de fournir un script malveillant de vol d'informations, des suggestions sur les marchés de la cybercriminalité à visiter, et même des conseils pour créer un drone suicide.
  • Il est sujet aux « hallucinations » – par exemple, en fournissant, lorsqu’on le lui demandait, une liste d’informations personnelles sur les employés seniors d’OpenAI, ce qui était faux

Une étude distincte de EnkryptAI confirme que DeepSeek est susceptible de diffuser de la désinformation et du contenu préjudiciable. Il affirme que le modèle est :

  • 3x plus biaisé que Claude-3 Opus
  • 4 fois plus vulnérable à la génération de code non sécurisé que O1 d'OpenAI
  • 4x plus toxique que le GPT-4o
  • 11 fois plus susceptible de générer des résultats nuisibles par rapport à OpenAI O1
  • 3.5 fois plus susceptible de produire du contenu chimique, biologique, radiologique et nucléaire (CBRN) que OpenAI O1 et Claude-3 Opus

Des inquiétudes supplémentaires concernant la sécurité de l'infrastructure back-end de DeepSeek sont apparues après qu'un fournisseur de sécurité découvert une base de données accessible au public appartenant à l'entreprise, exposant des données hautement sensibles, notamment des flux de journaux, des secrets d'API et des détails opérationnels.

Analyse séparée SecurityScorecard révèle une série de problèmes de sécurité et de confidentialité avec l'application Android DeepSeek, notamment :

  • Sécurité faible, comme des clés de chiffrement codées en dur, des algorithmes cryptographiques faibles et des risques d'injection SQL
  • Collecte de données trop large sur les utilisateurs, y compris les entrées, les détails de l'appareil et les modèles de frappe, qui sont tous stockés sur des serveurs en Chine
  • Partage de données non divulguées avec des entreprises publiques chinoises et la société mère de TikTok, ByteDance, et politiques de confidentialité vagues

Techniques anti-débogage qui sont généralement déployées pour entraver l'analyse de sécurité.

Lever le voile sur les risques liés au LLM

Cependant, même si les modèles concurrents comme celui d’OpenAI sont considérés comme beaucoup plus sûrs, il serait insensé de supposer que les risques mis en évidence par DeepSeek-R1 ne sont pas présents ailleurs.

« L'incident DeepSeek ne doit pas être exploité comme une excuse pour oublier subitement les violations graves et les risques liés à l'IA posés par d'autres fournisseurs de GenAI. Sinon, nous oublions la forêt », affirme Ilia Kolochenko, PDG d'ImmuniWeb, associé en cybersécurité chez Platt Law et professeur à l'Université Capitol Technology.

Que les organisations utilisent un LLM tiers comme DeepSeek ou qu'elles en développent ou en peaufinent un en interne, elles doivent être conscientes de l'augmentation de la surface d'attaque de l'entreprise. Les points de risque potentiels incluent le modèle lui-même, les données sur lesquelles il est entraîné, les API, les bibliothèques open source tierces, les applications front-end et l'infrastructure cloud back-end.

L'OWASP a compilé a Top 10 des candidatures pour un LLM Liste des principaux problèmes de sécurité, dont certains ont impacté DeepSeek. Les voici :

  1. Vulnérabilités d'injection rapide qui peut être exploité en créant des entrées spécifiques pour modifier le comportement du modèle, en contournant les fonctions de sécurité.
  2. Divulgation d'informations sensibles qui peuvent inclure des secrets d’entreprise ou des données clients.
  3. Vulnérabilités de la chaîne d’approvisionnement, tels que des bugs dans les composants open source, qui pourraient être exploités pour créer des sorties inattendues, voler des données sensibles ou provoquer une défaillance du système.
  4. Empoisonnement des données et des modèles, où les données de pré-formation, de réglage fin ou d'intégration sont manipulées pour introduire des vulnérabilités, des portes dérobées ou des biais.
  5. Mauvaise gestion des sorties, résultant d'une validation, d'une désinfection et d'une manipulation insuffisantes, pouvant conduire à des hallucinations ou introduire des vulnérabilités de sécurité.
  6. Agence excessive découle d'une fonctionnalité, d'autorisations et/ou d'une autonomie excessives et pourrait conduire à une multitude de conséquences négatives, notamment des violations et des problèmes de conformité.
  7. Fuite rapide du système, ce qui se produit lorsque les invites du système contiennent des informations sensibles, permettant aux attaquants d'exploiter ces informations.
  8. Faiblesses du vecteur et de l'intégration sont spécifiques aux systèmes LLM utilisant la génération augmentée de récupération (RAG) et pourraient être exploités pour injecter du contenu nuisible, manipuler les sorties de modèles ou accéder à des informations sensibles.
  9. Désinformation, qui découle en grande partie d’hallucinations.
  10. Consommation sans limite, qui découle de « déductions excessives et incontrôlées » et pourrait conduire à un déni de service.

La norme ISO 42001 peut-elle aider ?

La bonne nouvelle est que les RSSI qui cherchent à exploiter la puissance des LLM au sein de leurs opérations et/ou à les proposer à leurs clients peuvent le faire d’une manière qui atténue ces risques, grâce à une nouvelle norme révolutionnaire. ISO 42001 Fournit un cadre pour établir, mettre en œuvre, maintenir et améliorer continuellement un système de gestion de l'IA (SGIA). Couvrant l'ensemble du cycle de vie des systèmes d'IA, il aide les organisations à :

  • Intégrer des principes éthiques dans l'IA pour éviter les biais et respecter les droits de l'homme
  • Accroître la transparence des systèmes et algorithmes d’IA afin de favoriser la confiance et la responsabilité
  • Identifier, évaluer et atténuer les risques tels que ceux mis en évidence par l'OWASP et trouvés dans DeepSeek
  • Améliorer la conformité en alignant les opérations d'IA sur les cadres juridiques et réglementaires existants
  • Favoriser une culture d'amélioration continue dans la gestion des systèmes d'IA

Kolochenko explique à ISMS.online que ces normes ne sont pas une panacée mais peuvent servir un objectif précieux.

« La nouvelle norme ISO 42001 apportera certainement de la valeur pour combler le vide réglementaire dans le domaine de l’IA, même si les incidents impliquant l’IA – y compris les plus graves – continueront probablement à croître de manière exponentielle », soutient-il.

Corian Kennedy, responsable senior des analyses et de l'attribution des menaces chez SecurityScorecard, va plus loin.

« Les normes ISO 42001 et ISO 27001 fournissent toutes deux des cadres de gouvernance et de sécurité qui aident à atténuer les risques liés aux applications tierces non sécurisées comme DeepSeek et aux LLM à haut risque, qu'elles soient externes ou créées en interne », explique-t-il à ISMS.online.

« Ensemble, ils contribuent à réduire les risques liés aux modèles d'IA non sécurisés en appliquant une gouvernance stricte, en renforçant la conformité réglementaire pour empêcher l'exposition non autorisée des données et en sécurisant les systèmes d'IA internes avec des contrôles d'accès, un cryptage et une diligence raisonnable des fournisseurs. »

Cependant, Kennedy souligne que même si la norme ISO 42001 peut fournir une « base solide pour la sécurité, la confidentialité et la gouvernance de l’IA », elle peut manquer de risque commercial contextuel.

« Il incombe donc aux acteurs de la cyberdéfense de mettre en œuvre des contrôles supplémentaires en fonction du contexte des menaces et en soutien à l’entreprise », soutient-il.