ChatGPT et grands modèles de langage : quels risques ?

Les modèles linguistiques à grande échelle (LLM) et les chatbots IA ont suscité un intérêt mondial en raison de la sortie de ChatGPT fin 2022 et de la commodité des requêtes qu'il offre. Il s'agit désormais de l'une des applications grand public connaissant la croissance la plus rapide de tous les temps, et sa popularité incite de nombreux concurrents à développer leurs propres services et modèles, ou à déployer rapidement ceux qu'ils ont développés en interne.

Comme pour toute technologie émergente, il existe toujours des inquiétudes quant à ce que cela signifie pour la sécurité. Ce blog a récemment examiné certains des aspects de cybersécurité de ChatGPT et LLM de manière plus générale.

Qu'est-ce que ChatGPT et que sont les LLM ?

ChatGPT est un chatbot d'intelligence artificielle développé par la startup technologique américaine OpenAI. Il est basé sur GPT-3, un modèle de langage publié en 2020 qui utilise l'apprentissage en profondeur pour générer un texte de type humain, mais la technologie LLM sous-jacente existe depuis longtemps.

Le LLM est l'endroit où les algorithmes sont formés sur de grandes quantités de données textuelles, souvent extraites de l'Internet ouvert, couvrant ainsi des pages Web et – selon le LLM – d'autres sources telles que la recherche scientifique, des livres ou des publications sur les réseaux sociaux. couvre une si grande quantité de données qu'il est impossible de filtrer tout contenu répréhensible ou inexact lors de l'ingestion, de sorte que le contenu « controversé » est susceptible d'être inclus dans ses modèles.

Ces algorithmes analysent les relations entre différents mots et les convertissent en modèles probabilistes. L'algorithme peut alors recevoir un « indice » (par exemple, en lui posant une question) et il fournira une réponse basée sur les relations des mots dans son modèle.

Généralement, les données de son modèle sont statiques après la formation, bien qu'elles puissent être améliorées grâce à un « réglage fin » (formation sur des données supplémentaires) et à une « augmentation d'indices » (fournissant des informations contextuelles sur le problème). Un exemple d'amélioration d'invite pourrait être :

En tenant compte des informations ci-dessous, comment décririez-vous...

Copier ensuite une quantité potentiellement importante de texte (ou l'intégralité du document) dans l'invite/la question.

ChatGPT permet effectivement aux utilisateurs de poser des questions LLM comme vous le feriez dans une conversation avec un chatbot. D'autres exemples récents de LLM incluent les annonces de Bard de Google et de LLaMa de Meta (pour les articles scientifiques).

Les LLM sont sans aucun doute impressionnants en raison de leur capacité à générer une richesse de contenu convaincant dans une variété de langages humains et informatiques. Cependant, ils ne sont pas magiques, ni d'intelligence artificielle générale, et contiennent de sérieux défauts, notamment :

• Ils peuvent se tromper et "halluciner" des faits incorrects
• Ils peuvent être biaisés et souvent crédules (par exemple en réponse à la question principale)
• Ils nécessitent d'énormes ressources informatiques et d'énormes quantités de données pour s'entraîner à partir de zéro
• Ils peuvent être incités à créer du contenu toxique et sont vulnérables aux "attaques par injection"

LLM divulguera-t-il mes informations ?

Une préoccupation courante est que LLM pourrait « apprendre » de vos invites et fournir ces informations à d'autres personnes qui interrogent du contenu connexe. Il y a ici quelques raisons de s’inquiéter, mais pas pour les raisons évoquées par beaucoup de gens. Actuellement, un LLM est formé puis le modèle résultant est interrogé. LLM n'ajoute pas (au moment de la rédaction) automatiquement les informations d'une requête à son modèle pour que d'autres puissent les interroger. Autrement dit, l’inclusion d’informations dans une requête n’entraînera pas l’incorporation de ces données dans le LLM.

Cependant, la requête sera visible par l'organisation fournissant le LLM (pour ChatGPT, également pour OpenAI). Ces requêtes sont stockées et seront presque certainement utilisées à un moment donné pour développer un service ou un modèle LLM. Cela peut signifier que le fournisseur LLM (ou ses partenaires/sous-traitants) est capable de lire les requêtes et éventuellement de les intégrer d'une manière ou d'une autre dans les versions futures. Par conséquent, vous devez bien comprendre les conditions d’utilisation et la politique de confidentialité avant de poser des questions sensibles.

Une question peut être sensible en raison des données contenues dans la requête, ou en raison de qui (et quand) a posé la question. Par exemple, s'il est découvert que le PDG a demandé « Quelle est la meilleure façon de licencier un employé ? », ou si quelqu'un a posé des questions révélatrices sur sa santé ou ses relations. N'oubliez pas non plus d'utiliser le même identifiant pour regrouper les informations sur plusieurs requêtes.

Un autre risque qui augmente à mesure que de plus en plus d'organisations produisent des LLM est que les requêtes stockées en ligne puissent être piratées, divulguées ou, plus probablement, rendues accidentellement accessibles au public. Cela peut inclure des informations potentiellement permettant d'identifier l'utilisateur. Un autre risque est que l'opérateur du LLM soit racheté ultérieurement par une organisation qui adopte une approche différente en matière de confidentialité que lorsque l'utilisateur a saisi ses données.

Par conséquent, le NCSC recommande :

• N'incluez pas d'informations sensibles dans les requêtes adressées aux LLM publics
• Ne soumettez pas de requêtes aux LLM publics qui pourraient causer des problèmes

Comment puis-je fournir en toute sécurité des informations sensibles à un LLM ?

Avec l'essor du LLM, de nombreuses organisations se demandent peut-être si elles peuvent utiliser le LLM pour automatiser certaines tâches commerciales, ce qui peut impliquer de fournir des informations sensibles via un réglage précis ou une augmentation juste à temps. Bien que cette approche ne soit pas recommandée pour les LLM publics, un « LLM privé » peut être fourni par un fournisseur de cloud (par exemple), ou peut être entièrement auto-hébergé :

• Pour les LLM fournis dans le cloud, conditions d'utilisation et politique de confidentialité sont encore une fois essentiels (comme pour un LLM public), mais sont plus susceptibles de se conformer aux conditions existantes du service cloud. Les organisations doivent comprendre comment gérer les données utilisées pour un réglage précis ou une augmentation rapide. Les chercheurs ou partenaires de l'éditeur peuvent-ils l'utiliser ? Si oui, sous quelle forme ? Les données sont-elles partagées individuellement ou globalement avec d’autres organisations ? Dans quelles circonstances les employés du fournisseur peuvent-ils consulter la requête ?
• Le LLM auto-hébergé peut être très coûteux. Cependant, après une évaluation de sécurité, ils peuvent convenir au traitement des données organisationnelles. Les organisations doivent en particulier se référer à nos conseils sur la protection des infrastructures et des chaînes d’approvisionnement de données.

Les LLM facilitent-ils la vie des cybercriminels ?

Il y a eu des démonstrations incroyables de la façon dont LLM peut aider à écrire des logiciels malveillants. Le problème est que LLM pourrait aider des individus malveillants (mais non qualifiés) à créer des outils qu’ils ne pourraient pas déployer autrement. Dans leur état actuel, les LLM semblent convaincants (qu’ils le soient ou non) et sont adaptés à des tâches simples plutôt qu’à des tâches complexes. Cela signifie que le LLM peut être utilisé pour « aider les experts à gagner du temps », car les experts peuvent vérifier les résultats du LLM.

Pour des tâches plus complexes, il est actuellement plus facile pour les experts de créer des logiciels malveillants à partir de zéro plutôt que de passer du temps à corriger ce que LLM génère. Cependant, les experts capables de créer de puissants logiciels malveillants pourraient bien réussir à inciter LLM à écrire de puissants logiciels malveillants. Le compromis entre « utiliser LLM pour créer des logiciels malveillants à partir de zéro » et « valider les logiciels malveillants créés par LLM » changera à mesure que LLM s'améliorera.

Vous pouvez également demander conseil à LLM sur des questions techniques. Les criminels peuvent utiliser LLM pour mener des cyberattaques au-delà de leurs capacités actuelles, en particulier une fois que l'attaquant a accédé au réseau. Par exemple, si un attaquant cherche à élever ses privilèges ou à trouver des données, il peut demander à LLM et recevoir une réponse différente de celle des résultats du moteur de recherche, mais avec plus de contexte. Les LLM actuels fournissent des réponses qui semblent convaincantes mais qui peuvent n'être que partiellement correctes, d'autant plus que le sujet devient plus spécialisé. Les réponses peuvent aider les criminels à mener des attaques qu’ils ne pourraient pas mener autrement, ou elles peuvent suggérer des actions pour accélérer la détection des criminels. Dans tous les cas, les requêtes de l'attaquant peuvent être stockées et conservées par l'opérateur LLM.

Étant donné que LLM excelle dans la copie de styles d'écriture à la demande, il existe un risque que les criminels utilisent LLM pour rédiger des e-mails de phishing convaincants, y compris des e-mails dans plusieurs langues. Cela peut aider les attaquants dotés de capacités techniques élevées mais manquant de compétences linguistiques, en les aidant à créer des e-mails de phishing convaincants (ou à mener des opérations d'ingénierie sociale) dans la langue maternelle de la cible.

En résumé, à court terme, nous pourrions voir :

• Des e-mails de phishing plus convaincants grâce au LLM
• Des attaquants essayant des techniques qu'ils ne connaissaient pas auparavant

Des attaquants moins compétents dans l'écriture de fonctionnalités Le risque de malware puissant est également faible.

Résumé

C'est une période passionnante pour LLM, en particulier avec ChatGPT qui capture l'imagination du monde. Comme pour tout développement technologique, il y aura des gens désireux de l’utiliser et d’étudier ce qu’il a à offrir, et d’autres qui ne l’utiliseront peut-être jamais.

Comme nous l'avons souligné ci-dessus, il existe sans aucun doute des risques associés à l'utilisation illimitée d'un LLM public. Les individus et les organisations doivent être extrêmement prudents quant aux données qu’ils choisissent de soumettre dans les invites. Vous devez vous assurer que ceux qui souhaitent essayer le LLM le peuvent, mais sans mettre en danger les données de l'organisation.

NCSC est conscient d'autres menaces (et opportunités) émergentes liées à la cybersécurité et à l'adoption du LLM, et nous vous en informerons bien sûr dans les prochains articles de blog.

David C - Directeur technique de Platform Research Paul J - Directeur technique de Data Science Research

——Compilé à partir du UK NCSC

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!