Brièvement: Alors qu’une grande partie du monde commence à utiliser des chatbots IA, leurs implications en matière de sécurité suscitent des inquiétudes. L’un de ces avertissements provient du National Cyber Security Center (NCSC) du Royaume-Uni, qui a mis en évidence certains problèmes potentiels liés à la variante ChatGPT.
Le NCSC, qui fait partie de l’agence de renseignement britannique GCHQ, a publié un poste Mardi, nous nous plongerons dans les mécanismes de l’IA générative. Il déclare que si les grands modèles de langage (LLM) sont sans aucun doute impressionnants, ils ne sont pas magiques, ils ne sont pas une intelligence générale artificielle et ils présentent de graves défauts.
Le NCSC écrit que les LLM peuvent se tromper et “halluciner” des faits incorrects, comme nous l’avons vu avec Google’s Bard pendant le chatbot première démo. L’agence écrit qu’ils peuvent être biaisés et souvent crédules, par exemple lorsqu’ils répondent à des questions suggestives ; ils nécessitent d’énormes ressources informatiques et d’énormes données pour s’entraîner à partir de rien ; et peuvent être persuadés de créer un contenu toxique et sont sujets à attaques par injection.
Cependant, le gros problème est que les requêtes sensibles des utilisateurs sont visibles pour le fournisseur – OpenAI dans le cas de ChatGPT – et peuvent être utilisées pour former les futures versions des chatbots. Un exemple de questions sensibles serait quelqu’un qui pose des questions révélatrices sur la santé ou les relations. Une autre situation hypothétique est lorsque le PDG demande quelle est la meilleure façon de licencier un employé.
Amazon et JPMorgan ne sont que deux entreprises qui ont conseillé à leurs employés de ne pas utiliser ChatGPT en raison de craintes que des informations sensibles ne soient divulguées.
Un autre risque est la possibilité que des requêtes stockées, qui peuvent inclure des informations personnellement identifiables, soient piratées, divulguées ou accidentellement rendues publiques. Il existe également un scénario où l’opérateur LLM est repris par une autre organisation avec une approche moins stricte en matière de confidentialité.
Indépendamment des problèmes de confidentialité, le NCSC souligne la capacité de LLM à aider les cybercriminels à écrire des logiciels malveillants au-delà de leurs capacités. C’est quelque chose dont nous avons entendu parler en janvier lorsque des chercheurs en sécurité découvert ChatGPT est utilisé dans les forums sur la cybercriminalité en tant qu’outil « éducatif » et plate-forme de création de logiciels malveillants. Un chatbot pourrait également être utilisé pour répondre à des questions techniques sur le piratage ou l’élévation de privilèges.
“Les individus et les organisations doivent faire très attention aux données qu’ils choisissent de soumettre lors des appels. Vous devez vous assurer que ceux qui souhaitent expérimenter le LLM peuvent expérimenter, mais d’une manière qui ne compromet pas les données organisationnelles”, a écrit le NCSC.
Dans des nouvelles connexes, il a été récemment révélé que les cybercriminels utilisent Personnalités générées par l’IA pour diffuser des logiciels malveillants sur YouTube.
Mentions légales : Emiliano Vittoriosi
