Ce n’est un secret pour personne : pour faire fonctionner ChatGPT, l’entreprise OpenAI a préalablement dû bâtir le « moteur ». C’est ce que l’on appelle un modèle de langage. Quand le célèbre chatbot a été lancé fin novembre 2022, il s’est d’abord appuyé le modèle de langage appelé GPT-3.5. Puis, depuis la mi-mars 2023, il peut convoquer GPT-4, via un abonnement payant.
Les modèles de langage successifs construits par OpenAI sont entraînés à partir de données amassées sur le web, par exemple, venant de l’encyclopédie Wikipédia ou du site communautaire Reddit. Pour avoir un ordre d’idée, GPT-2 repose sur 40 Go de texte. GPT-3 sur 570 Go. Quant à GPT-4, l’information est tenue secrète, mais le corpus est vraisemblablement plus vaste encore.
Il existe bien des modèles de langage, dont certains entrent dans la catégorie des grands modèles de langage (Large Language Models ou LLM). Outre GPT, on peut citer BERT et LaMDA de Google, Chinchilla de DeepMind, Claude d’Anthropic ou encore LLaMA de Meta. Bloomberg a même sorti le sien, spécialisé dans le secteur financier : BloombergGPT.
Le point commun de ces différents LLM est de s’appuyer sur des données tirées du web. Une approche ignorée par des scientifiques rattachés à l’Institut supérieur coréen des sciences et technologies (KAIST) et des employés de la société S2W Inc, spécialisée dans l’analyse des données de cybersécurité pour le renseignement sur les cybermenaces.
Un modèle de langage entraîné sur le dark web
Au lieu de créer son modèle de langage à partir de données tirées du web, l’équipe a voulu en concevoir un uniquement entraîné à partir des informations provenant du « dark web ». Il s’agit d’un pan du réseau qui n’est pas accessible normalement avec son navigateur web et que les moteurs de recherche classiques, comme Google ou Bing, n’indexent pas.
Cela a donné naissance au projet DarkBERT, un nom justement inspiré d’un des projets de Google. BERT, acronyme de « Bidirectional Encoder Representations from Transformers », est un chantier lancé par l’entreprise américaine pour mieux saisir le sens et le contexte d’un mot, en examinant ce qu’il y a avant et après. C’est, selon la société, clé pour comprendre l’intention d’une recherche.
Avec U-Cyber 360°, la société française Mailinblack vous permet de protéger votre organisation et d’éduquer vos collaborateurs à la cybersécurité.
Du gestionnaire de mots de passe à la sécurisation des e-mails en passant par la formation continue ou les simulations d’attaques, cette solution regroupe tous les outils pour prévenir les risques cyber.
Comme le projet a été pensé pour le dark web, c’est donc logiquement qu’il a été appelé DarkBERT. Le dark web est parfois décrit comme le « côté obscur », le « côté sombre » du net. Des logiciels particuliers sont requis pour y accéder, car le dark web n’existe que sur des darknets, c’est-à-dire des réseaux superposés à Internet. Tor et Freenet sont des darknets.
Les scientifiques ont partagé leurs travaux dans une publication sur le site arXiv, dans le cadre de la politique de pré-publication de la plateforme — l’étude n’a pas été évaluée par des spécialistes du domaine ni publiée dans une revue reconnue. Elle est disponible depuis le 15 mai 2023 sous le titre « DarkBERT: A Language Model for the Dark Side of the Internet ».
Dans l’exposé des motifs, l’équipe derrière DarkBERT explique avoir voulu produire un modèle de langage spécifiquement taillé pour le dark web, parce que les études à son sujet « nécessitent généralement une analyse textuelle ». Ce modèle a donc été pré-entraîné sur un certain volume de données (5,83 Go de texte brut et 5,2 Go de texte pré-traité).
Un exercice qui a ses limites et posé des difficultés
Pour permettre à DarkBERT de s’adapter au langage utilisé dans le dark web, il a fallu pré-entraîner le modèle sur un corpus dark web à grande échelle collecté en parcourant le réseau Tor. Ce corpus a été nettoyé, notamment « pour répondre aux préoccupations éthiques potentielles dans les textes liés à des informations sensibles ».
L’équipe reconnaît d’ailleurs que la question des données personnelles n’est pas la seule difficulté rencontrée. Il a fallu aussi se contenter d’un travail uniquement sur des contenus en anglais, même si elle imagine déjà un DarkBERT polyglotte — ce qui nécessitera d’aspirer de nouvelles données en fonction des langues ciblées. L’anglais reste toutefois majoritaire dans le dark web.
Autre risque qu’il a fallu prendre en compte : la collecte de contenus relevant par exemple du Code pénal. Les chercheurs évoquent spécifiquement la pornographie infantile, un crime auquel ils ont pu échapper en paramétrant la collecte à du contenu texte exclusivement, ce qui a écarté mécaniquement les fichiers (vidéos, photos, etc.).
Résultat ? « Nos évaluations montrent que DarkBERT surpasse les modèles de langage actuels et peut servir de ressource précieuse pour les recherches futures sur le dark web », assurent les signataires de l’étude. L’équipe dit avoir testé son outil face à d’autres modèles de langage répandus, mais aussi face à BERT, qui a été entraîné sur le web de surface, le web visible.
Il existe une version débridée de ChatGPT, appelée DAN (Do Anything Now). Il est présenté comme son jumeau maléfique, accessible, dit-on, en « jailbreakant » le chatbot.
Reste une interrogation : pourquoi avoir développé un modèle de langage de ce type ? Est-ce pour créer une alternative corrompue de ChatGPT, qui livrerait des réponses inconvenantes ou même franchement illicites ? On associe souvent au dark web l’image d’un lieu sulfureux et interlope, où l’on parle de sexe, de drogue, d’arme à feu, de piratage, de virus et de toutes sortes de crimes et délits.
C’est tout le contraire. Les chercheurs le voient comme un outil pensé pour servir le « bien » et avoir une meilleure vue de ce qui s’y passe. « Nous présentons des cas d’utilisation potentiels pour illustrer les avantages de l’utilisation de DarkBERT dans des tâches liées à la cybersécurité telles que la détection de discussions sur le dark web et la détection de ransomwares ou de fuites. »
Il s’agit d’un premier jet, en attendant des évolutions. « Nous prévoyons d’améliorer les performances des modèles de langage pré-entraînés spécifiques au domaine du dark web en mobilisant des architectures plus récentes », disent-ils en conclusion. À terme, l’outil pourrait être ajusté pour parcourir beaucoup plus vite et beaucoup plus souvent le dark web, pour repérer tôt certains périls.
Le Batman de l’IA, en somme : il plonge dans les ténèbres pour que vous n’ayez pas à le faire.
Si jamais vous ne voulez pas d’une dark IA, mais d’un assistant classique, sachez qu’il existe de nombreuses alternatives gratuites et en français à ChatGPT. Mieux que DarkBERT pour prévoir ses vacances.
Vous cherchez à saisir les dernières avancées dans l’IA ? Vous voulez décrypter les concepts et les acronymes de l’intelligence artificielle ? Vous vous demandez ce qui va arriver après ChatGPT et Midjourney ? Pour cela, une seule adresse pour être à jour : notre newsletter gratuite, Artificielles :
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Abonnez-vous à Numerama sur Google News pour ne manquer aucune info !
