Tokens, modèles de langage et taille des données

Les tokens sont l'unité de base utilisée par les modèles de langage pour diviser et analyser le texte. Leur compréhension est essentielle pour optimiser l'utilisation des LLM, estimer les coûts et adapter les prompts. Cet article explique leur fonctionnement, leur lien avec la taille des données, et leur impact sur les performances des modèles comme Llama, GPT-4 ou Mistral.

⭐ Difficulté : ★★☆☆☆ (2/5)

✅ Accessible : Exemples concrets, comparaisons visuelles.
⚠️ Technique : Notions de tokenisation et d'encodage à assimiler.
🔍 Vocabulaire : Token, vocabulaire, contexte, limite de tokens.

📚 Prérequis recommandés

💻 Notions de base en informatique (octets, UTF-8).
📊 Introduction au NLP (traitement automatique du langage naturel).
🤖 Familiarité avec les LLM (ex : GPT, Llama).
🇬🇧 Anglais technique basique (certains termes ne sont pas traduits).

• Un token est l’unité de base de traitement du texte par un LLM.
• Il ne correspond pas toujours à un mot entier, mais peut être :
  • Une partie de mot (*“aim”*, *“er”*).
  • Un caractère (*“!”*, *“?”*).
  • Un espace ou une ponctuation.
• Exemple pour la phrase *« J’aime Yaoundé ! »* :
  • Llama 3.2 : `[“▁J'”, “’aime”, “▁Yaoundé”, “▁!”]` (4 tokens).
  • GPT-4 : `[“J'”, “’aime”, “ Yaoundé”, “!”]` (4 tokens, encodage différent).

Chaque modèle utilise un vocabulaire (liste de tokens connus) et des règles de découpage propres.

• Exemple : Les apostrophes (J’aime) sont souvent divisées en : J, ’aime.

Conséquence : Le même texte peut générer un nombre différent de tokens selon le modèle.

• 1 mot simple = 1 à 3 tokens (ex : *“chat”* = 1 token, *“chats”* = 2 tokens).
• 1 phrase courte = 10 à 20 tokens.
• 1 paragraphe = 100 à 500 tokens.
• Comparatif pour *« Les modèles de langage transforment le texte en tokens. »* :

• 1 token ≈ 4 octets (en UTF-8).
• 1 Mo = 1 000 000 octets ≈ 250 000 tokens.
• Exemples :

• Chaque modèle a une limite maximale de tokens par requête :

• Conséquence : Un texte dépassant ces limites doit être tronçonné ou résumé.

• Facturation : Les API facturent au token (ex : 0,001 $/1 000 tokens).
  • 1 Mo de texte (250 000 tokens) ≈ 0,25 $ sur certaines plateformes.
• Vitesse : Plus le nombre de tokens est élevé, plus le traitement est lent.

• Tokenizer Openai : Visualisez la tokenisation pour GPT.
• Calculateur de tokens : Outil interactif pour Gemini et OpenAI.

Exemple de code Python afin d'estimer la tokenisation avec le LLM Mistral :

  from transformers import AutoTokenizer
  tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-v0.1")
  tokens = tokenizer("Ton texte ici")
  print(f"Nombre de tokens : {len(tokens['input_ids'])}")

1. Optimiser les prompts : Éviter les répétitions et les phrases trop longues.
2. Compresser les données : Supprimer les espaces ou mots inutiles pour réduire le nombre de tokens.
3. Choisir le bon modèle :
   • Llama 3.2 : Équilibre performance/coût.
   • GPT-4 : Pour des contextes très longs (mais plus cher).
   • Mistral : Efficace pour le français et les tâches courtes.

Texte : « Les tokens sont essentiels pour comprendre comment les modèles de langage comme Llama 3.2, Mistral ou GPT-4 traitent le texte. Chaque modèle a sa propre méthode de tokenisation, ce qui influence le nombre de tokens générés et donc le coût de traitement. »

1. 1 token ≠ 1 mot : Tout dépend du modèle et de la langue.
2. 1 Mo ≈ 250 000 tokens : Utile pour estimer les coûts et les limites.
3. Choix du modèle : À adapter selon la taille du texte, le budget et la langue.

La tokenisation est le pont invisible entre le langage humain et la compréhension machine. Bien la maîtriser, c’est optimiser chaque interaction avec un LLM.

• Attention Is All You Need – Vaswani et al. (2017)
• Hugging Face – Tokenizers
• OpenAI – Tokenization Guide
• Llama 3.2 Technical Report – Meta AI (2024)
• Mistral 7B Announcement – Mistral AI (2023)