IA : modèles
Token
Unité de représentation utilisée par un modèle pour découper une entrée ou construire une sortie.
Comprendre la notion
Un token peut correspondre à un mot, une partie de mot ou un élément de ponctuation. Le découpage dépend du tokenizer ; la longueur d’un texte en mots ne permet donc pas de calculer exactement son nombre de tokens.
Exemple d’utilisation
Un nom technique rare peut être découpé en plusieurs unités.
Point de vigilance
Comparer les coûts exige de connaître le comptage réellement appliqué.
