Qu’est-ce qu’un token en IA ?
Dans le domaine de l’intelligence artificielle, un « token » est une unité fondamentale de données. Il peut représenter un mot, une partie de mot ou même un caractère individuel dans le traitement du langage naturel. Les modèles d’IA utilisent des tokens pour analyser et générer du texte.