Se connecter

Token IA : c'est quoi ?

Un token, en IA, c'est un petit morceau de texte, car l'IA casse votre phrase en morceaux, et un mot long ou rare en fait plusieurs. Une IA ne regarde qu'un nombre limité de morceaux à la fois, alors un texte court passe mieux, et un gros document se donne en plusieurs fois.

Le texte de la vidéo

Ce qu’Indiana dit dans la vidéo, mot pour mot.

Vous collez un très long document dans une IA. Elle vous répond qu'il est trop long. Ou vous lisez un article qui parle de tokens. Ce mot revient partout. Un token, c'est un petit morceau de texte. Pensez à une tablette de chocolat. Avant de lire votre phrase, l'IA la casse en petits carrés. Elle ne lit pas lettre par lettre. Elle ne lit pas vraiment mot par mot non plus. Un mot court et courant fait souvent un seul carré. Un mot long ou rare est coupé en plusieurs. Anticonstitutionnellement, par exemple, sera coupé en plusieurs morceaux. La ponctuation compte aussi. Et quand l'IA vous répond, elle écrit morceau par morceau. C'est pour ça que vous voyez le texte apparaître par petits bouts. Pourquoi ça vous concerne ? Pour deux raisons. La première, c'est la longueur. Une IA ne peut regarder qu'un nombre limité de morceaux à la fois. C'est cette limite qui fait refuser un document trop long. C'est elle aussi qui fait oublier le début d'une très longue conversation. La deuxième raison, c'est l'argent. Les entreprises qui branchent une IA dans leur propre logiciel paient au morceau. Un peu comme l'électricité, au compteur. Dans ChatGPT, Claude ou Gemini, avec la version gratuite ou un abonnement, vous ne voyez pas ce compteur. Mais il existe, derrière les limites de longueur. Pour vous, ça veut dire qu'un texte plus court passe mieux. Un très gros document se donne en plusieurs fois. Quand vous lirez le mot token, vous saurez qu'on parle de longueur, et souvent d'argent.