Tokenizers et BPB : pourquoi aucune métrique n'est neutre

Une corrélation qui chute de 0,989 à 0,057 suffit à briser le consensus sur la façon de comparer deux découpages de texte. À partir des résultats de l'étude « Tokenizer Myths and Where To Find Them », cet épisode décortique pourquoi le score bits-per-byte favorise certains vocabulaires dès le départ, avant même tout entraînement. Derrière l'analyse chiffrée se dessine un trilemme formel : choisir une métrique de tokenisation, c'est déjà choisir quelle propriété mathématique on accepte de sacrifier.

#modeles #meta-evergreen #tokenizers #metriques #bpb