Long contexte : trop de texte ou trop de preuves rivales ?
Contenu de l'épisode
Quand un modèle se trompe dans un long document, est-ce vraiment la faute du nombre de tokens ? Une étude menée sur 126 473 essais montre que du texte neutre jusqu'à 32K tokens laisse la précision quasi intacte, tandis qu'une seule affirmation rivale fait exploser l'erreur. Avant de sabrer dans vos fenêtres de contexte, découvrez comment distinguer un problème de volume d'un conflit de preuves.
#modeles #meta-evergreen #longcontexte #attention #diagnostic