Attention des LLM : le mirage de l’interprétabilité
Contenu de l'épisode
Peut-on réellement se fier aux cartes d’attention pour percer la boîte noire des modèles d’IA ? Une étude récente démontre qu’un indicateur d’attention poussé à 99,5 % de son plafond théorique coïncide avec un effondrement des capacités de raisonnement. Une mise en garde capitale contre le piège d’optimiser la mise en scène interne plutôt que la performance réelle.
#modeles #meta-evergreen #interpretabilite #benchmark #recherche