Distillation d’agents : copier l’expert détruit leurs scores
Contenu de l'épisode
Copier les raisonnements des plus grands modèles semblait être la voie royale pour concevoir des agents IA légers et rentables. Une étude récente prouve l’inverse : sur des tâches complexes, cette imitation entraîne une chute de performance pouvant atteindre 30 points. Pourquoi vouloir singer l’expert désynchronise le petit modèle de ses outils, et quelle méthode permet d’éviter ce piège ?
#modeles #meta-volatile #distillation #agents