IA : modèles
Distillation de modèle
La distillation entraîne un modèle à reproduire certains comportements ou sorties d’un autre modèle, souvent plus volumineux.
Comprendre la notion
L’objectif peut être de réduire le coût ou la latence pour une tâche délimitée. Le jeu d’exemples et les critères d’évaluation doivent représenter l’usage réel. Le modèle obtenu peut être performant sur un périmètre étroit tout en perdant des capacités générales.
Exemple d’utilisation
Un classificateur compact apprend à traiter les catégories fréquentes, tandis que les cas incertains restent orientés vers un système plus complet.
Point de vigilance
Vérifier les droits et conditions d’utilisation des sorties utilisées pour l’apprentissage, ainsi que les erreurs transmises par le modèle enseignant.
