IA : modèles
LoRA
Méthode d’adaptation qui entraîne des mises à jour de faible rang plutôt que l’ensemble des paramètres d’un modèle.
Comprendre la notion
Elle réduit le nombre de paramètres entraînables dans les couches concernées. Les gains de mémoire, de coût et de qualité dépendent de l’implémentation, des couches ciblées et du problème traité.
Exemple d’utilisation
Un adaptateur spécialisé est conservé séparément du modèle de base.
Point de vigilance
Un adaptateur reste lié à une architecture et à une version compatibles.
