Évaluation & qualité
LLM-as-a-judge
Utilisation d’un modèle de langage pour évaluer une réponse ou comparer plusieurs sorties.
Comprendre la notion
Le juge suit une grille mais peut présenter ses propres biais. Il doit être calibré sur des exemples relus et ses désaccords doivent être examinés.
Exemple d’utilisation
Un évaluateur vérifie le respect de consignes avant une revue humaine ciblée.
Point de vigilance
Un jugement automatique ne devient pas une preuve factuelle par sa formulation assurée.
