Évaluation & qualité
Fuite de données en évaluation
Une fuite de données survient lorsque l’entraînement ou la préparation du modèle exploite une information qui ne serait pas disponible au moment de l’usage réel évalué.
Comprendre la notion
Elle peut provenir de doublons entre jeux, de variables calculées après l’événement à prédire ou d’un réglage répété sur le jeu de test. Elle gonfle les scores sans améliorer la capacité à traiter de nouveaux cas. Les séparations par date, client ou document dépendent du scénario visé.
Exemple d’utilisation
Deux versions presque identiques d’un contrat se retrouvent dans l’entraînement et dans le test, donnant une impression de généralisation trompeuse.
Point de vigilance
Une séparation aléatoire des lignes ne suffit pas lorsque plusieurs lignes décrivent la même entité.
