Assistant documentaire avec RAG : concevoir une réponse fiable, traçable et mesurable

Ce que le RAG apporte, et ce qu’il ne garantit pas

Le RAG associe une étape de recherche d’informations à la génération d’une réponse. Le système sélectionne des passages et les fournit au modèle avec la question. Ce principe permet d’exploiter un corpus externe sans considérer les connaissances du modèle comme une base documentaire à jour. Le travail de recherche initial de Lewis et ses coauteurs décrit cette combinaison ; il ne constitue pas une certification de fiabilité de chaque application actuelle.

Dans un projet d’entreprise, la réponse peut rester fausse si le passage récupéré est incomplet, obsolète ou mal interprété. Une citation peut être présente sans soutenir l’affirmation. La bonne unité d’évaluation est donc la réponse appuyée par une source autorisée et pertinente, pas simplement un texte accompagné d’un lien.

Pour approfondir : Lewis et al. — Retrieval-Augmented Generation

Préparer un corpus dont on connaît les limites

Inventorier les documents, leurs responsables, leurs dates et leurs droits d’accès. Repérer les versions concurrentes et les fichiers qui ne doivent plus servir de référence. Sans cette étape, l’assistant risque de rendre une information périmée plus facile à trouver et plus convaincante à lire. L’ingestion doit conserver un identifiant stable et la provenance de chaque contenu.

L’extraction de texte demande aussi une vérification. Un tableau peut perdre le lien entre une valeur et son en-tête ; une note de bas de page peut être séparée de sa condition. Préparer quelques documents difficiles permet de mesurer ces défauts avant de les multiplier dans l’index. Les images ou scans nécessitent un traitement adapté, dont les erreurs doivent rester observables.

Concevoir la recherche avant de choisir un modèle plus puissant

Le découpage en passages doit préserver le contexte nécessaire à la réponse. Des fragments trop courts perdent les conditions ; des fragments trop longs ajoutent du bruit. Il n’existe pas une taille optimale universelle : elle dépend de la structure des documents et des questions. Conserver titres, dates et références de section facilite la sélection et l’affichage des preuves.

Une recherche lexicale peut retrouver une référence exacte ; une recherche vectorielle peut rapprocher des formulations différentes. Leur combinaison et un reclassement peuvent être testés sur le corpus. L’ajout d’étapes n’est justifié que si le gain de pertinence compense le coût et la latence. Si le bon passage n’arrive jamais au modèle, améliorer le prompt ne résout pas le problème principal.

Appliquer les permissions avant de transmettre le contexte

L’assistant doit rechercher dans les documents que l’utilisateur a le droit de consulter. Cette autorisation appartient à l’application et à ses services de données. Une consigne demandant au modèle de ne pas divulguer un document n’est pas un contrôle d’accès. Vérifier également les caches, les historiques et les traces qui peuvent contenir les passages récupérés.

Un document peut contenir une instruction qui tente de détourner l’assistant. L’OWASP décrit ce risque de prompt injection, notamment lorsque des contenus externes sont traités comme des instructions. Séparer données et consignes aide à cadrer le système, mais ne remplace pas la limitation des outils et des permissions. Un assistant de consultation ne devrait pas recevoir sans nécessité le pouvoir de modifier les sources.

Pour approfondir : OWASP — prompt injection

Construire une évaluation qui localise les erreurs

Préparer un jeu de questions avec les sources attendues et les conditions d’une réponse acceptable. Inclure des questions sans réponse, des versions contradictoires et des tentatives d’accès hors périmètre. Séparer l’évaluation de la recherche de celle de la rédaction : retrouver le bon passage et l’utiliser correctement sont deux performances différentes.

Noter au minimum la présence de la preuve, la fidélité de la réponse, la qualité des citations et le comportement d’abstention. Un score global peut masquer une faiblesse sur un type de document critique. Conserver les résultats par famille de cas et faire examiner les erreurs importantes par une personne compétente. Les seuils de mise en service doivent découler des conséquences métier des erreurs.

Mesurer le coût du résultat réellement exploitable

Le coût inclut extraction, indexation, recherche, éventuel reclassement, génération et contrôle humain. Les mises à jour du corpus et les réponses longues peuvent modifier la dépense. Définir une unité métier, comme le dossier correctement traité, aide à comparer les options sans se limiter au prix d’un appel au modèle.

Suivre aussi le délai jusqu’au premier résultat et jusqu’à la réponse complète. Un traitement lent mais utile peut convenir à une analyse différée, alors qu’une recherche interactive nécessite une autre expérience. Prévoir une solution de repli : afficher les documents trouvés, signaler l’indisponibilité ou transmettre la demande. Une erreur technique ne doit pas être présentée comme une absence d’information.

Passer du pilote à une exploitation contrôlée

Versionner les documents, les réglages de recherche, les consignes et le modèle utilisé. À chaque changement important, rejouer les cas de référence. Organiser un canal de signalement permettant au lecteur d’indiquer une réponse incorrecte avec son contexte. Les traces doivent aider au diagnostic sans devenir une copie incontrôlée des données consultées.

Commencer par un périmètre limité dont les responsables peuvent entretenir les sources. Un assistant documentaire est un service vivant : les procédures changent, les utilisateurs arrivent et les permissions évoluent. La décision d’élargir doit reposer sur la qualité observée et sur la capacité à maintenir cette chaîne dans le temps.

Pour approfondir : NIST — gestion des risques liés à l’IA