IA : fiabilité
Injection d’instructions (prompt injection)
Tentative de faire dévier un système d’IA en introduisant des instructions dans un contenu qu’il traite.
Comprendre la notion
Les instructions peuvent provenir d’un document, d’une page ou d’un message externe. Le système doit distinguer ces données des autorisations de l’utilisateur. Limiter les outils et les effets possibles réduit l’impact d’un échec.
Exemple d’utilisation
Un document tente d’imposer l’envoi de son contenu à une adresse externe.
Point de vigilance
Une consigne au modèle ne remplace pas les contrôles d’accès de l’application.
