Cloud & sécurité
LLMOps
Le LLMOps applique des pratiques d’exploitation aux applications fondées sur des modèles de langage.
Comprendre la notion
Il couvre notamment les versions de prompts, les sources documentaires, les modèles, les évaluations et les coûts. Une réponse dépend de plusieurs composants ; conserver cette configuration permet d’expliquer une régression. Les traces doivent être utiles au diagnostic tout en limitant l’exposition des données des utilisateurs.
Exemple d’utilisation
Après un changement de modèle, l’équipe rejoue ses cas de référence avant d’ouvrir la nouvelle version aux clients.
Point de vigilance
Mesurer uniquement la disponibilité masque les réponses fausses, les citations incorrectes ou les dépenses excessives.
