Inférence & performance
Cache
Un cache conserve temporairement un résultat ou une donnée afin d’éviter de refaire un traitement ou un accès coûteux.
Comprendre la notion
La clé, la durée de validité et les règles d’invalidation déterminent sa fiabilité. Pour une application d’IA, les versions de modèle, les permissions et le contexte peuvent faire partie de la clé. Un cache partagé doit empêcher qu’un utilisateur reçoive une donnée réservée à un autre.
Exemple d’utilisation
Une application conserve brièvement une information publique souvent consultée et la rafraîchit après expiration.
Point de vigilance
Le gain de vitesse doit être mis en balance avec le risque de servir un résultat périmé ou mal isolé.
