Inférence & performance
VRAM
Mémoire dédiée d’un accélérateur graphique, utilisée notamment pour les paramètres et états de calcul.
Comprendre la notion
Le besoin ne se limite pas à la taille des poids du modèle. Les activations, caches et buffers occupent aussi de la mémoire selon la configuration.
Exemple d’utilisation
Un modèle chargé laisse une capacité variable pour les requêtes concurrentes.
Point de vigilance
Faire tenir les poids ne garantit pas que la charge souhaitée sera supportée.
