Inférence & performance
GPU — processeur graphique
Le GPU est un processeur conçu pour exécuter de nombreux calculs en parallèle, utilisé notamment pour les graphismes et certains traitements d’IA.
Comprendre la notion
L’entraînement et l’inférence de réseaux de neurones peuvent bénéficier de cette architecture. Le choix dépend de la mémoire disponible, des opérations supportées et du logiciel utilisé. Une startup doit comparer le débit réellement obtenu et le coût total, plutôt que la seule puissance annoncée.
Exemple d’utilisation
Une équipe mesure combien de documents son modèle traite par heure sur plusieurs configurations avant de réserver une capacité.
Point de vigilance
Un GPU plus puissant ne résout pas un goulot d’étranglement lié aux données, au réseau ou à la mémoire.
