19.
Inférence & performance
Batching
Regroupement de travaux pour les exécuter ensemble et mieux utiliser certaines ressources.
Le lexique du dirigeant
AccueilLe lexique du dirigeant
Le lexique StartHub
Un terme, une explication.
Comprendre les notions utiles pour structurer un projet, piloter une entreprise et éclairer ses décisions.
1–12 sur 15 définitions
Effacer les filtres24.
Inférence & performance
Cache
Un cache conserve temporairement un résultat ou une donnée afin d’éviter de refaire un traitement ou un accès coûteux.
41.
Inférence & performance
CPU — processeur central
Le CPU est le processeur généraliste qui exécute les instructions principales d’un système informatique.
43.
Inférence & performance
Débit de traitement
Le débit mesure la quantité de travail traitée par un système pendant une unité de temps.
44.
Inférence & performance
Decode
Phase durant laquelle un modèle génératif produit les éléments successifs de sa sortie.
68.
Inférence & performance
GPU — processeur graphique
Le GPU est un processeur conçu pour exécuter de nombreux calculs en parallèle, utilisé notamment pour les graphismes et certains traitements d’IA.
80.
Inférence & performance
Inter-token latency (ITL)
Temps observé entre les tokens successifs pendant la génération.
85.
Inférence & performance
KV cache
Mémoire qui conserve certaines représentations calculées par les couches d’attention pour éviter de les recalculer à chaque étape.
87.
Inférence & performance
Latence
La latence est le temps écoulé entre une action ou une requête et le résultat mesuré à un point défini.
116.
Inférence & performance
Parallélisme tensoriel
Répartition de certaines opérations et représentations d’un modèle entre plusieurs dispositifs de calcul.
122.
Inférence & performance
Prefill
Phase d’inférence durant laquelle le modèle traite les éléments du contexte initial.
142.
Inférence & performance
Routage de modèles
Choix du modèle ou du chemin de traitement utilisé pour une requête.
Bâtissons l'avenir ensemble.
