Inférence & performance
Batching
Regroupement de travaux pour les exécuter ensemble et mieux utiliser certaines ressources.
Comprendre la notion
Il peut améliorer le débit mais modifier l’attente individuelle. Des mécanismes dynamiques ajoutent ou retirent des requêtes au fil de leur progression.
Exemple d’utilisation
Un serveur traite plusieurs séquences dans une même étape de calcul.
Point de vigilance
Un lot plus grand n’est pas toujours compatible avec la latence visée.
