Inférence & performance
Débit de traitement
Le débit mesure la quantité de travail traitée par un système pendant une unité de temps.
Comprendre la notion
Selon le service, il peut s’exprimer en requêtes, documents ou tokens par seconde. Il doit être accompagné des conditions de charge et des exigences de qualité. Augmenter le débit par regroupement des tâches peut allonger l’attente individuelle : capacité totale et rapidité perçue répondent à des besoins différents.
Exemple d’utilisation
Un traitement nocturne privilégie les documents par heure, tandis qu’un assistant interactif surveille surtout l’attente de l’utilisateur.
Point de vigilance
Un débit élevé avec beaucoup d’erreurs ou de délais dépassés ne représente pas une capacité réellement exploitable.
