StartHub accompagne les dirigeants à chaque étape du développement de leur entreprise en réunissant stratégie, expertise et les meilleurs partenaires autour de leurs projets.
Inférence & performance
Phase durant laquelle un modèle génératif produit les éléments successifs de sa sortie.
La génération utilise l’état préparé et mis à jour au fil des tokens. Sa performance dépend notamment de la mémoire, de la concurrence et de l’organisation des lots.
Une réponse s’affiche progressivement après le premier token.
Le débit total du serveur et la fluidité d’une réponse sont deux mesures différentes.
Inférence & performance
Regroupement de travaux pour les exécuter ensemble et mieux utiliser certaines ressources.
Inférence & performance
Un cache conserve temporairement un résultat ou une donnée afin d’éviter de refaire un traitement ou un accès coûteux.
Inférence & performance
Le CPU est le processeur généraliste qui exécute les instructions principales d’un système informatique.
Inférence & performance
Le débit mesure la quantité de travail traitée par un système pendant une unité de temps.
