StartHub accompagne les dirigeants à chaque étape du développement de leur entreprise en réunissant stratégie, expertise et les meilleurs partenaires autour de leurs projets.
Inférence & performance
Phase d’inférence durant laquelle le modèle traite les éléments du contexte initial.
Elle prépare notamment les représentations utilisées pendant la génération. La longueur du contexte et l’organisation du calcul influencent son coût et le délai avant le début de la réponse.
Un long dossier doit être traité avant l’émission des premiers tokens.
Les optimisations dépendent du moteur et du matériel.
Inférence & performance
Regroupement de travaux pour les exécuter ensemble et mieux utiliser certaines ressources.
Inférence & performance
Un cache conserve temporairement un résultat ou une donnée afin d’éviter de refaire un traitement ou un accès coûteux.
Inférence & performance
Le CPU est le processeur généraliste qui exécute les instructions principales d’un système informatique.
Inférence & performance
Le débit mesure la quantité de travail traitée par un système pendant une unité de temps.
