Inférence & performance
Time to first token (TTFT)
Délai entre un point de départ défini d’une requête et la réception du premier token de réponse.
Comprendre la notion
La mesure peut inclure attente, réseau et traitement du contexte selon le protocole. Il faut préciser le point de mesure pour comparer les résultats.
Exemple d’utilisation
Mesurer le temps perçu par le navigateur jusqu’au début de l’affichage.
Point de vigilance
Un TTFT faible ne garantit pas une réponse complète rapide.
