Inférence & performance
Parallélisme tensoriel
Répartition de certaines opérations et représentations d’un modèle entre plusieurs dispositifs de calcul.
Comprendre la notion
Il permet d’utiliser davantage de ressources mais nécessite des communications. Son intérêt dépend de la taille du modèle, du réseau et de la charge.
Exemple d’utilisation
Des couches sont exécutées en coopération sur plusieurs GPU.
Point de vigilance
Ajouter des GPU ne produit pas nécessairement un gain proportionnel.