IA : modèles
Transformer
Famille d’architectures de réseaux de neurones utilisant notamment des mécanismes d’attention pour traiter des relations entre éléments d’une séquence.
Comprendre la notion
Le terme décrit une architecture, pas un produit ni un niveau d’intelligence garanti. Ses variantes diffèrent dans l’organisation du calcul, le traitement du contexte et les objectifs d’entraînement.
Exemple d’utilisation
Des modèles de texte ou de vision peuvent utiliser des blocs de type Transformer.
Point de vigilance
Deux modèles partageant cette architecture peuvent avoir des capacités très différentes.
