IA : modèles
Mécanisme d’attention
Opération qui pondère les relations entre représentations afin de construire une représentation contextualisée.
Comprendre la notion
Elle permet au calcul de tenir compte d’autres positions ou éléments. Les poids d’attention ne constituent pas, à eux seuls, une explication fidèle de la décision finale du modèle.
Exemple d’utilisation
Le traitement d’un mot dépend des autres éléments de la phrase.
Point de vigilance
Un schéma d’attention ne prouve pas une compréhension humaine.
