Attention-Mechanismus
Attention Mechanism
Der Attention-Mechanismus ist eine Rechenmethode innerhalb der Transformer-Architektur, mit der ein Modell für jedes Wort bestimmt, wie stark es andere Wörter im Text berücksichtigen soll. Dadurch kann ein Modell Kontext über lange Textstrecken hinweg zuverlässig verknüpfen.