Transformer-Architektur
Transformer Architecture
Die Transformer-Architektur ist der neuronale Netzwerk-Aufbau, auf dem praktisch alle modernen großen Sprachmodelle basieren. Ihr zentrales Merkmal ist der Attention-Mechanismus, der es dem Modell erlaubt, Beziehungen zwischen weit auseinanderliegenden Wörtern in einem Text zu erfassen.