Token
Ein Token ist die kleinste Texteinheit, die ein Sprachmodell verarbeitet — häufig ein Wortteil, ein ganzes kurzes Wort oder ein Satzzeichen. Ein deutscher Satz besteht typischerweise aus mehr Tokens als Wörtern, weil zusammengesetzte oder seltene Wörter in mehrere Tokens zerlegt werden. Tokens sind auch die Abrechnungseinheit vieler KI-Anbieter.
Quelle: OpenAI — Tokenizer