Token – was bedeutet das?

Ein Token ist die kleinste sprachliche oder informationelle Einheit, die von einer künstlichen Intelligenz (KI) oder einem Sprachmodell (LLM) verarbeitet wird.
Ein Token kann ein Wort, ein Teil eines Wortes, ein Satzzeichen oder sogar ein Leerzeichen sein – je nach Sprache und Modellstruktur.

KI-Systeme wie ChatGPT oder Gemini zerlegen Texte in Tokens, um Sprache mathematisch zu verstehen, zu analysieren und zu erzeugen.
Die Anzahl der Tokens bestimmt dabei Kosten, Geschwindigkeit und maximale Länge einer Antwort.

Beispiel:

Der Satz „KI verändert die Welt.“ besteht aus etwa 5 Tokens (KI | verändert | die | Welt | .).
Ein Modell analysiert diese Einheiten einzeln, erkennt Beziehungen zwischen ihnen und lernt so den Kontext.

Token gehört zum Themenfeld Künstliche Intelligenz
und wird häufig im Zusammenhang mit Generativer KI und Machine Learning genannt.

Mehr Definitionen diesbzgl. finden Sie im
AZ-COM Glossar zur KI & Generative AI.
Für interessante Anregungen, themenbezogene Beiträge und Aktuelles lesen Sie hier auf: AZ-COM Blog.