Token

intermediate

Die Grundeinheit, die Sprachmodelle verarbeiten. Ein Token entspricht in etwa einem Wort oder einem Wortfragment. „Künstliche Intelligenz“ besteht aus zwei Token. Die Preise für KI-Modelle und die Kontextbeschränkungen werden in Token gemessen. GPT-4 kann in einer einzigen Konversation etwa 128.000 Token (etwa 300 Seiten) verarbeiten.