Token

intermediate

La unidad básica que procesan los modelos de lenguaje. Un token equivale, a grandes rasgos, a una palabra o a un fragmento de palabra. La expresión «inteligencia artificial» consta de dos tokens. Los precios de los modelos de IA y los límites de contexto se miden en tokens. GPT-4 puede procesar unos 128 000 tokens (aproximadamente 300 páginas) en una sola conversación.