Los tokens son las "piezas" en las que una IA divide el texto para poder leerlo y escribirlo. Te lo explicamos con ejemplos simples.
Un token es el pedacito más chico de texto que una IA como Claude o ChatGPT puede leer o escribir. No siempre es una palabra completa: a veces es una palabra entera, a veces una parte de una palabra, y a veces hasta un solo signo de puntuación.
Por ejemplo, la palabra "inteligencia" puede dividirse en varios tokens ("intel", "igen", "cia"), mientras que una palabra corta como "el" suele ser un token completo. En promedio, 100 tokens equivalen a unas 75 palabras en español.
¿Por qué importa esto? Porque las IA cobran y limitan su uso por cantidad de tokens, no por palabras. Cuando ves que un modelo tiene "una ventana de contexto de 200.000 tokens", eso te dice cuánto texto puede "tener en la cabeza" a la vez, entre lo que vos escribís y lo que la IA responde.
En resumen: los tokens son la unidad básica de medida del mundo de la IA de texto, tan importante para entender costos y límites como entender qué son los megabytes para el almacenamiento de archivos.
