Token en un minuto
Un token es una pieza de la representación del modelo, no una unidad lingüística universal. La misma frase puede dar cantidades diferentes con distintos tokenizadores. Las referencias de producto, palabras poco habituales y sistemas de escritura también cambian la división. Para un límite exacto, utiliza el método de conteo del modelo correspondiente.
Token con un ejemplo sencillo
Quieres resumir una página de un catálogo. Contiene frases, códigos de artículo y una tabla de medidas. Aunque tenga unos pocos cientos de palabras, su número de tokens depende también de la puntuación, el formato y la división de los identificadores. Una referencia que visualmente parece una sola unidad puede ocupar varias piezas para el modelo.
| Entrada | Qué puede suceder | Consecuencia práctica |
|---|---|---|
| Una palabra habitual | Puede representarse con una unidad o dividirse. | Los límites los determina el tokenizador. |
| Una referencia larga | Letras, cifras y separadores pueden formar varias piezas. | Un texto visualmente corto puede consumir bastantes tokens. |
| Espacios y puntuación | Influyen según las reglas de codificación. | El formato también puede tener un coste. |
| Una frase traducida | La cantidad puede variar entre idiomas. | No apliques una conversión fija de palabras a tokens. |
El curso de tokenizadores de Hugging Face muestra un ejemplo de WordPiece en el que “transformer” se representa con “transform” y “##er”. En ese ejemplo, el prefijo marca una continuación. No es una división universal de esa palabra ni una notación utilizada por todos los modelos. Otro vocabulario puede codificar el mismo texto de otra manera.
Una conversión aproximada entre palabras y tokens puede orientar una primera estimación para un tipo de texto conocido. No debe presentarse como una regla fija, por ejemplo que un token equivalga siempre a una determinada fracción de palabra. Antes de procesar un catálogo multilingüe grande, conviene medir muestras reales con el tokenizador o la función de conteo admitida por el sistema.
La parte técnica, sin complicarla
La tokenización convierte texto en una secuencia de identificadores pertenecientes a un vocabulario. Métodos como Byte Pair Encoding, WordPiece y Unigram construyen y aplican ese vocabulario de formas diferentes. Las unidades de subpalabra permiten representar cadenas frecuentes de manera compacta y tratar términos desconocidos con piezas menores. Esas piezas no tienen por qué coincidir con sílabas lingüísticas.
Un identificador de token pertenece a un tokenizador concreto. El mismo número no representa un concepto universal compartido por todos los modelos. Después, esos identificadores suelen convertirse en representaciones numéricas que procesa la red, con frecuencia un Transformer. Dividir el texto y calcular relaciones en la red son etapas distintas.
Tokens especiales y estructura de mensajes. Un sistema puede utilizar unidades o convenciones específicas para indicar roles, límites y otra información de control. Eso introduce elementos que no siempre se ven en la caja del chat. Contar solo el último mensaje del usuario puede excluir instrucciones, historial y resultados de herramientas incluidos en la solicitud.
La palabra token también aparece en la representación o facturación de entradas multimodales, pero una imagen o un audio no se estiman simplemente contando palabras. Pueden importar resolución, duración, muestreo y reglas particulares del modelo. Un PDF puede procesarse como texto, imágenes de páginas o una combinación. Su tamaño en megabytes mide algo diferente del espacio de contexto utilizado.
La Context Window establece un presupuesto limitado. Según el sistema, entrada y salida comparten un límite total y existe además una longitud máxima de respuesta. Algunas funciones de razonamiento tienen reglas adicionales de cómputo. Consulta la documentación correspondiente: una ventana anunciada no implica que pueda llenarse por completo con documentos y dejar una salida ilimitada.
Cómo influyen en capacidad, coste y velocidad
Muchas API calculan parte del precio mediante tokens, aunque los planes y productos varían. Entrada y salida pueden tener tarifas diferentes, y la entrada en caché u otros procesamientos pueden seguir reglas propias. No existe un precio universal por token. Una suscripción de chat también puede presentar límites de manera distinta a una API.
Imagina un sistema ficticio con un presupuesto total de 10.000 tokens. Si instrucciones, documentos e historial ya ocupan 7.000, quedarían como máximo 3.000 dentro de ese supuesto presupuesto compartido. Un límite independiente de salida podría reducir todavía más la respuesta. Son cifras didácticas para explicar la cuenta, no especificaciones de un modelo comercial.
La velocidad depende de más factores. Una salida autorregresiva larga suele requerir más pasos de generación, mientras que una entrada extensa exige procesamiento antes de responder. Hardware, carga, arquitectura, caché, red y herramientas influyen en el tiempo percibido. No puede traducirse cualquier cantidad de tokens a un número fijo de segundos válido para todos los productos.
- Mide la solicitud real, incluidas las instrucciones y el contexto aportado.
- Reserva espacio para la respuesta según los límites documentados.
- Distingue consumo de entrada y de salida al estimar costes.
- Conserva los pasajes relevantes y elimina duplicaciones innecesarias.
- Vuelve a comprobar la exactitud si reduces el contexto de una tarea.
RAG puede recuperar unos pocos pasajes pertinentes en lugar de adjuntar todo un archivo documental en cada consulta. Esto ayuda a controlar consumo si mantiene los hechos y condiciones necesarios. Utilizar bien los tokens también consiste en seleccionar: el objetivo es obtener una respuesta útil y respaldada, no simplemente enviar la entrada más corta posible.