Tokens vs palabras

Tokens vs palabras

Las palabras son fáciles de contar para las personas, pero los modelos de IA suelen procesar el texto como tokens. Pega tu texto para comparar caracteres, palabras, tokens estimados y coste potencial.

Calculadora

Estima el coste de tu prompt de IA

Pega un prompt, elige un perfil de precio de ejemplo y estima el coste por ejecución, por día y por mes.

Ejemplos rápidos

Los tokens de entrada son lo que envías al modelo de IA. Los tokens de salida son lo que devuelve el modelo. Los proveedores suelen cobrarlos por separado.

Configuración avanzada

Los precios son manuales por ahora. Ejemplo: si tu proveedor cobra $2 input y $10 output por 1M tokens, introduce 2 y 10.

El uso energético es una estimación aproximada. Depende del modelo, hardware, proveedor, eficiencia del datacenter, carga y región.

Las palabras son unidades humanas

Las palabras ayudan a leer y escribir, pero no suelen ser la unidad que usan las APIs de IA para facturar.

Las palabras no son unidades de facturación

Un artículo de 500 palabras, un JSON de 500 palabras y un bloque de código de 500 palabras pueden producir conteos de tokens y costes distintos.

Los tokens son unidades del modelo

Un token puede ser una palabra, parte de una palabra, puntuación, espacios, código o formato.

El conteo varía según el texto

Idioma, puntuación, código, markdown, JSON y estructura del mensaje pueden cambiar la estimación.

El coste suele depender de tokens

El coste de IA suele basarse en tokens de entrada y salida, no en palabras. PromptMeter muestra todo junto.

Guía por tipo de contenido

La prosa simple suele ser más fácil de estimar. Texto técnico, código, JSON y markdown pueden usar más tokens porque símbolos y estructura también cuentan.

Guía por idioma

Inglés, español, alemán, chino y japonés pueden tokenizar de forma diferente. Trata cada estimación por idioma como aproximada.

Orientación por tipo de contenido

Tipo de contenidoComportamiento de tokensNotas
Prosa simpleSuele estar cerca de la estimación generalVaría por idioma y puntuación
Texto técnicoA menudo algo más densoSiglas y símbolos pueden cambiar el conteo
CódigoA menudo más densoLlaves, operadores e indentación importan
JSONA menudo más densoClaves, comillas y estructura repetida añaden tokens
MarkdownVariableListas, encabezados y formato afectan las estimaciones

Estas tablas son orientativas, no mediciones oficiales de tokenizadores.

Orientación por idioma y escritura

Idioma/escrituraPor qué puede variar
InglésSuele estar cerca de estimaciones comunes de tokens
Español/francés/italiano/portuguésAcentos, palabras más largas y puntuación pueden desplazar la estimación
Alemán/neerlandés/polaco/rusoPalabras compuestas y morfología pueden cambiar el conteo
Chino/japonés/coreanoLas escrituras basadas en caracteres se comportan distinto a estimaciones basadas en palabras
Código/texto estructuradoLa estructura puede importar más que el idioma natural

Estas tablas son orientativas, no mediciones oficiales de tokenizadores.

Por qué el conteo de palabras puede engañar

Tipo de textoPor qué contar palabras puede engañarMejor estimación
Prosa simpleLas palabras pueden aproximarse a estimaciones comunes, pero idioma y puntuación importanEstimar tokens directamente
CódigoOperadores, llaves, indentación e identificadores cortos cuentan aunque haya pocas palabrasUsar una estimación de tokens con supuestos de código
JSONClaves, comillas, llaves, comas y estructura repetida añaden tokensEstimar tokens de entrada y salida por separado
MarkdownEncabezados, listas, enlaces y tablas añaden tokens de formatoComparar caracteres, palabras y tokens estimados
Respuestas largasLa facturación depende de tokens generados, no de las palabras enviadas al principioUsar una estimación de coste de tokens de salida

El coste depende de tokens de entrada y salida, no solo del número de palabras.

FAQ

FAQ de tokens vs palabras

¿Una palabra equivale a un token?

No. Algunas palabras son un token, otras se dividen en varios, y la puntuación o el formato también pueden contar.

¿Por qué importan los tokens en el coste de IA?

Los proveedores suelen cobrar el uso de API por tokens. Más tokens de entrada o salida suelen aumentar el coste.

¿El número de tokens puede variar según el modelo?

Sí. Modelos y tokenizadores distintos pueden contar el mismo texto de forma diferente, por eso son estimaciones.

¿JSON cuenta distinto que la prosa?

A menudo sí. Claves, puntuación, llaves, corchetes, indentación y campos repetidos pueden aumentar la densidad de tokens.