Tokenización de texto: cómo las redes neuronales entienden el lenguaje humano

La tokenización de texto es el proceso fundamental que permite a una red neuronal convertir el lenguaje humano en datos numéricos comprensibles para una máquina. A diferencia de las personas, una red neuronal no interpreta frases ni palabras directamente: primero, el texto debe transformarse en una forma adecuada para los cálculos matemáticos. Aquí es donde interviene la tokenización, uno de los pasos iniciales en el procesamiento de cualquier consulta en un modelo de lenguaje.

¿Qué es la tokenización de texto y por qué es esencial para una red neuronal?

La tokenización de texto consiste en dividir la cadena original en elementos individuales que el modelo puede procesar. Estos elementos pueden ser palabras completas, partes de palabras, símbolos, números o signos de puntuación.

Por ejemplo, una persona percibe la palabra "tokenización" como una unidad. Sin embargo, el tokenizador de un modelo puede dejarla como un solo token o dividirla en varios fragmentos. Lo mismo ocurre con nombres propios, términos técnicos, palabras poco frecuentes y palabras en otros idiomas.

La razón principal es sencilla: la red neuronal no puede operar directamente sobre letras o palabras; el procesador solo entiende números. Por eso la tokenización actúa como un puente entre el lenguaje humano y el modelo matemático.

No es solo separar por espacios

Al tomar la frase: La red neuronal entiende el texto. - una simple separación por espacios daría tres palabras. Sin embargo, un tokenizador real puede identificar más elementos: partes de palabras largas, signos de puntuación o fragmentos de una palabra. El resultado específico depende del algoritmo y el diccionario utilizados por el modelo.

Un token no es necesariamente sinónimo de palabra. Palabras cortas y frecuentes pueden corresponder a un solo token, mientras que palabras largas o inusuales pueden ocupar varios tokens. Un token también puede ser un signo de puntuación, una secuencia de números o parte de una palabra.

Por eso, dos frases con el mismo número de palabras pueden diferir mucho en la cantidad de tokens. Además, un mismo texto en ruso y en inglés no necesariamente ocupará la misma cantidad de tokens.

Para conocer más sobre qué son los tokens y por qué los modelos como ChatGPT los utilizan en lugar de palabras, consulta el artículo ¿Qué son los tokens en redes neuronales y por qué ChatGPT cuenta tokens y no palabras?.

¿Cómo se transforma el texto en tokens?

El tokenizador toma la cadena original y la divide en una secuencia de elementos de su diccionario. Los límites de los tokens no siempre coinciden con los de las palabras: a veces puede ser una palabra completa, en otras solo una parte o incluso un símbolo aislado.

Del texto a la secuencia de fragmentos

Imaginemos la frase: La red neuronal analiza el texto. Para un humano, hay tres palabras y un punto. El tokenizador, en cambio, podría segmentarla así:

• [La red] [neuronal] [ analiza] [el] [ texto] [.]

Esto es solo un ejemplo: la segmentación real depende del tokenizador. Además, algunos algoritmos consideran los espacios como parte del token, lo que significa que la misma secuencia de letras al inicio de una frase y después de otra palabra pueden representarse como elementos diferentes.

Este método permite no tener que almacenar todas las formas posibles de una palabra, haciendo posible construir palabras raras y complejas a partir de fragmentos más universales.

¿Por qué una palabra puede ocupar varios tokens?

Cuanto más frecuente es una secuencia en los datos de entrenamiento, más probable es que exista como un token independiente. Las palabras, terminaciones y combinaciones habituales suelen estar representadas de manera más compacta.

En cambio, las palabras raras, términos técnicos o nombres propios pueden no estar completas en el diccionario, por lo que el tokenizador las descompone en partes conocidas. Por ejemplo:

• microarquitectura → [micro] [arquitect] [ura]

Si no existen fragmentos grandes en el diccionario, la segmentación será aún más minuciosa.

La diferencia entre idiomas también es relevante. Un tokenizador con buen soporte para secuencias en inglés puede codificar textos en ese idioma de manera más compacta que en ruso, japonés u otros idiomas, lo que implica que frases equivalentes pueden ocupar diferente espacio en la ventana de contexto del modelo.

Símbolos poco usuales, emojis, secuencias de números y código pueden dividirse de formas inesperadas desde la perspectiva humana. Un identificador largo o una combinación aleatoria de letras, por ejemplo, puede ocupar muchos más tokens que una frase común.

¿Qué es un tokenizador?

Un tokenizador es el algoritmo y el conjunto de datos que determinan cómo se convierte el texto en tokens. Su componente clave es el diccionario, donde a cada token se le asigna un identificador numérico único.

Por ejemplo, una sección del diccionario podría ser:

• "texto" → 4812
• "neuro" → 7351
• "red" → 294
• "." → 13

Estos números son solo ilustrativos. Los diccionarios y los identificadores varían de un modelo a otro.

Al enviar una consulta, el tokenizador busca los elementos adecuados y forma una secuencia. Si una palabra no está en el diccionario, el algoritmo utiliza fragmentos más pequeños, permitiendo representar prácticamente cualquier texto mediante un conjunto limitado de tokens conocidos por el modelo.

El tamaño y la construcción del diccionario afectan la compacidad de la codificación, el manejo de diferentes idiomas y la cantidad de tokens necesarios para palabras poco comunes. Por eso, la tokenización es una parte clave de la arquitectura de los modelos de lenguaje.

BPE y Byte Pair Encoding: ¿cómo escoge la red neuronal las partes de las palabras?

Uno de los enfoques más utilizados para la tokenización es el Byte Pair Encoding (BPE). Este algoritmo, inicialmente creado como método de compresión, se adoptó para construir diccionarios en modelos de lenguaje.

La idea central de BPE es buscar secuencias frecuentes y unirlas en elementos más grandes. Así, el tokenizador puede almacenar palabras o partes comunes completas, mientras que las construcciones raras se forman a partir de pequeños tokens.

Si el diccionario solo incluyera palabras completas, sería enorme. Por ejemplo, en ruso, habría que almacenar muchas formas diferentes de una palabra: "red neuronal", "redes neuronales", etc. Además, aparecen constantemente nuevos nombres, términos y productos. Guardar cada variante sería ineficiente; pero dividir todo en símbolos individuales es poco práctico. BPE encuentra un equilibrio entre ambos extremos.

Ejemplo simplificado

Supongamos que en los datos de entrenamiento aparecen con frecuencia las palabras:

• neuron
• red neuronal
• neuronales

El algoritmo empieza viendo cada letra como un token. Luego, identifica pares de letras más frecuentes y las fusiona, por ejemplo:

• n + e → ne
• ne + u → neu
• neu + r → neur
• neur + o → neuro

Así, la secuencia "neuro" puede convertirse en un token independiente, utilizado en muchas palabras.

Esto significa que el tokenizador puede usar el fragmento común "neuro" y representar el resto de la palabra con otros tokens. Las construcciones frecuentes se codifican de forma compacta, mientras que las raras se descomponen en partes conocidas.

No todos los modelos de lenguaje usan exactamente el mismo esquema de tokenización. Existen otras variantes de BPE y métodos alternativos, con diferencias en las unidades base, tamaño de diccionario, reglas de fusión y manejo de espacios o símbolos especiales.

Por eso, una misma frase puede convertirse en una cantidad diferente de tokens en dos modelos distintos, incluso si ambos utilizan principios similares.

El objetivo es siempre el mismo: representar la infinita variedad del lenguaje humano mediante un conjunto finito de elementos. Una vez definidos los tokens, a cada uno se le asigna un número y se entrega ese resultado a la red neuronal.

¿Cómo se convierten los tokens en números comprensibles para la red neuronal?

Tras la tokenización, el modelo recibe una secuencia de tokens, no palabras. Pero incluso así, los tokens no pueden pasarse directamente a la red neuronal. El siguiente paso es asignarles un identificador numérico.

Identificador numérico de cada token

En el diccionario del tokenizador, cada token tiene un número único. Por ejemplo, la frase:

• red neuronal entiende el texto

puede transformarse en:

• [neuro] [red] [ entiende] [ texto]

y luego en una secuencia de identificadores:

• [3817, 9421, 15603, 4812]

Estos números son ilustrativos. Los valores reales dependen del diccionario utilizado.

Este identificador funciona como el número de fila en una base de datos: permite localizar el token, pero no aporta información sobre su significado.

¿Por qué un número no es suficiente?

El identificador numérico no indica el significado del token. Si el token "gato" es 500 y "perro" es 9000, eso no significa que "perro" sea 18 veces más importante que "gato". Los números solo identifican elementos en el diccionario.

Por eso, antes de que la red neuronal procese el texto, cada identificador se usa para obtener una representación vectorial -conjunto de números- llamada embedding.

¿Cómo surgen los vectores?

Cada token tiene una representación numérica compuesta por muchas cifras. Por ejemplo, en vez de solo un ID:

• 3817

la red neuronal recibe algo como:

• [0.12, -0.47, 0.83, 0.05, ...]

En los modelos reales, estos vectores pueden tener cientos o miles de componentes.

Durante el entrenamiento, los parámetros se ajustan para que las representaciones vectoriales ayuden a encontrar relaciones entre los elementos del lenguaje. Gracias a esto, los tokens usados en contextos similares pueden tener vectores parecidos.

No se puede afirmar que una coordenada del vector signifique "animal", "objeto" o "emoción positiva". El significado está distribuido en todos los parámetros y cobra sentido en el contexto global del modelo.

Además, se añade información posicional para que la red neuronal distinga el orden de los elementos, ya que la misma secuencia de palabras en distinto orden puede tener sentidos muy diferentes.

En resumen, el proceso es:

• texto → tokenización → tokens → identificadores numéricos → vectores → procesamiento por red neuronal

Por ejemplo, el usuario escribe una frase. El tokenizador la divide y reemplaza cada parte por un número. El modelo obtiene las representaciones vectoriales y comienza a analizar las relaciones y el contexto.

En este punto, el lenguaje humano se convierte en datos matemáticos aptos para el procesamiento automático.

¿Cómo influye la tokenización en la comprensión del texto por la red neuronal?

La tokenización no determina el significado del texto, pero sí la forma en que el texto llega al modelo. Si la frase se divide en tokens familiares, su representación es más compacta y la secuencia es más fácil de procesar dentro de la ventana de contexto.

Para una persona, "gato", "gatito" y "gatillo" parecen relacionados. El tokenizador puede dividirlos de formas distintas: una palabra como un token, otra como dos, otra como varios fragmentos. Después, la red neuronal debe encontrar las conexiones entre los elementos, teniendo en cuenta el contexto.

Esto es especialmente visible con términos poco frecuentes: nombres técnicos, fórmulas químicas, apellidos o términos nuevos pueden dividirse en muchos más tokens, aunque el modelo sigue recibiendo una secuencia válida y puede analizar su contexto.

Por ejemplo:

• Palabra frecuente: [computadora]
• Nombre raro: [cuan] [to] [grav] [ímetro]

Esto no significa que el modelo no pueda manejar palabras raras, solo que ocupan más espacio y se componen de más tokens.

Lo mismo ocurre con nombres de usuario, direcciones web, números de serie, secuencias aleatorias o código. Lo que parece corto para un humano puede convertirse en una larga secuencia de tokens.

El idioma también importa. El diccionario del tokenizador se basa en ciertos datos de entrenamiento, por lo que diferentes lenguas están representadas de modo desigual. Si los fragmentos en inglés están almacenados como bloques grandes y los del ruso en fragmentos pequeños, el texto ruso puede necesitar más tokens para expresar la misma información.

Esto es crucial al trabajar con documentos largos. La ventana de contexto se mide en tokens, no en páginas, caracteres ni palabras, por lo que textos de tamaño visual similar pueden ocupar diferente cantidad de contexto disponible.

Sin embargo, la tokenización no implica comprensión del lenguaje. Cuando una palabra se divide en varios tokens, el modelo no trata cada uno como un concepto humano independiente. Solo después de la conversión a vectores, la red neuronal analiza la secuencia y las conexiones entre sus partes.

Por ejemplo, la palabra "clave" puede significar herramienta, manantial, método de descifrado o elemento de acceso a un sistema. El tokenizador no elige el significado correcto; solo transforma el texto en una secuencia de elementos. El sentido final lo determina el modelo según el contexto.

Por eso, la respuesta a "¿cómo entiende la red neuronal el texto?" comienza con la tokenización, pero no termina ahí. El tokenizador traduce el lenguaje humano a una forma adecuada para el cálculo, y el análisis de contexto ocurre dentro del propio modelo.

Conclusión

La tokenización de texto es el primer paso para convertir el lenguaje humano en datos que una red neuronal pueda procesar. El texto se divide en tokens, cada uno recibe un identificador numérico y luego el modelo utiliza su representación vectorial para los cálculos posteriores.

Un token no tiene por qué ser una palabra: puede ser una palabra, parte de ella, un símbolo o un signo de puntuación. Por eso, la cantidad de tokens depende no solo de la longitud del texto, sino también del idioma, el vocabulario y el tokenizador específico.

Algoritmos como Byte Pair Encoding ayudan a equilibrar entre un diccionario demasiado grande y la segmentación poco útil en caracteres individuales. Las secuencias frecuentes se convierten en tokens grandes, mientras que las palabras raras se forman a partir de fragmentos más pequeños.

El recorrido del texto dentro de un modelo de lenguaje puede resumirse así:

• texto humano → tokenizador → tokens → identificadores numéricos → vectores → red neuronal

Comprender este proceso ayuda a explicar por qué ChatGPT y otros modelos miden el contexto en tokens, por qué textos de la misma longitud pueden ocupar diferente espacio y cómo una frase se convierte en un conjunto de números aptos para el cálculo matemático.