Es posible que recuerdes una época en la que la mayoría de los LLMs no podían decirte cuántas letras r hay en "strawberry". ¿Pero por qué sucede eso? La respuesta explica una sorprendente cantidad sobre en qué son buenos los modelos de lenguaje, qué les resulta difícil y cómo usan las matemáticas para producir texto. También explica cómo se calcula tu uso, lo cual influye en qué tan rápido alcanzarás un límite de velocidad o cómo podría verse tu factura de la API.
Empecemos con una inversión de roles.
Esta es una pregunta de calentamiento, así que simplemente da tu mejor estimación.
Si escribes "Hello Claude" y presionas enviar, ¿qué imaginas que llega al modelo?
Tres formas de representar texto
Piensa en esta cadena de tres caracteres: "Hi!". Ahora piensa en tres formas diferentes en las que podríamos pasar esa información a un modelo de lenguaje.
- Tal como la ves exactamente. Una cadena:
"Hi!". - Como una lista de caracteres.
['H', 'i', '!']. Los corchetes[]significan lista; esta lista en particular tiene tres elementos. - Como un número por carácter. Cada carácter podría corresponder a un número estándar:
'H'es72,'i'es105,'!'es33.
string: "Hi!"
characters: [ 'H', 'i', '!' ]
numbers: [ 72, 105, 33 ]Si bien los tres enfoques tienen sus usos en el código, los modelos de lenguaje hacen una cuarta cosa, más estratégica. Lo que llega sigue siendo una lista de números, pero no un número por carácter de una tabla fija: es un número por cada fragmento de texto, proveniente de un vocabulario que el modelo aprendió.
Un fragmento de texto con su ID numérico se llama token.
Tokens
El widget a continuación incluye varios fragmentos de texto que puedes tokenizar. Recorre los ejemplos, tokeniza cada uno y compruébalo tú mismo: ¿en qué se diferencia un token de una palabra?
¿De más o de menos?
Ahora que sabes cómo se ven los tokens, comprueba si puedes predecir cuántos tokens se producirán al tokenizar las siguientes cadenas.
¿Por qué subpalabras?
Podrías estar preguntándote: ¿por qué no usar simplemente un token por carácter, o uno por palabra?
El conjunto de IDs de tokens únicos que un tokenizador puede producir se llama su vocabulario. Decidir el tamaño de token y el tamaño de vocabulario justos sigue siendo objeto de cierta exploración e investigación, pero la mayoría de los tokenizadores públicos apuntan a una zona intermedia ideal. Echa un vistazo a la oración "The tokenizer rocks.", dividida de tres formas diferentes por tres tokenizadores distintos.
Con tokens diminutos (uno por carácter) la oración cuesta 20 tokens. ¡Eso va a ser lento y costoso de procesar!
[T] [h] [e] [ ] [t] [o] [k] [e] [n] [i] [z] [e] [r] [ ] [r] [o] [c] [k] [s] [.]Con tokens grandes (uno por palabra) la oración solo cuesta 4 tokens, pero el modelo va a tener que aprender un vocabulario enorme para conocer palabras de nicho como "tokenizer":
[The] [ tokenizer???] [ rocks] [.]Con un punto intermedio (un token por palabra o subpalabra) la oración cuesta 5 tokens, sin que el vocabulario tenga que incluir tantas palabras especializadas:
[The] [ token] [izer] [ rocks] [.]El vocabulario de un tokenizador está incorporado en el modelo y no se puede cambiar después de que este ha sido entrenado. Se dice que cualquier modelo específico está "bloqueado a un tokenizador" porque solo aprendió lo que significa token 4062, no lo que significa "quick".
Decodificando la salida
Así que ahora sabes que el texto que envías a un modelo se convierte en una lista de IDs de tokens antes de ser procesado. La salida de un modelo también es una lista de IDs de tokens. Intenta decodificar esta respuesta.
De los tokens al significado
La tokenización le da a cada fragmento de texto un número, pero los tokens con IDs similares como 9906 y 9907 no están relacionados: simplemente son vecinos en una lista. Un modelo necesita una forma de saber que cat y kitten tienen significados cercanos, incluso si sus IDs están muy alejados en el vocabulario. Los modelos logran esto asignando a cada token una puntuación multidimensional.
Empecemos con un sistema de puntuación en 2D.
Embeddings
Un embedding de LLM funciona de la misma manera que la puntuación que acabas de hacer. Cada palabra (o, en realidad, cada token) se convierte en un punto, y las palabras (tokens) similares caen cerca unas de otras. Los embeddings reales son más complicados en dos sentidos:
- Un embedding de LLM tiene miles de dimensiones, no solo dos. Puedes imaginar que también podríamos incluir un eje para "peligroso" que podría ayudarnos a separar nuestro tigre de nuestro gatito.
- El significado capturado en una sola dimensión no tiene etiqueta, y en realidad puede significar algo para lo que ni siquiera existe una buena palabra humana. La ternura está ahí en algún lugar, pero no hay ningún eje llamado explícitamente "ternura": el modelo inventa o descubre las dimensiones durante el entrenamiento, y el proceso de descifrar qué significan es uno de los focos de la investigación en interpretabilidad.
Examina "cat" en 2, 3 y miles de dimensiones
2 dimensions "cat" = [ 8.0, 3.5 ] cute, big
3 dimensions "cat" = [ 8.0, 3.5, 1.0 ] cute, big, dangerous
4,096 dimensions "cat" = [ 0.031, -0.184, 0.772, …, -0.094 ] (no labels)
The exact number of dimensions varies by model. 4,096 is a common size in open-weight models.¿Quieres explorar más los embeddings? Pídele a Claude que te construya una visualización:
Estoy aprendiendo sobre embeddings. Entiendo que un token se convierte en un punto en un espacio con muchas dimensiones, que los tokens similares caen cerca unos de otros, y que las dimensiones no están etiquetadas con palabras humanas. Ayúdame a desarrollar intuición creando una visualización interactiva: coloca un par de docenas de palabras cotidianas en un pequeño espacio de embeddings, déjame elegir cualquier palabra y ver sus vecinos más cercanos, y déjame añadir una palabra propia para ver dónde cae y por qué.
Resumen
Así que ahora sabes que el texto que envías a un LLM se convierte en una serie de tokens, y los tokens se convierten en embeddings.
text: "Hi"
token: [ 13347 ]
embedding: [ 0.12, -0.48, 0.91, …, 0.07 ]¡Felicidades! Este es un gran paso hacia la comprensión de cómo funciona un modelo de lenguaje.
Es posible que ya estés intuyendo que la información capturada en los embeddings (qué tan tierno, grande y todo lo demás son las cosas) juega un papel enorme en cómo un modelo de lenguaje le da sentido a sus entradas y elige las salidas correctas. Si es así, ¡tu intuición es correcta!
Si estas cuatro afirmaciones te parecen ciertas, ya has captado lo que esta lección se propuso enseñar.
- Puedes explicar por qué una URL de 100 caracteres cuesta más tokens que una oración de 100 caracteres.
- Puedes predecir aproximadamente cuántos tokens tendrá un fragmento de texto.
- Sabes por qué un modelo está bloqueado a su tokenizador, y por qué las palabras más raras se dividen en piezas.
- Puedes explicar qué es un embedding y por qué importa usando las palabras "puntuación," "dimensión" y "cercano."
Siguiente: Cómo el contexto afecta el rendimiento y el costo de Claude(se abre en una pestaña nueva) · Cómo elegir el modelo correcto de Claude(se abre en una pestaña nueva) · elige un nivel de esfuerzo en Claude(se abre en una pestaña nueva) · en Claude Code(se abre en una pestaña nueva)
Obtén más información: Cómo funciona la IA(se abre en una pestaña nueva) · Capacidades y limitaciones de la IA(se abre en una pestaña nueva)