La trayectoria vale más donde es más difícil de leer

La unidad escasa no es la idea. Es la atención computacional asignada bajo incertidumbre.

La frase de arriba no la escribí en ninguna parte.

Es lo que debería haber escrito. Lo que escribí, en su lugar, fue una pregunta lanzada al final de una lista de cuatro, en la vigésima de las veintiocho secciones del ensayo anterior, pasado el punto en que el texto ya había dicho lo que vino a decir: ¿dónde asignar los próximos 130 mil millones de tokens? Hice la pregunta, seguí adelante y nunca volví.

Cuatro lectores volvieron.

Pedí cuatro lecturas críticas independientes de aquel tercer ensayo, cada una hecha por un sistema de inteligencia artificial distinto, ninguna sabiendo lo que las otras habían dicho. Una de ellas escribió que el texto casi pierde su propia idea más fuerte. Coincido en la fuerza, no en la ausencia. La idea tiene sección propia allí, y hasta tiene nombre. El defecto es de dirección: vive en un lugar donde ya nadie está prestando atención.

Pero la corrección no cabe en aquel ensayo, y tardé un poco en entender por qué. No es una frase que haya faltado.

Es el otro lado del argumento.

El tercer ensayo separa, a mitad de camino, dos cosas que él mismo había comprimido al comienzo. Una es lograr leer hacia dónde va alguien. La otra es llegar allí antes que esa persona. La primera es una afirmación sobre información. La segunda es una afirmación sobre capacidad. La primera es necesaria para la segunda, y ninguna de las dos basta por sí sola.

Aquel ensayo pasó casi entero del lado de la legibilidad.

Este es sobre el otro lado.

También es bastante más corto, a propósito. Dos de las cuatro lecturas dijeron que el anterior era demasiado largo para las ideas nuevas que cargaba, y esa es una crítica que se responde escribiendo menos, no explicando mejor.

La capacidad de explorar no es una cantidad, es una decisión

En el tercer ensayo escribí una expresión para el tiempo de búsqueda. Ponía, en el numerador, el espacio de hipótesis todavía relevante, y en el denominador, la capacidad de generar, probar y validar candidatos.

Pasé semanas mirando el denominador.

El numerador es el problema.

Porque alguien eligió qué espacio entra ahí. Diez mil agentes no fueron lanzados sobre todos los problemas abiertos de la matemática. Fueron apuntados hacia algunos.

Según la propia empresa, la campaña comenzó después de rumores de que dos Problemas del Milenio podrían haber sido resueltos, y ella acredita la decisión tanto a esos rumores como al desempeño de un modelo interno. No sabemos qué contenían aquellos rumores. Solo sabemos lo que la empresa dice haber hecho después de ellos, y eso basta para el punto.

Lo que un rumor entrega, en el mejor de los casos, es una indicación de dónde mirar. No una demostración, no un método, no un borrador.

El tercer ensayo registró esto y lo trató como escenario.

Es el asunto.

Una infraestructura de frontera no tiene capacidad infinita. Tiene una capacidad enorme y un presupuesto, y el presupuesto obliga a elegir. Elegir dónde gastar capacidad cuando no se sabe cuál elección es la correcta es el problema más antiguo que existe en decisión, y volvió con otra unidad de medida.

Ya no son horas de investigador.

Son tokens, horas de GPU y energía.

Simon ya lo había dicho, y hablaba de otra cosa

En 1971, en una conferencia publicada después con el título Designing organizations for an information-rich world, Herbert Simon dijo que la información consume algo, y que ese algo es la atención de quien la recibe. Su conclusión es conocida: una riqueza de información produce una pobreza de atención, y de ahí nace la necesidad de asignar atención con eficiencia entre las fuentes que compiten por ella.

El texto está en un volumen organizado por Martin Greenberger, publicado por la Johns Hopkins Press. Vale decir de dónde viene, porque pasé el ensayo anterior reclamando por genealogías borradas y sería vergonzoso borrar una aquí.

Simon hablaba de atención humana.

Existe una coincidencia de vocabulario incómoda en este punto, y prefiero desarmarla ahora a dejarla trabajando gratis en el texto. Los modelos de lenguaje que están en el centro de esta discusión tienen, dentro de ellos, un mecanismo llamado atención. No es la misma cosa. El mecanismo de atención de un transformador es una operación de ponderación entre posiciones de una secuencia, y no tiene relación con la escasez, con el costo de oportunidad ni con la renuncia.

La coincidencia es demasiado buena para ser tomada en serio.

No voy a usarla como argumento.

Lo que cambió desde 1971 no es el mecanismo. Es que la atención escasa dejó de ser solamente humana. Existe hoy una cantidad finita de capacidad computacional de frontera en el mundo, es cara, es disputada, y alguien decide todos los días hacia dónde apuntarla. Esto no es metáfora ni analogía con el cerebro.

Es una línea de presupuesto.

Este ensayo tiene una sola ecuación, y no es mía

El ensayo anterior tenía doce.

Yo mismo escribí allí que una ecuación bien formateada tiene el hábito antipático de parecer más establecida que la prosa que la rodea. Escribí eso y, enseguida, escribí doce ecuaciones. Una de las lecturas lo notó. Tenía razón.

Entonces esta es la única, y la idea dentro de ella es de 1966.

En Information Value Theory, publicado en las IEEE Transactions on Systems Science and Cybernetics, Ronald Howard propuso algo que la teoría de la información de Shannon no hacía. Shannon mide cantidad de información, y la medida depende únicamente de la estructura probabilística. Howard observó que ninguna teoría construida solo sobre probabilidades de resultados, sin considerar las consecuencias de esos resultados, podría ser adecuada para decidir algo. El valor de una señal, para él, depende de lo que cambia en la decisión de quien la recibe.

Podemos escribirlo así:

V(s) representa el valor de la señal s. a* representa la mejor asignación de recursos que yo lograría elegir sin ella, y a*(s), la mejor asignación después de recibirla. U representa el resultado esperado de una asignación. El valor de la señal es la diferencia entre los dos, y no una propiedad de la señal.

Observe lo que esa ecuación no dice.

No afirma que la información verdadera valga más que la información falsa. No afirma que la información rara valga más que la información común. No afirma siquiera que la información sobre el futuro valga más que la información sobre el pasado.

Dice una sola cosa, y es incómoda:

una información que no cambia ninguna decisión vale cero.

Aunque sea verdadera.

Aunque sea rara.

Aunque sea cara de obtener.

Es aquí donde percibo lo que faltaba en el ensayo anterior. Allí escribí la información de la trayectoria como reducción de incertidumbre, en la forma clásica de Shannon: la incertidumbre sobre dónde buscar, menos la incertidumbre que queda después de considerar el lastre. Aquello mide cuánta incertidumbre removió la trayectoria.

Nunca pregunté si la remoción cambiaba alguna asignación.

Fue Howard quien hizo esa pregunta, y la hizo hace sesenta años.

Generar se volvió barato, y hay medida de eso

La parte económica de esta discusión suele hacerse con adjetivos. Vale la pena mirar un número.

En 2024, Bradley Brown, Jordan Juravsky, Ryan Ehrlich, Ronald Clark, Quoc Le, Christopher Ré y Azalia Mirhoseini, de Stanford, Oxford y Google DeepMind, publicaron un trabajo con el título poco ceremonioso de Large Language Monkeys. La pregunta era simple: en vez de entrenar un modelo mayor, ¿qué pasa si se deja al mismo modelo intentar muchas veces?

Midieron cobertura, esto es, la fracción de problemas para los cuales al menos uno de los intentos es correcto, y observaron ese número crecer a lo largo de cuatro órdenes de magnitud de intentos. En SWE-bench Lite, un conjunto de tareas reales de ingeniería de software, DeepSeek-Coder-V2-Instruct resolvía 15,9 por ciento de los problemas con una muestra y 56 por ciento con 250 muestras.

Ese es el resultado que suele citarse, y dice menos de lo que parece. Las tareas de ingeniería de software vienen con pruebas, y una prueba decide sola. En aquel conjunto, por lo tanto, la cobertura cuenta casi como resultado: quien generó 250 intentos puede correrlos todos y quedarse con el que pasa.

El otro hallazgo es el que interesa, y viene del mismo trabajo.

Los autores registran que los métodos comunes para elegir una respuesta dentro de una colección de intentos, votación mayoritaria y modelos de recompensa, se estabilizan después de algunos cientos de muestras en los dominios que no tienen verificador automático. Allí la cobertura sigue subiendo y la capacidad de aprovecharla deja de subir con ella.

Y hay un detalle de método que cambia el sentido del primer número, y que no habría notado si no estuviera buscando.

La cobertura se mide con la clave de respuestas en la mano.

Usted sabe que uno de los 250 intentos estaba correcto solamente porque usted, el evaluador, sabe cuál era la respuesta. Donde no existe prueba automática ni clave de respuestas, 250 intentos con uno correcto adentro y ninguna manera de identificarlo valen exactamente lo mismo que cero intentos.

Es un estudio, en un conjunto de tareas, con modelos de aquel año. No es una ley, y no lo trato como tal.

Pero el formato del hallazgo es lo que me interesa, y es anterior a cualquier número específico: generar escala, elegir no escala con ello.

El cuello de botella no desapareció.

Cambió de lado.

Lean es un verificador, y quizá por eso aquello funcionó

Vuelvo al caso que ocupó el ensayo anterior.

En el relato de la propia empresa, el resultado sobre Navier–Stokes apareció cerca de 88 horas después del lanzamiento de los primeros agentes, y la formalización y verificación en Lean consumieron otras 17. Yo traté ese segundo número como un detalle operativo.

No es un detalle.

Lean es un asistente de demostración. Acepta o no acepta, y su decisión no depende del gusto, de la reputación, de quién firma ni de cuán elegante parece el argumento. Un enjambre de agentes trabajando dentro de matemática formalizable tiene, al final de la línea, un oráculo.

El relato no dice más que eso, y extenderlo sería trampa. Registra que el resultado apareció primero y que la formalización vino después, lo que describe un oráculo consultado al final, y no necesariamente dentro de la búsqueda. La diferencia importa para lo que viene ahora.

Diez mil agentes concurrentes, en el número que la empresa relata.

En un dominio con verificador mecánico, son una cosa.

En un dominio sin verificador, son otra.

Lo que propongo aquí es una conjetura, y es mía.

Donde existe una prueba de aceptación mecánica, ampliar la generación convierte en resultado casi directamente, porque seleccionar cuesta proporcionalmente al número de candidatos y no al número de hipótesis sobre dónde mirar, y se paga con el mismo presupuesto que compra la generación.

Donde esa prueba no existe, ampliar la generación produce más candidatos y ninguna capacidad adicional de elegir entre ellos, porque no hay en qué gastar presupuesto para producir la elección.

Seleccionar no es gratis ni en el primer caso, y el número de arriba dice cuánto costó: diecisiete horas contra ochenta y ocho.

La diferencia entre los dos casos no es el precio de la selección.

Es la existencia de un precio.

Y en el segundo caso el costo migra, en buena parte, hacia la decisión de dónde mirar antes de generar.

Y es aquí donde una previsión que hice en el texto anterior cambia de sentido, sin que haya entrado ningún hecho nuevo. Lo que entró fue la definición de 1966, y ella reordena lo que yo ya había escrito.

Escribí allí que la hipótesis quizá funcione extraordinariamente bien en programación, razonablemente en investigación científica y muy mal en creación literaria. Sigo creyendo que eso es verdad sobre la facilidad de predecir.

Dejó de parecerme verdad sobre el valor de predecir.

Donde existe verificador, la trayectoria humana es una conveniencia. Adelanta el trabajo de un sistema que, en el límite, lograría intentarlo todo y dejar que el oráculo decida. Donde no existe verificador, la trayectoria de alguien que conoce el terreno puede ser el único criterio de prioridad disponible.

La trayectoria vale más exactamente donde es más difícil de leer.

Las dos frases no se contradicen, y la distinción entre ellas es la misma de Shannon y Howard. La primera es sobre cantidad de información. La segunda es sobre su precio. Dentro de un mismo problema de decisión las dos andan juntas, y más información nunca vale menos. Entre problemas de decisión distintos, no: la misma ganancia de precisión vale la ventana entera donde no había cómo elegir, y vale casi nada donde el oráculo elegiría solo.

La inversión vive en ese pasaje, y no dentro de ningún dominio aislado.

Esto produce una previsión que puede fallar, y conviene decir de qué tamaño es el riesgo, porque una previsión que solo pierde en un caso extremo no arriesga nada.

Ordene los dominios por la precisión con que la trayectoria de una persona puede ser leída. Ordene los mismos dominios por la ganancia de quien la lee. La tesis afirma que los dos órdenes corren en sentidos contrarios. Con los tres dominios que listé en el texto anterior existen seis órdenes posibles, y en tres de ellos los dos corren en el mismo sentido.

La tesis pierde en la mitad de los resultados posibles, y no solo en el caso en que los dos órdenes resulten idénticos.

La objeción más fuerte contra este ensayo es que tiene sesenta años

Voy a enumerar tres maneras de estar equivocado, porque la lista es más honesta que la defensa. Y después una cuarta cosa, que no es una de ellas.

La primera, y la más seria, es que nada de esto es nuevo. Elegir dónde gastar recursos limitados bajo incertidumbre tiene literatura densa y antigua. Problemas del bandido multibrazo, diseño experimental bayesiano, optimización bajo incertidumbre, valor esperado de la información muestral. Una función de adquisición, en optimización bayesiana, es literalmente una regla para decidir dónde gastar la próxima medición. Esto existe desde antes de mí, y se enseña.

Lo concedo entero.

Lo que cambió no es el problema. Es quién tiene el presupuesto, y cuánto creció ese presupuesto de repente.

Y el cambio no es solo de tamaño.

En aquella literatura, quien paga la próxima medición es quien tiene la hipótesis. Aquí, quien paga es un tercero, que también recibe la señal sobre dónde medir.

La segunda es que los verificadores pueden volverse baratos en todas partes. Existe trabajo serio en modelos de recompensa de proceso y en verificadores aprendidos, y si funcionan bien en dominios abiertos, la asimetría que describí arriba se disuelve, y el argumento central de este texto se va con ella. Registro esto como condición de fracaso, no como salvedad.

La tercera es que la asignación puede no necesitarme. Quizá el estado público de un campo, por sí solo, ya indique dónde buscar con precisión suficiente, y la trayectoria individual agregue poco después de eso. Esa es exactamente la comparación que el diseño experimental necesita hacer, y es el motivo por el cual necesita cuatro sistemas comparados y no dos: uno con lo que la persona publicó, uno con el estado público del campo, uno con los dos, uno con los dos más el rastro.

El diseño entero va en el preprint, que es donde puede ser preregistrado antes de que yo tenga cualquier resultado.

La cuarta cosa no es una manera de estar equivocado. Es lo que pasa si estoy en lo cierto, y no tengo buena respuesta para ella.

Si el recurso escaso es la decisión de dónde gastar capacidad, y si esa decisión puede leerse en la trayectoria de quien trabaja, entonces la parte de mi trabajo que tiene valor económico empieza a migrar de lo que yo termino hacia dónde estoy mirando. Una investigación incompleta siempre valió poco. Quizá pase a valer más incompleta que terminada, para quien no soy yo.

No sé qué le hace eso a una persona que vive de esto.

Registro que la pregunta existe.

Lo que esto le hace a la pregunta del segundo ensayo

En el segundo texto de esta serie escribí sobre una posibilidad incómoda: una estructura puede ofrecer prosperidad y seguir concentrando soberanía. La idea es que la renta siga entrando, el patrimonio deje de formarse y el control se cierre, sin que nada de eso necesite villanía.

Aquel argumento era sobre propiedad y movilidad.

Se vuelve más extraño cuando el objeto es atención computacional.

Gobernar datos es gobernar el pasado. Es decidir quién guarda lo que ya ocurrió, por cuánto tiempo, y bajo qué condiciones. Gobernar asignación es otra cosa: es decidir lo que todavía va a intentarse. La primera es una cuestión de archivo. La segunda es una cuestión de futuro, y no tenemos ningún vocabulario jurídico para ella.

Nadie necesita tener acceso indebido a mis archivos para que esto ocurra. Basta con que yo produzca, en el curso normal del trabajo, señales suficientes sobre dónde vale la pena buscar, y que otra persona tenga el presupuesto para actuar sobre esas señales en la semana en que aparecen.

Esa fue la tesis del primer ensayo, y tenía un nombre que tomé prestado de una comunidad de internet de hace veinte años. Vanguardismo obsoleto. La idea de que se puede seguir siendo vanguardia y, aun así, dejar de cosechar cualquier cosa por ello.

En aquel momento yo creía que estaba hablando de copia.

Después creí que estaba hablando de inferencia.

Quizá esté hablando de presupuesto.

Lo que queda para otro lugar

Dos cosas maduraron en las discusiones de estos días y no caben aquí, y digo adónde van para no abandonarlas en silencio.

La primera es el diseño experimental. La hipótesis del tercer ensayo necesita cuatro sistemas comparados, no dos, y necesita una condición que casi se me pasó por alto: el modelo usado en la prueba no puede haber sido entrenado con datos posteriores a la fecha que se está intentando predecir.

Un sistema que ya vio el futuro que le pedimos estimar no está prediciendo, está recordando.

Eso, más la definición de las regiones antes de la prueba y el emparejamiento de los brazos por volumen y recencia, es protocolo, y un protocolo preregistrado no es un género de ensayo. Es un preprint, y será el cuarto artefacto de esta serie, no el quinto texto de ella.

La segunda es una cuestión de forma, y me interesa más de lo que esperaba. En el primer ensayo llamé provisionalmente función generadora a aquello que hoy llamo inferencia de trayectoria, y abandoné el nombre porque me comprometía con una regularidad estable existiendo dentro de mí. Ocurre que existe un objeto formal honesto ahí, y no es un generador. Es un evaluador: una función que, dado mi historial, atribuye una probabilidad de que yo acepte un candidato cualquiera.

La diferencia tiene consecuencia, y es a favor de quien escribe.

Una función que se limita a puntuar candidatos no consigue producir ninguno. Solo ordena lo que un generador genérico ya produjo. Si el lastre alimenta al evaluador y nunca al generador, entonces la lectura de copia muere por tipado, y no por retórica. Me llevó dos secciones del ensayo anterior intentar decir esto en prosa.

La forma de eso también queda para el preprint.

Vuelvo a la pregunta que quedó

Dónde asignar los próximos 130 mil millones de tokens es una buena pregunta.

Como quien estudió ingeniería de la computación, sé que es la única de las cuatro que yo había listado en aquella sección que no era retórica. Las otras tres describían un problema. Esta pide un número, una fecha y una firma.

Como neurocientífico, reconozco la forma del problema, y me detengo en la frontera de la analogía: asignar un recurso limitado bajo incertidumbre es lo que un sistema nervioso hace el día entero, y el parecido termina exactamente ahí, porque un presupuesto de inferencia no es un organismo y tratar a los dos como parientes sería el tipo de atajo que pasé tres ensayos evitando.

Como psicólogo, desconfío de cualquier criterio de prioridad que se presente como neutro. Toda regla de asignación carga una teoría sobre lo que merece existir, y las reglas así suelen ser escritas por quien ya está bien servido.

Y como psicólogo clínico, hay una última cosa.

También asignamos atención bajo incertidumbre, y es literalmente lo que hacemos: en una hora de sesión, elegir qué hipótesis sobre una persona vale la pena perseguir y cuál puede esperar hasta la semana que viene. Elijo sin clave de respuestas, como todo el mundo que elige bajo incertidumbre, y buena parte de esas apuestas no se confirma. La diferencia es que, cuando la región que elegí no era la más prometedora, el costo no se mide en tokens.

Quizá sea por eso que esa pregunta me incomoda del modo en que me incomoda.

Solo puede hacerla quien tiene los 130 mil millones.

Y la pregunta anterior, que es más simple y bastante más incómoda, sigue sin dueño:

¿quién decide lo que merece ser intentado?