A trajetória vale mais onde é mais difícil de ler

A unidade escassa não é a ideia. É a atenção computacional alocada sob incerteza.

A frase acima eu não escrevi em lugar nenhum.

Ela é o que eu deveria ter escrito. O que escrevi, em vez dela, foi uma pergunta jogada no fim de uma lista de quatro, na vigésima das vinte e oito seções do ensaio passado, depois do ponto em que o texto já tinha dito o que veio dizer: onde alocar os próximos 130 bilhões de tokens? Fiz a pergunta, segui adiante e nunca voltei.

Quatro leitores voltaram.

Pedi quatro leituras críticas independentes daquele terceiro ensaio, cada uma feita por um sistema de inteligência artificial diferente, nenhuma sabendo o que as outras haviam dito. Uma delas escreveu que o texto quase perde a própria ideia mais forte. Concordo com a força, não com a ausência. A ideia tem seção própria lá, e tem até nome. O defeito é de endereço: ela mora num lugar onde ninguém mais está prestando atenção.

Mas a correção não cabe naquele ensaio, e demorei um pouco para entender por quê. Não é uma frase que ficou faltando.

É o outro lado do argumento.

O terceiro ensaio separa, no meio do caminho, duas coisas que ele mesmo havia comprimido no começo. Uma é conseguir ler para onde alguém está indo. A outra é chegar lá antes dessa pessoa. A primeira é uma afirmação sobre informação. A segunda é uma afirmação sobre capacidade. A primeira é necessária para a segunda, e nenhuma das duas basta sozinha.

Aquele ensaio passou quase inteiro do lado da legibilidade.

Este é sobre o outro lado.

Ele também é bem mais curto, de propósito. Duas das quatro leituras disseram que o anterior era longo demais para as ideias novas que carregava, e essa é uma crítica que se responde escrevendo menos, não explicando melhor.

A capacidade de explorar não é uma quantidade, é uma decisão

No terceiro ensaio escrevi uma expressão para o tempo de busca. Ela colocava, no numerador, o espaço de hipóteses ainda relevante, e no denominador, a capacidade de gerar, testar e validar candidatos.

Passei semanas olhando para o denominador.

O numerador é que é o problema.

Porque alguém escolheu qual espaço entra ali. Dez mil agentes não foram lançados sobre todos os problemas em aberto da matemática. Foram apontados para alguns.

Segundo a própria empresa, a campanha começou depois de rumores de que dois Problemas do Milênio poderiam ter sido resolvidos, e ela credita a decisão tanto a esses rumores quanto ao desempenho de um modelo interno. Não sabemos o que aqueles rumores continham. Sabemos apenas o que a empresa diz ter feito depois deles, e isso basta para o ponto.

O que um rumor entrega, no melhor caso, é uma indicação de onde olhar. Não uma demonstração, não um método, não um rascunho.

O terceiro ensaio registrou isso e tratou como cenário.

É o assunto.

Uma infraestrutura de fronteira não tem capacidade infinita. Tem uma capacidade enorme e um orçamento, e orçamento obriga a escolher. Escolher onde gastar capacidade quando não se sabe qual escolha é a certa é o problema mais antigo que existe em decisão, e ele voltou com outra unidade de medida.

Não é mais hora de pesquisador.

É tokens, GPU-hora e energia.

Simon já tinha dito isso, e estava falando de outra coisa

Em 1971, numa conferência publicada depois com o título Designing organizations for an information-rich world, Herbert Simon disse que a informação consome alguma coisa, e que essa coisa é a atenção de quem a recebe. A conclusão dele é conhecida: uma riqueza de informação produz uma pobreza de atenção, e daí nasce a necessidade de alocar atenção com eficiência entre as fontes que competem por ela.

O texto está num volume organizado por Martin Greenberger, publicado pela Johns Hopkins Press. Vale dizer de onde vem, porque passei o ensaio anterior reclamando de genealogias apagadas e seria constrangedor apagar uma aqui.

Simon estava falando de atenção humana.

Existe uma coincidência de vocabulário incômoda neste ponto, e prefiro desarmá-la agora a deixá-la trabalhando de graça no texto. Os modelos de linguagem que estão no centro desta discussão têm, dentro deles, um mecanismo chamado atenção. Não é a mesma coisa. O mecanismo de atenção de um transformador é uma operação de ponderação entre posições de uma sequência, e não tem relação com escassez, com custo de oportunidade ou com renúncia.

A coincidência é boa demais para ser levada a sério.

Não vou usá-la como argumento.

O que mudou desde 1971 não é o mecanismo. É que a atenção escassa deixou de ser apenas humana. Existe hoje uma quantidade finita de capacidade computacional de fronteira no mundo, ela é cara, ela é disputada, e alguém decide todo dia onde apontá-la. Isso não é metáfora nem analogia com o cérebro.

É linha de orçamento.

Este ensaio tem uma equação só, e ela não é minha

O ensaio anterior tinha doze.

Eu mesmo escrevi lá que uma equação bem formatada tem o hábito antipático de parecer mais estabelecida do que a prosa que a cerca. Escrevi isso e, em seguida, escrevi doze equações. Uma das leituras notou. Tinha razão.

Então esta é a única, e a ideia dentro dela é de 1966.

Em Information Value Theory, publicado nas IEEE Transactions on Systems Science and Cybernetics, Ronald Howard propôs uma coisa que a teoria da informação de Shannon não fazia. Shannon mede quantidade de informação, e a medida depende apenas da estrutura probabilística. Howard observou que nenhuma teoria construída só sobre probabilidades de resultados, sem considerar as consequências desses resultados, poderia ser adequada para decidir alguma coisa. O valor de um sinal, para ele, depende do que ele muda na decisão de quem o recebe.

Podemos escrever assim:

V(s) representa o valor do sinal s. a* representa a melhor alocação de recursos que eu conseguiria escolher sem ele, e a*(s), a melhor alocação depois de recebê-lo. U representa o resultado esperado de uma alocação. O valor do sinal é a diferença entre os dois, e não uma propriedade do sinal.

Observe o que essa equação não diz.

Ela não afirma que informação verdadeira valha mais que informação falsa. Não afirma que informação rara valha mais que informação comum. Não afirma sequer que informação sobre o futuro valha mais que informação sobre o passado.

Ela diz uma coisa só, e é desconfortável:

uma informação que não muda nenhuma decisão vale zero.

Mesmo verdadeira.

Mesmo rara.

Mesmo cara de obter.

É aqui que percebo o que faltava no ensaio anterior. Lá eu escrevi a informação da trajetória como redução de incerteza, na forma clássica de Shannon: a incerteza sobre onde procurar, menos a incerteza que resta depois de considerar o lastro. Aquilo mede quanto de incerteza a trajetória removeu.

Nunca perguntei se a remoção mudava alguma alocação.

Foi Howard quem fez essa pergunta, e ele a fez sessenta anos atrás.

Gerar ficou barato, e existe medida disso

A parte econômica desta discussão costuma ser feita com adjetivos. Vale a pena olhar um número.

Em 2024, Bradley Brown, Jordan Juravsky, Ryan Ehrlich, Ronald Clark, Quoc Le, Christopher Ré e Azalia Mirhoseini, de Stanford, Oxford e Google DeepMind, publicaram um trabalho com o título pouco cerimonioso de Large Language Monkeys. A pergunta era simples: em vez de treinar um modelo maior, o que acontece se você deixar o mesmo modelo tentar muitas vezes?

Eles mediram cobertura, isto é, a fração de problemas para os quais pelo menos uma das tentativas está correta, e observaram esse número crescer ao longo de quatro ordens de grandeza de tentativas. No SWE-bench Lite, um conjunto de tarefas reais de engenharia de software, o DeepSeek-Coder-V2-Instruct resolvia 15,9 por cento dos problemas com uma amostra e 56 por cento com 250 amostras.

Esse é o resultado que costuma ser citado, e ele diz menos do que parece. Tarefas de engenharia de software vêm com testes, e teste decide sozinho. Naquele conjunto, portanto, a cobertura conta quase como resultado: quem gerou 250 tentativas pode rodar todas e ficar com a que passa.

O outro achado é o que interessa, e vem do mesmo trabalho.

Os autores registram que os métodos comuns para escolher uma resposta dentro de uma coleção de tentativas, votação majoritária e modelos de recompensa, estabilizam depois de algumas centenas de amostras nos domínios que não têm verificador automático. Ali a cobertura continua subindo e a capacidade de aproveitá-la para de subir junto.

E há um detalhe de método que muda o sentido do primeiro número, e que eu não teria notado se não estivesse procurando.

Cobertura é medida com o gabarito na mão.

Você só sabe que uma das 250 tentativas estava certa porque você, o avaliador, sabe qual era a resposta. Onde não existe teste automático nem gabarito, 250 tentativas com uma correta dentro e nenhuma maneira de identificá-la valem exatamente o mesmo que zero tentativas.

É um estudo, num conjunto de tarefas, com modelos daquele ano. Não é uma lei, e trato como não sendo.

Mas o formato do achado é o que me interessa, e ele é anterior a qualquer número específico: gerar escala, escolher não escala junto.

O gargalo não desapareceu.

Mudou de lado.

Lean é um verificador, e talvez seja por isso que aquilo funcionou

Volto ao caso que ocupou o ensaio anterior.

No relato da própria empresa, o resultado sobre Navier–Stokes apareceu cerca de 88 horas depois do lançamento dos primeiros agentes, e a formalização e verificação em Lean consumiram outras 17 horas. Eu tratei esse segundo número como um detalhe operacional.

Não é um detalhe.

Lean é um assistente de prova. Ele aceita ou não aceita, e a decisão dele não depende de gosto, de reputação, de quem assina ou de quanto o argumento parece elegante. Um enxame de agentes trabalhando dentro de matemática formalizável tem, no fim da linha, um oráculo.

O relato não diz mais que isso, e estendê-lo seria trapaça. Ele registra que o resultado apareceu primeiro e que a formalização veio depois, o que descreve um oráculo consultado no fim, e não necessariamente dentro da busca. A diferença importa para o que vem agora.

Dez mil agentes concorrentes, no número que a empresa relata.

Num domínio com verificador mecânico, são uma coisa.

Num domínio sem verificador, são outra.

O que proponho aqui é uma conjectura, e ela é minha.

Onde existe um teste de aceitação mecânico, ampliar a geração converte em resultado quase diretamente, porque selecionar custa proporcionalmente ao número de candidatos e não ao número de hipóteses sobre onde olhar, e se paga com o mesmo orçamento que compra a geração.

Onde esse teste não existe, ampliar a geração produz mais candidatos e nenhuma capacidade adicional de escolher entre eles, porque não há em que gastar orçamento para produzir a escolha.

Selecionar não é de graça nem no primeiro caso, e o número acima diz quanto custou: dezessete horas contra oitenta e oito.

A diferença entre os dois casos não é o preço da seleção.

É a existência de um preço.

E no segundo caso o custo migra, em boa parte, para a decisão de onde olhar antes de gerar.

E é aqui que uma previsão que fiz no texto anterior muda de sentido, sem que nenhum fato novo tenha entrado. O que entrou foi a definição de 1966, e ela reordena o que eu já tinha escrito.

Escrevi lá que a hipótese talvez funcione extraordinariamente bem em programação, razoavelmente em investigação científica e muito mal em criação literária. Continuo achando que isso é verdade sobre a facilidade de prever.

Deixou de me parecer verdade sobre o valor de prever.

Onde existe verificador, a trajetória humana é uma conveniência. Ela adianta o trabalho de um sistema que, no limite, conseguiria tentar tudo e deixar o oráculo decidir. Onde não existe verificador, a trajetória de alguém que conhece o terreno pode ser o único critério de prioridade disponível.

A trajetória vale mais exatamente onde ela é mais difícil de ler.

As duas frases não se contradizem, e a distinção entre elas é a mesma de Shannon e Howard. A primeira é sobre quantidade de informação. A segunda é sobre o preço dela. Dentro de um mesmo problema de decisão as duas andam juntas, e mais informação nunca vale menos. Entre problemas de decisão diferentes, não: o mesmo ganho de precisão vale a janela inteira onde não havia como escolher, e vale quase nada onde o oráculo escolheria sozinho.

A inversão vive nessa passagem, e não dentro de nenhum domínio isolado.

Isso produz uma previsão que pode falhar, e convém dizer de que tamanho é o risco, porque uma previsão que só perde num caso extremo não arrisca nada.

Ordene os domínios pela precisão com que a trajetória de uma pessoa pode ser lida. Ordene os mesmos domínios pelo ganho de quem lê. A tese afirma que as duas ordens correm em sentidos contrários. Com os três domínios que listei no texto anterior existem seis ordens possíveis, e em três delas as duas correm no mesmo sentido.

A tese perde em metade dos resultados possíveis, e não apenas no caso em que as duas ordens forem idênticas.

A objeção mais forte contra este ensaio é que ele tem sessenta anos

Vou enumerar três maneiras de eu estar enganado, porque a lista é mais honesta que a defesa. E depois uma quarta coisa, que não é uma delas.

A primeira, e a mais séria, é que nada disto é novo. Escolher onde gastar recursos limitados sob incerteza tem literatura densa e antiga. Problemas de bandido, desenho experimental bayesiano, otimização sob incerteza, valor esperado da informação amostral. Uma função de aquisição, em otimização bayesiana, é literalmente uma regra para decidir onde gastar a próxima medição. Isso existe desde antes de mim, e é ensinado.

Concedo inteiro.

O que mudou não é o problema. É quem tem o orçamento, e quanto esse orçamento cresceu de repente.

E a troca não é só de tamanho.

Naquela literatura, quem paga a próxima medição é quem tem a hipótese. Aqui, quem paga é um terceiro, que também recebe o sinal sobre onde medir.

A segunda é que verificadores podem ficar baratos em toda parte. Existe trabalho sério em modelos de recompensa de processo e em verificadores aprendidos, e se eles funcionarem bem em domínios abertos, a assimetria que descrevi acima se dissolve, e o argumento central deste texto vai junto. Registro isso como condição de fracasso, não como ressalva.

A terceira é que a alocação pode não precisar de mim. Talvez o estado público de um campo, sozinho, já indique onde procurar com precisão suficiente, e a trajetória individual acrescente pouco depois disso. Essa é exatamente a comparação que o desenho experimental precisa fazer, e é o motivo pelo qual ele precisa de quatro sistemas comparados e não de dois: um com o que a pessoa publicou, um com o estado público do campo, um com os dois, um com os dois mais o rastro.

O desenho inteiro vai no preprint, que é onde ele pode ser pré-registrado antes de eu ter qualquer resultado.

A quarta coisa não é uma maneira de eu estar errado. É o que acontece se eu estiver certo, e não tenho resposta boa para ela.

Se o recurso escasso é a decisão de onde gastar capacidade, e se essa decisão pode ser lida na trajetória de quem trabalha, então a parte do meu trabalho que tem valor econômico começa a migrar do que eu termino para onde eu estou olhando. Uma pesquisa incompleta sempre valeu pouco. Talvez ela passe a valer mais incompleta do que terminada, para quem não é eu.

Não sei o que isso faz com uma pessoa que faz isso da vida.

Registro que a pergunta existe.

O que isso faz com a pergunta do segundo ensaio

No segundo texto desta série escrevi sobre uma possibilidade incômoda: uma estrutura pode oferecer prosperidade e continuar concentrando soberania. A ideia é que renda continue entrando, patrimônio pare de se formar e o controle se feche, sem que nada disso precise de vilania.

Aquele argumento era sobre propriedade e mobilidade.

Ele fica mais estranho quando o objeto é atenção computacional.

Governar dados é governar o passado. É decidir quem guarda o que já aconteceu, por quanto tempo, e sob quais condições. Governar alocação é outra coisa: é decidir o que ainda vai ser tentado. A primeira é uma questão de arquivo. A segunda é uma questão de futuro, e não temos vocabulário jurídico nenhum para ela.

Ninguém precisa ter acesso indevido aos meus arquivos para que isso aconteça. Basta que eu produza, no curso normal do trabalho, sinais suficientes sobre onde vale a pena procurar, e que outra pessoa tenha o orçamento para agir sobre esses sinais na semana em que eles aparecem.

Foi essa a tese do primeiro ensaio, e ela tinha um nome que peguei emprestado de uma comunidade de internet de vinte anos atrás. Vanguardismo obsoleto. A ideia de que se pode continuar sendo vanguarda e, ainda assim, deixar de colher qualquer coisa por isso.

Naquele momento eu achava que estava falando de cópia.

Depois achei que estava falando de inferência.

Talvez esteja falando de orçamento.

O que fica para outro lugar

Duas coisas amadureceram nas discussões destes dias e não cabem aqui, e digo onde vão para não abandoná-las em silêncio.

A primeira é o desenho experimental. A hipótese do terceiro ensaio precisa de quatro sistemas comparados, não de dois, e precisa de uma condição que quase me passou batido: o modelo usado no teste não pode ter sido treinado com dados posteriores à data que se está tentando prever.

Um sistema que já viu o futuro que pedimos que ele estime não está prevendo, está lembrando.

Isso, mais a definição das regiões antes do teste e o emparelhamento dos braços por volume e recência, é protocolo, e protocolo pré-registrado não é gênero de ensaio. É um preprint, e será o quarto artefato desta série, não o quinto texto dela.

A segunda é uma questão de forma, e ela me interessa mais do que eu esperava. No primeiro ensaio chamei provisoriamente de função geradora aquilo que hoje chamo de inferência de trajetória, e abandonei o nome porque ele me comprometia com uma regularidade estável existindo dentro de mim. Acontece que existe um objeto formal honesto ali, e ele não é um gerador. É um avaliador: uma função que, dado o meu histórico, atribui uma probabilidade de eu aceitar um candidato qualquer.

A diferença tem consequência, e é a favor de quem escreve.

Uma função que apenas pontua candidatos não consegue produzir nenhum. Ela só ordena o que um gerador genérico já produziu. Se o lastro alimenta o avaliador e nunca o gerador, então a leitura de cópia morre por tipagem, e não por retórica. Levei duas seções do ensaio anterior tentando dizer isso em prosa.

A forma disso também fica para o preprint.

Volto à pergunta que ficou

Onde alocar os próximos 130 bilhões de tokens é uma boa pergunta.

Como quem estudou engenharia da computação, sei que ela é a única das quatro que eu havia listado naquela seção que não era retórica. As outras três descreviam um problema. Essa pede um número, uma data e uma assinatura.

Como neurocientista, reconheço a forma do problema, e paro na fronteira da analogia: alocar recurso limitado sob incerteza é o que um sistema nervoso faz o dia inteiro, e a semelhança termina exatamente aí, porque um orçamento de inferência não é um organismo e tratar os dois como parentes seria o tipo de atalho que passei três ensaios evitando.

Como psicólogo, desconfio de qualquer critério de prioridade que se apresente como neutro. Toda regra de alocação carrega uma teoria sobre o que merece existir, e regras assim costumam ser escritas por quem já está bem servido.

E como psicólogo clínico, há uma última coisa.

Também alocamos atenção sob incerteza, e é literalmente o que fazemos: numa hora de sessão, escolher qual hipótese sobre uma pessoa vale a pena perseguir e qual pode esperar até a semana que vem. Escolho sem gabarito, como todo mundo que escolhe sob incerteza, e boa parte dessas apostas não se confirma. A diferença é que, quando a região que escolhi não era a mais promissora, o custo não é medido em tokens.

Talvez seja por isso que essa pergunta me incomode do jeito que incomoda.

Ela só pode ser feita por quem tem os 130 bilhões.

E a pergunta anterior, que é mais simples e bem mais desconfortável, continua sem dono:

quem decide o que merece ser tentado?