Por Que as Trilhas Não Convergiram

Definimos um critério de convergência para o aprendizado de trilhas, medimos e erramos: a contagem de saltos caiu cerca de metade do limiar que havíamos fixado. O relatório diz isso em texto claro. Este é o post-mortem de engenharia: o que as trilhas deveriam comprar, por que esta floresta deixou quase nada para elas comprarem e onde elas devem começar a pagar.

O que as trilhas deveriam fazer

Em uma floresta MonkeyLLM, um agente responde perguntas navegando. Ele entra pela busca, lê o passaporte de um nó (seu cartão curado: título, resumo, tags), segue um link e abre apenas o que precisa. Feromônio é o terceiro movimento: caçadas bem-sucedidas depositam rastros ao longo do caminho percorrido, e rastros repetidos cunham links de atalho. Em bom português, caminhos que funcionam ganham pavimento.

A hipótese era simples. Rode a mesma classe de caçadas repetidamente sobre o mesmo território, e a média de saltos por resposta correta deveria cair, estabilizando abaixo de um limiar que fixamos antes de rodar qualquer coisa. Colônias de formigas fazem isso. Esperávamos que a floresta fizesse também.

O que medimos em vez disso

Os saltos caíram. Caíram cerca de metade do limiar, e o critério não foi atingido. Escrevemos isso e publicamos o relatório com a falha dentro, porque um benchmark em que só se passa não é um benchmark. A peça companheira, por que o relatório mantém uma seção de falhas, cobre a decisão de política. Este post cobre a mecânica.

Havia quase nada para comprimir

A busca de entrada neste corpus é BM25 sobre SQLite: recall@5 = 1.00 a 1.3 ms p95. Sem embeddings, sem banco vetorial, sem GPU. Dar peso aos campos curados do passaporte (título, aliases) fechou completamente a lacuna para a busca híbrida; o embedder continua suportado e opcional, ele simplesmente não foi necessário aqui.

Com uma entrada tão afiada e passaportes tão disciplinados, o navegador cai ao lado do alvo já de primeira. Neste benchmark ele faz em média cerca de um salto e meio por resposta antes de qualquer trilha existir. O aprendizado de trilhas funciona comprimindo caminhos, e uma caminhada de um salto e meio quase não tem folga: o piso é um salto, então o mecanismo foi convocado a espremer economia de um corredor que já era quase reto. Ele espremeu menos do que o critério exigia.

Curadoria e trilhas são substitutos econômicos

A conclusão não é que trilhas não funcionam. É que curadoria e aprendizado de trilhas compram o mesmo bem, caminhadas futuras mais curtas, de dois orçamentos diferentes. A curadoria paga no tempo de escrita: a ingestão gasta 1.71 s por documento construindo passaportes cujos resumos passam num contrato de sessenta tokens. As trilhas pagam no tempo de leitura, com caçadas que já deram certo. Em um corpus onde o gasto de escrita já entrega caminhadas rentes ao piso, não sobra nada para o aprendizado de leitura comprar.

Esse enquadramento faz uma previsão testável. Trilhas devem pagar em corpora mais profundos, onde a busca de entrada te deixa na região certa em vez de no nó exato, e as caminhadas se esticam para muitos saltos. Ali, um atalho pavimentado economiza tokens reais em cada caçada futura. Também se alinha com o Princípio da Floresta: gaste inteligência no ambiente para gastar menos no modelo (spend intelligence on the environment so you can spend less on the model). Gastamos primeiro em curadoria, e em um benchmark de 11 perguntas de caminhadas rasas, a curadoria comeu o almoço do aprendizado de trilhas. 11 perguntas é pouco, e dizemos isso.

O que muda, o que fica

O feromônio fica no engine. O critério não atingido fica no relatório exatamente como medido. Os próximos corpora ficam mais profundos de propósito, porque, se o enquadramento de substitutos estiver certo, a economia das trilhas deve aparecer mais ou menos onde a entrada curada deixa de bastar sozinha.

Reproduza a falha

O corpus, os conjuntos de perguntas e o harness estão commitados, e cada tabela é regenerada com um comando, incluindo a que falhamos. Clone o MonkeyLLM no GitHub, rode de novo o experimento de trilhas no seu próprio corpus e nos conte onde a convergência começa para você. O preprint e todo o resto vivem em monkeyllm.com.