Seu loop de RAG agêntico responde mais devagar e gasta mais por resposta correta. Nós medimos.
Loops de RAG iterativo escondem o custo no denominador errado. Medido por resposta correta: 0.58x os tokens e 8.4 s p95 contra 17.5 s, no mesmo modelo 12B.
Quando o RAG top-k falha em perguntas multi-hop, a correção padrão é um loop: recuperar, raciocinar, reformular, recuperar de novo. Ajuda, sim. Mas também é caro de um jeito que se esconde bem, porque normalmente medimos custo por consulta em vez de custo por resposta correta.
Construímos o MonkeyLLM em torno de outra ideia (navegação em vez de retrieval) e colocamos as duas no benchmark. Aqui está o confronto, arquitetura contra arquitetura.
O setup
O benchmark: 11 perguntas estritamente multi-hop, cada uma exigindo pelo menos 3 saltos encadeados entre documentos. Sim, 11 perguntas é um benchmark pequeno, e dizemos isso no paper. Os dois lados usam o mesmo modelo local de 12B quantizado em uma única RTX 3060 com 12 GB. Nenhuma chamada para a nuvem.
Os números
- Tokens por resposta correta: 0.58x em relação ao baseline de RAG iterativo.
- Latência: 8.4 s p95 contra 17.5 s do baseline.
- Para contexto de acurácia: esse mesmo modelo marcou 0/11 como leitor top-k clássico e 11/11 como navegador de floresta.
A linha à qual sempre voltamos: falhar barato não é economia. Um loop que queima menos tokens em uma resposta errada ainda comprou uma resposta errada.
Por que o loop paga mais
Um loop iterativo reconsulta uma pilha indiferenciada de chunks, e cada rodada enche de novo a janela de contexto com evidências sobrepostas que o modelo precisa reler.
O MonkeyLLM estrutura o corpus como uma floresta de nós, cada um com um passaporte curado (título, resumo, tags: a etiqueta de um bibliotecário). O agente, o macaco, entra pela busca e caminha: lê o rótulo, segue um link, abre só o que precisa. Dez ferramentas tipadas via MCP, cada salto barato e com orçamento de tokens.
A entrada é BM25 sobre SQLite: recall@5 = 1.00 a 1.3 ms p95. Sem embeddings, sem banco vetorial, sem GPU. Pesar o ranking a favor dos campos curados fechou por completo o gap de recall para a busca híbrida.
O custo se moveu, não desapareceu. A ingestão roda a 1.71 s por documento (medido em 100 documentos heterogêneos do mundo real, 100% dos resumos gerados passando em um contrato de sessenta tokens, zero links quebrados depois). Você paga uma vez na escrita, em vez de em toda consulta para sempre.
O que não funcionou
Nosso critério de convergência do aprendizado de trilhas (trail learning) não foi atingido: os hops caíram cerca de metade do limiar que definimos. Publicamos o erro em vez de descartá-lo. Um benchmark impossível de reprovar não é um benchmark.
Reproduza
Corpus, conjuntos de perguntas e harness estão commitados no repo, e toda tabela se regenera com um comando. O paper é um preprint, e dizemos isso.
Dê uma estrela no repo, leia o preprint ou rode tudo de novo no seu próprio corpus: