Blog
Notas de engenharia sobre navegação, ingestão, memória de agentes e benchmark honesto, escritas por quem rodou os experimentos.
Trocamos o navegador de 12B por um de 2,5B, o MiniCPM5-2B em cerca de 3,3 GB de VRAM, e rodamos o benchmark de novo na mesma floresta: 18/18, 11/11, 7/8. O placar não se moveu. O que mudou, o que não mudou e a única errada, explicada.
6 min de leitura
Sem cluster, sem A100: o benchmark inteiro rodou em uma RTX 3060 com 12 GB. O que cabe em 12 GB, o que fazer com 8, e como rodar sem GPU local nenhuma via qualquer endpoint compatível com OpenAI.
4 min de leitura
17.5 s p95 no RAG iterativo, 8.4 s no navegador, mesmo modelo 12B. Uma dissecação dos dois loops, e por que variância medida em saltos baratos, e não em rodadas inteiras de recuperar-e-ler, derruba a cauda.
4 min de leitura
Rerankers, reescrita, HyDE, loops e agentes ajudam, e por isso estão em toda parte. Aqui está o que cada um custa, onde cada um para no multi-hop, e a lacuna que sobra, medida.
4 min de leitura
Corpus, conjuntos de perguntas e harness estão commitados, e cada tabela é regenerada com um comando. Quando a manchete é 0/11 versus 11/11 para o mesmo modelo, a única resposta honesta à desconfiança é rodar de novo.
4 min de leitura
Custo por consulta faz a falha parecer desconto. Medido por resposta correta, o navegador de floresta gasta 0.58x os tokens de um baseline de RAG iterativo, mesmo modelo 12B. Aqui está a aritmética.
4 min de leitura
O aprendizado de trilhas errou o critério de convergência: os saltos caíram cerca de metade do limiar. O post-mortem: por que busca de entrada afiada e curadoria disciplinada deixaram quase nada para comprimir.
4 min de leitura
Onze perguntas, cada uma exigindo ao menos três saltos encadeados. O mesmo modelo 12B marca 0/11 como leitor de RAG top-k e 11/11 como navegador de floresta. Como o benchmark foi construído e como rodá-lo de novo.
4 min de leitura
O critério de convergência do trail learning não foi batido, e está no relatório mesmo assim. Um benchmark que só dá para passar não é um benchmark.
3 min de leitura
O paper traz a arquitetura completa, as tabelas do benchmark e os achados que não bateram seus critérios.