Por Dentro do Benchmark de 11 Perguntas
Onze perguntas, cada uma exigindo ao menos três saltos encadeados. O mesmo modelo 12B marca 0/11 como leitor de RAG top-k e 11/11 como navegador de floresta. Como o benchmark foi construído e como rodá-lo de novo.
O mesmo modelo local de 12B fez a mesma prova de 11 perguntas duas vezes. Como leitor de RAG top-k clássico, marcou 0/11. Conectado a uma floresta MonkeyLLM como navegador, marcou 11/11, e tudo o que você precisa para checar essa afirmação está commitado no repo.
O que significa estritamente multi-hop
Uma pergunta é multi-hop quando você precisa da resposta de uma subpergunta antes mesmo de conseguir formular a próxima. Chamamos de estritamente multi-hop quando pelo menos três saltos encadeados são necessários, e cada uma das 11 perguntas do benchmark passa dessa régua. O formato é este: para responder à pergunta final você precisa primeiro do fato A, o fato A te dá os termos para procurar o fato B, e só o fato B diz onde a resposta mora.
Esse é exatamente o formato que quebra a recuperação de disparo único, porque as palavras-chave do salto final não coocorrem com as do primeiro. Recuperação top-k é um salto por construção, um ponto que destrinchamos em por que multi-hop quebra o RAG.
Como as perguntas foram construídas
O corpus é o mesmo conjunto de 100 documentos heterogêneos do mundo real usado na nossa medição de ingestão. A construção das perguntas foi subtrativa: rascunhe uma candidata, trace a cadeia mínima de evidências necessária para respondê-la e descarte-a se um único documento puder resolvê-la, ou se um match sortudo de palavra-chave puder encurtar a cadeia. O que sobrevive é um conjunto em que os termos de busca do salto dois só existem depois que o salto um foi respondido.
Esse filtro é brutal, e essa é uma das razões de o conjunto ser pequeno. Onze perguntas é um benchmark pequeno e dizemos isso no relatório. Preferimos defender onze perguntas que conseguimos rastrear salto a salto do que mil que não conseguimos auditar.
O harness e as duas execuções
As duas condições usam o mesmo modelo 12B quantizado na mesma RTX 3060 com 12 GB. A condição um é o pipeline padrão: fatiar, indexar, recuperar top-k, entregar os chunks ao modelo, corrigir a resposta. A condição dois entrega ao mesmo modelo dez ferramentas tipadas via MCP e o deixa caminhar pela floresta (uma floresta é um grafo de notas curadas, cada uma carregando um passaporte: título, resumo, tags). Ele entra pela busca, lê rótulos, segue links, abre só o que precisa, e cada salto tem orçamento de tokens. Navegue, não recupere (Navigate, don't retrieve).
0/11 a 11/11 não é uma alegação de que o modelo ficou mais esperto. Os pesos nunca mudaram. O ambiente mudou, e os placares pareados medem exatamente essa lacuna e nada mais.
O que está commitado, incluindo a falha
O corpus, os conjuntos de perguntas e o harness estão todos commitados, e cada tabela do relatório é regenerada com um comando. O paper é um preprint e dizemos isso.
O relatório também mantém um critério em que falhamos: o critério de convergência do aprendizado de trilhas não foi atingido, os saltos caíram cerca de metade do limiar que fixamos. Está escrito, não descartado, porque um benchmark em que só se passa não é um benchmark. O raciocínio por trás dessa escolha tem um post próprio.
Você também pode interrogar o corpus diretamente. A tela Data do Studio dá SQL somente leitura sobre nós de dataset, o caminho mais rápido para se convencer de que nenhuma linha isolada resolve qualquer uma das onze perguntas.
Regenere você mesmo
Ceticismo é a resposta correta a um placar perfeito, então tornamos a checagem barata. Clone o repo, siga o quickstart e rode de novo cada tabela com um único comando. Se os seus números discordarem dos nossos, abra uma issue: o harness existe para isso. O resto da história vive em monkeyllm.com.