Reprodutibilidade É uma Feature
Corpus, conjuntos de perguntas e harness estão commitados, e cada tabela é regenerada com um comando. Quando a manchete é 0/11 versus 11/11 para o mesmo modelo, a única resposta honesta à desconfiança é rodar de novo.
Cada número do relatório do MonkeyLLM é regenerado a partir do repositório com um comando. O corpus está commitado, os conjuntos de perguntas estão commitados, o harness está commitado. Isso não é diligência por diligência: é o pitch.
O que vem no repo
Três coisas viajam juntas no repositório do GitHub: o corpus, os conjuntos de perguntas (incluindo as 11 estritamente multi-hop, cada uma exigindo pelo menos 3 saltos encadeados) e o harness que roda os dois pipelines e os pontua. Não há conjunto de teste privado, não há tabela ajustada à mão e não há figura no paper que o harness não consiga reconstruir. Apague nossos resultados e eles crescem de volta.
O número que exige uma nova execução
A manchete é exatamente o tipo de resultado que deveria deixar um engenheiro desconfiado: o mesmo modelo local de 12B marca 0/11 como leitor de RAG top-k clássico e 11/11 como navegador de floresta.
Escrevemos sobre o mecanismo em por que multi-hop quebra o RAG, mas nenhum ensaio substitui o harness. Um salto de zero a perfeito merece ceticismo, e a única resposta honesta ao ceticismo é um comando que você mesmo pode rodar.
O rig é deliberadamente sem graça
Tudo foi medido em uma única RTX 3060 com 12 GB; um 12B quantizado cabe inteiro nela. Placas de 8 GB funcionam com quantização mais apertada ou offload para CPU via llama.cpp, e se você não tem GPU nenhuma pode apontar o binding de chat para qualquer endpoint compatível com OpenAI (OpenRouter, llama.cpp, Ollama). Um benchmark que só reproduz em um cluster está mais para press release. Este reproduz numa placa de jogos.
Um comando por tabela
Cada tabela do relatório é regenerada pelo mesmo ponto de entrada que a produziu: os placares multi-hop, a economia de tokens e latência, as figuras de busca de entrada e os custos de ingestão (1.71 s por documento em 100 documentos heterogêneos do mundo real, 100% dos resumos passando num contrato de sessenta tokens, zero links quebrados depois). Se um commit futuro mudar um número, o diff aparece onde diffs devem aparecer: no controle de versão, não silenciosamente num post de blog.
"Rode nos seus próprios dados" é o pitch
O MonkeyLLM é auto-hospedado, então a reprodução não precisa parar no nosso corpus. Ingira seus próprios documentos, plante uma floresta e faça a ela as suas próprias perguntas. A tela Data do Studio dá SQL somente leitura sobre nós de dataset, então você pode inspecionar exatamente em que seu agente está pisando quando responde. Se a navegação só vencesse a recuperação no nosso corpus escolhido a dedo, isso valeria a pena saber, e você está plenamente equipado para descobrir. Por isso "rode nos seus próprios dados" é o pitch do produto, não um disclaimer enterrado numa seção de limitações.
A letra honesta
O paper é um preprint, e dizemos isso. 11 perguntas é pouco, e dizemos isso. Um critério de convergência não foi atingido e permanece no relatório; o mergulho em por que as trilhas não convergiram é um post próprio. Um benchmark pequeno não prova muito sozinho, mas um benchmark pequeno reprodutível pode ser rodado de novo, estendido e desafiado por qualquer um, e esse é o ponto.
A um comando de distância
Dê uma estrela no MonkeyLLM no GitHub, regenere uma tabela e depois troque pelos seus próprios dados começando pelo quickstart. O preprint está em monkeyllm.com.