Todos os Números Daqui Rodaram em Uma RTX 3060

A seção de hardware da maioria dos relatórios de benchmark parece uma fatura de datacenter. A nossa parece um PC gamer intermediário: uma RTX 3060 com 12 GB de VRAM. Cada número que publicamos, 0/11 a 11/11, 0.58x tokens por resposta correta, 8.4 s p95, saiu dessa única placa.

O rig inteiro

Um modelo 12B quantizado cabe inteiro na 3060: sem sharding, sem offload, sem segunda placa. Esse único modelo fez todo o raciocínio do benchmark, lendo passaportes (o título, o resumo e as tags curados de cada nó), escolhendo links e escrevendo respostas. Orçamentos de tokens são o que torna um modelo desse tamanho suficiente: cada salto que o agente dá via MCP é orçado, então cada passada de raciocínio vê um contexto pequeno e curado em vez de um espalhado.

O lado da recuperação pede ainda menos. A busca de entrada é BM25 sobre SQLite, atingindo recall@5 = 1.00 a 1.3 ms p95 sem embeddings, sem banco vetorial e sem GPU nenhuma. Dar peso a campos curados como título e aliases fechou completamente a lacuna para a busca híbrida. O embedder é opcional e suportado, não removido; o ponto é que você nunca é forçado a bancar um.

O que cabe onde

Sua placa não precisa ser a nossa. Os caminhos, do mais local ao menos:

• 12 GB (classe RTX 3060): um 12B quantizado roda inteiro. Este é o rig exato do benchmark.
• 8 GB: quantização mais apertada, ou offload para CPU via llama.cpp, trocando um pouco de velocidade por caber.
• Sem GPU: aponte o binding de chat para qualquer endpoint compatível com OpenAI, como OpenRouter, um servidor llama.cpp ou o Ollama rodando em qualquer máquina que tenha a memória.

Bindings são configuração, não código. A tela Models do Studio guarda o endpoint, os orçamentos de tokens e a pontuação corrente do repositório de respostas, então trocar um Ollama local por um endpoint remoto é uma edição, não uma migração. A floresta em si não se importa de onde vêm os tokens; só se importa que cada salto fique dentro do orçamento.

Intermediário era o ponto

Era também a tese. O benchmark argumenta que desempenho multi-hop vem de estrutura, não de escala: a floresta carrega passaportes curados e links tipados, então um modelo 12B navegando nela supera o mesmíssimo modelo lendo chunks top-k, 11/11 contra 0/11. Gaste inteligência no ambiente para gastar menos no modelo (spend intelligence on the environment so you can spend less on the model). Essa alegação soaria vazia demonstrada em oito GPUs de datacenter. Demonstrada numa placa que você compra usada, ela é checável por quase qualquer um, que é o que uma alegação dessas precisa ser. A versão mais longa do argumento é o Princípio da Floresta.

A honestidade de sempre vale aqui também. Onze perguntas é um conjunto pequeno e dizemos isso, o paper é um preprint e dizemos isso, e o corpus, os conjuntos de perguntas e o harness estão commitados para que cada tabela seja regenerada com um comando, em hardware que a maioria dos leitores já tem.

Suba no seu

Self-hosting são quatro comandos. O engine é Apache-2.0, os apps são AGPL, e seus dados nunca saem da sua infra. O primeiro boot te deixa na tela de setup e pede exatamente o que precisa, nada mais.

O passo a passo de ponta a ponta vive no guia de Docker e nos docs de deploy. Traga uma 3060, uma placa de 8 GB ou GPU nenhuma, suba a partir do repo e cultive uma floresta no seu próprio metal hoje à noite. Detalhes em monkeyllm.com.