Ingerindo 100 Documentos Reais: A Troca no Tempo de Escrita
A ingestão é onde a floresta gasta esforço: 1.71 s por documento, contrato de sessenta tokens cumprido em 100%, zero links quebrados. Pague uma vez na escrita, num lote visível, e não a cada consulta para sempre.
Pipelines de recuperação pagam seu imposto no tempo de leitura, a cada consulta, para sempre. O MonkeyLLM move esse custo para o tempo de escrita, uma vez por documento, num lote que você vê terminar. Aqui está o que o pipeline de ingestão realmente faz com cada documento, e o que ele custou em 100 documentos reais.
O que acontece com um documento
Todo documento que entra na floresta vira um nó com um passaporte curado: um título, um resumo e tags (o passaporte é o pequeno rótulo que um agente lê antes de decidir se abre o nó completo). O pipeline rascunha esse passaporte, liga o nó ao grafo com links e o registra. No vocabulário da floresta o movimento se chama Plantar: conhecimento novo registrado como novos nós.
Toda essa cerimônia existe para o caminho de leitura. Agentes navegam lendo rótulos e seguindo links, abrindo só o que precisam, então o rótulo é o produto. Um resumo desleixado no tempo de escrita vira um salto desperdiçado em cada caminhada futura.
O contrato de sessenta tokens
O resumo de cada passaporte obedece a um contrato: sessenta tokens. Não "mais ou menos um parágrafo", um limite verificável que o pipeline impõe e reporta. No nosso lote de ingestão de 100 documentos heterogêneos do mundo real, 100% dos resumos passaram no contrato de sessenta tokens. Quando o lote diz pronto, cada rótulo da floresta é um que um agente pode se dar ao luxo de ler dentro de um orçamento.
Zero links quebrados
A segunda pós-condição é estrutural: zero links quebrados depois do lote. Cada aresta criada na ingestão resolve para um nó que existe. Parece régua baixa até você ver um agente entrar numa referência morta no meio de uma caçada; uma floresta onde todo caminho leva a algum lugar é o que torna a navegação orçada previsível em vez de esperançosa.
1.71 segundos por documento, medido
O tratamento completo (rascunho de passaporte, linkagem, verificação) custa 1.71 s por documento, medido nos mesmos 100 documentos no nosso rig de uma única RTX 3060.
Agora compare o formato dos dois custos. A ingestão é um lote: limitado, visível, feito uma vez. A tela de Ingestão do Studio (a capa deste post) o renderiza como um job que você acompanha, arquivos, pastas e clipes passando um a um. O custo de leitura é um taxímetro que nunca para. Pagar 1.71 s por documento uma vez é o que deixa a busca de entrada ficar em BM25 sobre SQLite, com recall@5 = 1.00 e 1.3 ms p95, sem embeddings, sem banco vetorial e sem GPU no caminho de consulta. O ensaio do Princípio da Floresta faz esse argumento em forma geral; este post é o mesmo argumento em números.
Os números se regeneram
100 documentos é um corpus real, não um grande, e dizemos isso. O corpus, os conjuntos de perguntas e o harness estão commitados, e cada tabela do relatório é regenerada com um comando, a de ingestão incluída. Seus documentos são quase certamente mais estranhos que os nossos; o teste honesto é rodar o pipeline neles e ver se o contrato ainda segura. Os primitivos por trás de nós, passaportes e links estão descritos nos docs de primitivos.
Alimente com algo real
Suba com quatro comandos a partir do quickstart, aponte um job de ingestão para a sua pasta mais feia e veja o lote rodar. Depois reproduza a nossa tabela a partir de github.com/JimmyWesley/MonkeyLLM, ou comece pelo tour em monkeyllm.com.