Blog
Notas de ingeniería sobre navegación, ingesta, memoria de agentes y benchmarking honesto, escritas por quienes corrieron los experimentos.
Cambiamos el navegador de 12B por uno de 2,5B, MiniCPM5-2B en unos 3,3 GB de VRAM, y volvimos a correr el benchmark en el mismo bosque: 18/18, 11/11, 7/8. El puntaje no se movió. Qué cambió, qué no, y el único fallo, explicado.
6 min de lectura
Sin clúster, sin A100: el benchmark completo corrió en una RTX 3060 con 12 GB. Qué cabe en 12 GB, qué hacer con 8, y cómo correr sin GPU local a través de cualquier endpoint compatible con OpenAI.
4 min de lectura
17.5 s p95 para el RAG iterativo, 8.4 s para el navegador, mismo modelo 12B. Una disección de ambos bucles, y por qué la varianza medida en saltos baratos en vez de rondas completas de recuperar y leer colapsa la cola.
4 min de lectura
Rerankers, reescritura, HyDE, bucles y agentes: todos ayudan, y por eso están en todas partes. Esto cuesta cada uno, aquí se detiene cada uno en multi-salto, y esta es la brecha que queda, medida.
5 min de lectura
Corpus, conjuntos de preguntas y harness versionados, y cada tabla se regenera con un comando. Cuando el titular es 0/11 contra 11/11 para el mismo modelo, la única respuesta honesta a la sospecha es volver a correrlo.
4 min de lectura
El costo por consulta hace que fallar parezca un descuento. Medido por respuesta correcta, el navegador de bosque gasta 0.58x los tokens de una línea base de RAG iterativo, mismo modelo 12B. Aquí está la aritmética.
4 min de lectura
El aprendizaje de senderos falló su criterio de convergencia: los saltos cayeron cerca de la mitad del umbral. El post-mortem: por qué una entrada afilada y una curaduría disciplinada dejaron casi nada que comprimir.
4 min de lectura
Once preguntas, cada una exigiendo al menos tres saltos encadenados. El mismo modelo 12B anota 0/11 como lector de RAG top-k y 11/11 como navegador de bosque. Así se construyó el benchmark y así se vuelve a correr.
4 min de lectura
El criterio de convergencia del trail learning no se cumplió, y está en el reporte de todos modos. Un benchmark imposible de reprobar no es un benchmark.
3 min de lectura
El paper trae la arquitectura completa, las tablas del benchmark y los hallazgos que no cumplieron sus criterios.