Kotoba RAG Eval — Harness de Evaluación de RAG en Japonés

Desafío

Los pipelines RAG en japonés sufrían regresiones silenciosas tras cada cambio de embedder o re-ranker. Sin benchmarks estandarizados, era imposible comparar variantes o detectar caídas de calidad entre builds.

Solución

Construimos un harness modular que ejecuta suites de Recall@k, nDCG@10 y MRR sobre datasets sintéticos JA + corpus curados internamente. Incluye generación automática de queries adversariales e informes diff entre runs. Todo funcionando como herramienta interna de I+D.

Resultados

• Cobertura de 5 familias de embedders en benchmark interno (datos internos)
• Detección de regresión de nDCG ≥ 2% en CI (datos internos)
• Tiempo de evaluación reducido de 6h a 22min (datos internos)
• Más de 12.000 queries JA sintéticas en el banco de pruebas interno