Kotoba RAG Eval — Harness de Avaliação de RAG em Japonês

Desafio

Pipelines RAG em japonês sofriam regressões silenciosas após cada troca de embedder ou re-ranker. Sem benchmarks padronizados, era impossível comparar variantes ou detectar quedas de qualidade entre builds.

Solução

Construímos um harness modular que executa suítes de Recall@k, nDCG@10 e MRR sobre datasets sintéticos JA + corpora curados internamente. Inclui geração automática de queries adversariais e relatórios diff entre runs. Tudo rodando como ferramenta interna de P&D.

Resultados

• Cobertura de 5 famílias de embedders em benchmark interno (dados internos)
• Detecção de regressão de nDCG ≥ 2% em CI (dados internos)
• Tempo de avaliação reduzido de 6h para 22min (dados internos)
• Mais de 12.000 queries JA sintéticas no banco de testes interno