Kotoba — Bộ đánh giá RAG tiếng Nhật

Thách thức

Xây dựng harness đánh giá có thể lặp lại cho RAG tiếng Nhật bao quát độ chính xác retrieval, faithfulness và hallucination mà không có dữ liệu khách hàng thật.

Giải pháp

Khung đánh giá với bộ kiểm thử tiếng Nhật tổng hợp, chỉ số faithfulness dựa trên LLM-judge và bảng điều khiển regression — chỉ chạy trên dữ liệu xác thực nội bộ.

Kết quả

• Bao phủ 12 chỉ số RAG (recall@k, faithfulness, answer relevance) trong thí điểm nội bộ
• Bộ kiểm thử tổng hợp 5k cặp QA tiếng Nhật được tạo cho benchmark nội bộ
• Beta nội bộ với 3 kỹ sư đánh giá — chu trình review rút ngắn ~40%
• Chỉ R&D nội bộ — không có khách hàng trả phí, chỉ dữ liệu xác thực nội bộ