FineTune LoRA JP — Pipeline de Fine-Tuning para Domínios Jurídico/Médico

Desafio

Modelos base genéricos performavam mal em terminologia jurídica e médica em japonês, e o custo de full fine-tuning era proibitivo para iteração rápida em P&D.

Solução

Pipeline reproduzível que combina QLoRA 4-bit com Unsloth para acelerar treino em hardware único, datasets curados de jurisprudência e literatura médica JA, e avaliação automatizada com prompts especializados. Operado como laboratório interno.

Resultados

• Treino de 7B em 11h numa única RTX 4090 (dados internos)
• Acurácia em QA jurídico JA: +18% sobre baseline (dados internos)
• Custo de iteração reduzido em 92% vs full fine-tuning (dados internos)
• 5 adaptadores LoRA shipados para validação interna