techvitLLM Evaluation
Golden Dataset構築、LLM-as-a-Judge、Retrieval Evaluation、回帰テストまで対応するLLM品質評価の専門領域。
対応範囲
- Golden Dataset（正解付き評価用データ）の設計・構築
- LLM-as-a-Judgeによる自動評価基準の設計
- RAGの検索精度（Retrieval）と回答精度（Generation）の切り分け評価
- Hallucination Detectionと継続的な回帰テストの仕組み化
実務での使い方
生成AI・RAGシステムを導入した後、「本当に正しい回答をしているか」を継続的に確認する仕組みがないまま運用されているケースへの支援を専門にしています。LLM Evaluation Toolkitとして、評価手法の研究と実装を継続的に行っています。