Golden Datasetとは何か

生成AIやRAGシステムの品質を語るとき、「なんとなく良さそう」で止まってしまうことが多い。プロンプトやモデルを変更するたびに、実際に品質が上がったのか下がったのかを判断する基準がないまま運用されているケースをよく見る。

Golden Datasetとは

Golden Datasetとは、入力（質問・リクエスト）とその正解（期待する出力、根拠となる情報）をペアにした評価用データセットのことを指す。単なるテストケースの寄せ集めではなく、実際の利用シーンを代表するデータであることが重要になる。

なぜ必要か

• プロンプトやモデルを変更するたびに、毎回人手で全件確認するのは現実的ではない
• 「なんとなく良くなった／悪くなった」という主観的な判断では、改善の意思決定ができない
• RAGの場合、検索（Retrieval）の問題なのか、生成（Generation）の問題なのかを切り分けられない

Golden Datasetがあれば、LLM-as-a-Judgeによる自動評価や回帰テストの基準として使え、変更のたびに実行できる仕組みに落とし込める。

どう作るか

実際の問い合わせログや想定質問から、代表的なケース（正常系・エッジケース・失敗しやすいケース）を抽出し、それぞれに人手で正解を付与していく。最初から完璧なデータセットを目指すのではなく、小さく始めて運用しながら拡充していく進め方が現実的だ。

具体的な評価基盤の構築についてはLLM Evaluationで対応している。