LLM プロンプトを「評価」して改善するループを作る

LLM を使った機能は、プロンプトを少し変えるだけで挙動が大きく変わる。にもかかわらず「なんとなく良くなった気がする」で判断してしまいがちだ。回帰を防ぐために、評価をループに組み込む。

期待する入出力をデータセットにする

まずは代表的な入力と、望ましい出力（または満たすべき条件）を並べたデータセットを用意する。数十件でも十分に役立つ。

スコアで比較する

各プロンプト案をデータセットに通し、正解率や条件の充足率をスコア化する。人手の目視に頼らず数値で比較できると、変更の良し悪しがはっきりする。プロンプトの改善が、勘ではなく計測に基づくものになる。