AIの本番前テスト：調整用と未使用の確認用を分ける検収方法
AIの検収では調整用と最終確認用を分け、例が少なすぎて分けない場合は未使用例の確認を未実施と記録します。
この記事の要点
- 例が少なすぎなければ、調整用と最終確認用に分ける
- 外注先と合格条件を共有し、確認用の例は自社で持つ
- 最終確認に通っても、判断できるのは試した範囲に限られる
全体像図を準備中
目次
問い合わせ例を用途で分ける
A&Aの考え方
最終確認用のテストとは、AIの調整に使わず、本番前の確認に残す例の集まりです。外注先の「全部通りました」を受け取るとき、調整に使った例と、使っていない例の結果を分けて見ます。例が少なく、分けるとどちらかの組から普段の依頼や重要な例外が抜けるなら、分けずに確認する選択があります。
A&Aの考え方
同じ問い合わせでプロンプトを直し続ければ、その問い合わせへの応答は確かめられます。ただし、それだけでは別の問い合わせでも動くかは分かりません。合格したというだけで、検査に合わせすぎたとも断定できません。
A&Aの考え方
この記事を書いているAutomate & Augment（A&A）の案は、納品された自社用AIを確かめる検収に、この区別を使うことです。取り入れるのは、検査例の使い分けです。開発チームの成績を、小さな会社での効果の予測には使いません。
仮想例
たとえば、制作会社が問い合わせから見積もりの下書きを作るAIを外注したとします。料金と希望納期がそろった例は調整用に渡し、別の問い合わせは最終確認用に取っておきます。これは仮の場面です。
仮想例
最終確認用には、納期が書かれていない例も残します。期待する結果は、納期を勝手に決めず、担当者への確認事項にすることです。どちらの組にも普段の依頼と例外を入れ、簡単な例だけで最後の確認を済ませないようにします。
A&Aの考え方
検査票には、問い合わせ例と期待する結果を書きます。その例が調整用か最終確認用か、誰が管理するかも記録します。最終確認用の例を使い始める条件と実行結果も残します。似た文面を言い換えただけなら、どの程度似ているかも記録します。用紙を分けただけで、異なる場面を試したことにはしません。
合格条件は共有し、確認用の例は自社で持つ
A&Aの考え方
外注先とは合格条件を共有し、最終確認に使う具体的な問い合わせ例は自社で持つ方法があります。何ができれば合格なのかまで隠すと、外注先と合意していない要求で評価することになります。
仮想例
先ほどの仮の制作会社なら、「料金は料金表から取り、納期が不明なら確認事項にする」と先に伝えます。普段の問い合わせと情報不足の問い合わせを確かめることも共有します。手元に残すのは、その確認に使う具体的な文面です。
A&Aの考え方
例の管理は、それぞれの例を調整に使ったかどうかを把握できる人が担います。外注先へ渡す資料や、AIが読むフォルダに最終確認用の例も入れていたら、別のファイル名にしても未使用とは言えません。
A&Aの考え方
自分で組む場合は、自分が確認用の例を見たかだけでなく、それを見てプロンプトを直したかも残します。結果を参考に調整した例は、以後は調整用として扱います。独立した確認をしていないなら、その状態を記録します。
A&Aの考え方
最終確認を始める条件として、たとえば「対象の版と合格条件が決まり、調整が一区切りついたこと」を定めます。結果を見てから合格条件を緩めると、最初に何を確かめるつもりだったかが分からなくなります。
A&Aの考え方
最終確認用の例を最後まで使わずに残すことと、一度だけ実行することは別です。繰り返し実行する回数と、失敗が混じったときの扱いは先に決めます。実行のたびに入力や設定を変えた場合は、同じ条件で確かめた結果と混ぜません。
A&Aの考え方
ここまで述べた、誰が例を管理するか、いつ最終確認用の例を使い始めるかという決め方は、A&Aの運用案です。出典は、発注側が検査例を持つ手順や、検査例を分ける割合を指定していません。出典の開発者と、納品を受ける経営者とでは、判断する立場が違います。
| 扱い | 調整用 | 最終確認用 |
|---|---|---|
| 用途 | 例の結果を見て修正する | 調整に使わずに残す |
| 外注先との共有 | 具体例と合格条件を共有する | 合格条件を共有し、具体例は自社で持つ |
| 失敗を見て修正した後 | 既知の不具合が直ったか確かめる | その例は以後、調整用として扱う |
結果を読んで利用範囲を決める
A&Aの考え方
最終確認に通っても、判断できるのは、試した問い合わせと条件の範囲に限られます。合否の一覧と実際の処理を照らし、何が未確認かを残してから、本番で任せる範囲を決めます。
出典に基づく事実
Anthropicは、評価の中身と実行記録を誰かが読むまで、点数を額面どおりには受け取らないとしています。実際の使い方と合わない評価は、誤った自信を生むおそれがあるとも述べています。
仮想例
仮の制作会社では、見積もりの下書きだけでなく、参照した料金表と確認事項も読みます。「納期不明」と正しく書いていても、別の欄で納品日を約束していたら、期待する結果を満たしていません。
A&Aの考え方
最終確認で落ちた例を使って修正したら、同じ例で次に合格しても、それは「既知の不具合を直せた結果」です。未使用の例で新たに確かめた結果とは分けます。最初の失敗を消さず、変更した版と直した内容を並べて残します。
出典に基づく事実
直した例をもう一度使う価値はあります。Anthropicは、合格するようになった評価にも、以前できたことができなくなっていないかを確かめる役割があると説明しています。
A&Aの考え方
検査例が数件しかなければ、無理に分けない選択もあります。普段の依頼や重要な例外がどちらかの組から抜けるなら、まず手持ちの例で直します。最終確認用の検査は未実施とし、人が全件を読む試用にとどめるのがA&Aの案です。
A&Aの考え方
例を集め、期待する結果を整理し、例を管理して実行記録を確かめるには、手間がかかります。外注費だけでなく、自社がその確認を続けられるかも判断に含めます。ここで示した分け方による不具合や費用の削減は、測定していません。
A&Aの考え方
試用で確認できていない問い合わせが来たときに備え、人が対応する範囲を残します。出力の合否をどう決めるか、どのような条件で繰り返し実行するかを先に整理する場合は、「AI納品物の検収条件：出力が毎回違っても合否を決める4項目」が補助になります。
調整と最終確認の結果を分けて残す
A&Aの考え方
問い合わせ例は、調整用と最終確認用を分けて扱います。
A&Aの考え方
外注先には合格条件を伝え、具体的な確認用の例を誰が持つか決めます。
A&Aの考え方
最終確認の結果を読み、試した範囲と未確認の範囲を区別します。
問い合わせ例は、調整用と最終確認用を分けて扱います。外注先には合格条件を伝え、具体的な確認用の例を誰が持つか決めます。最終確認の結果を読み、試した範囲と未確認の範囲を区別します。
よくある質問
最終確認用には何割を残せばよいですか。
一律の割合は示せません。出典も割合を指定していません。普段の依頼と重要な例外を両方の組で確かめられるかを見て判断します。例が少なすぎるなら、分けずに確認する選択があります。
最終確認に失敗した例は、外注先へ渡してよいですか。
修正に使うために渡せます。その後は既知の例として扱い、次に合格しても、未使用の例で合格したとは記録しません。別の未使用例で確認できていなければ、その点は未実施のまま残します。
自分一人でAIを組む場合にも使えますか。
使えますが、分けた例を見て調整すれば独立した最終確認にはなりません。どの例を調整に使ったかを残し、使っていない例の結果と区別します。管理する負担が大きければ、人が全件を読む試用を選ぶ方法もあります。
出典・編集情報
記事の調査で確認した一次資料です。資料の公開・更新時期と、調査時の確認日を分けて記載しています。
- Writing effective tools for agents — with agents
Anthropic · 2025-09-11
確認日 2026-10-30 - Demystifying evals for AI agents
Anthropic · 2026-01-09
確認日 2026-10-30