AIの有料PoCで何を確かめるか：外注する前に自社が決める4つ
AIの有料PoCは、自社が選んだ入力と失敗例で、自社の担当者が合否を言える形にしてから発注します。
この記事の要点
- 検証の入力は、外注先でなく自社が過去の案件から選ぶ
- 失敗例も検証に入れる。AIが正しく人へ戻した案件は合格に数える
- 自社側で、合否を確かめる人と時間を決める
- 続ける条件とやめる条件を、稟議に付ける1枚にする
目次
検証の入力は、自社が過去の案件から選ぶ
A&Aの考え方
有料PoCで試す案件は、外注先ではなく、発注する自社が過去の記録から選びます。有料PoCとは、本格的に作る前に、お金を払って、AIが自社の仕事で使えるかを試す段階のことです。
A&Aの考え方
外注先が商談で見せるデモ（動く様子を見せる実演）は、外注先が選んだ入力で動いています。うまく動く例を選ぶのは自然なことです。ただ、有料になっても同じ入力で試すと、「自社の案件ではどうなるのか」という問いが最後まで残ります。
出典に基づく事実
Anthropicは、AIのClaudeを作っている会社です。2026年1月9日に、AIの働きを評価する方法の解説を公開しました。その中で、最初は実際の失敗から集めた20〜50件の簡単な課題が良い出発点になる、と書いています。
出典に基づく事実
すでに動いている仕組みなら、不具合の記録と問い合わせの記録を見るよう勧めています。利用者から届いた失敗を試す課題に変えると、実際の使われ方を映せる、という説明です。
A&Aの考え方
この記事を書いているAutomate & Augment（A&A）は、ここで大事なのは件数より案件の出どころだと読みます。不具合や問い合わせの記録は、作った側ではなく使った側に残ります。有料PoCに置き換えると、入力を選ぶのは使う側、つまり発注する自社です。
A&Aの考え方
件数は、出典の20〜50件をそのまま持ち込みません。出典が扱っているのは製品の評価で、1社の検証では同じ種類の案件が6件しか出ないこともあります。稟議に付ける1枚に書くのは、件数の多さより「この10件は自社が選んだ」という1行です。
仮想例
たとえば、産業用機械の保守会社が、AIで報告書の下書きを作る有料PoCを外注するとします。現場の作業員がスマートフォンで写真と短い文を送り、そこから顧客に出す報告書の下書きを作る仕事です。
仮想例
外注先のデモは、写真がはっきりした3件で動いていました。発注側は工事部長に頼み、過去半年で書き直しが起きた報告書を10件選んでもらいます。この会社と数字は、説明のための架空の例です。
過去の失敗例も検証に入れる
A&Aの考え方
検証の10件には過去の失敗例を混ぜ、AIが書かずに正しく人へ戻した案件も合格に数えます。
出典に基づく事実
Anthropicの解説は、ある動きが起きるのが正しい場合と、起きないのが正しい場合の両方を試すよう書いています。片側だけを試すと、仕組みも片側に偏るという理由です。
A&Aの考え方
A&Aはこれを、発注の範囲を決める時に「AIがやらない方が正しい案件」を先に決めておくことだと読みます。決めずに検証すると、人へ戻った案件は失敗に数えられます。上司や取締役会が「結局人がやるなら意味がない」と受け取れば、設計どおりの動きが中止の理由になってしまいます。
A&Aの考え方
先に書いておけば、同じ結果が合格になります。合否は、戻す時に何が付いているかで決めます。読めなかった項目と足りない情報が書いてあれば合格です。何も書かずに空欄で返ってきたら不合格です。戻す時に付いているべきこの情報も、合否の文として発注の範囲に書き込みます。
仮想例
先の例では、10件のうち、写真が暗くて型番が読めない2件と、前回の報告と食い違う1件を「人へ戻すのが正解」の案件にします。戻す時に「型番が写真から読めない」のように項目が挙がり、作業員に聞き直す点が1文で書かれていれば合格です。
仮想例
残りの7件は、部長が手を入れずに顧客へ出せれば合格です。7件と3件は、説明のための仮の数です。
| 行 | 決めること | 例（架空） |
|---|---|---|
| 対象の業務 | AIに任せる1つの仕事 | 作業員の写真と短い文から、顧客向けの報告書の下書きを作る |
| 入力を選ぶ人と件数 | 自社の誰が、どの記録から選ぶか | 工事部長が、過去半年の書き直し案件から10件 |
| 通るべき例 | そのまま使える状態 | 7件。部長が手を入れずに顧客へ出せる |
| 人へ戻すべき例 | 戻す時に付いているべき情報 | 3件。読めない項目と聞き直す点が書いてある |
| 確かめる人・方法・時間 | 役職、今の手順、時間 | 工事部長、今の署名の手順、1件15分で計2時間半 |
| 続ける条件 | 本契約へ進む線 | 7件のうち6件以上が手直しなしで通り、3件が正しく戻る |
| やめる条件 | 止める線 | 通らない理由が3種類以上に散る |
| AIを更新した時 | 更新した時の確かめ方 | 同じ10件で確かめる。期間中は外注先の負担 |
自社で合否を確かめる人と時間を決める
A&Aの考え方
合否を言うのは自社の人です。そのため、確かめる人とかかる時間を発注前に自社で決め、確かめ方と合わせて発注の範囲に書き込みます。
出典に基づく事実
Lovableは、新しいClaudeが出るたびに、サービスを始めた時から使っている同じ確かめ方で、出来を測り直しています。壊れたアプリや、利用者の頼みと違うアプリがどれだけ出るかを測る確かめ方だと、Anthropicの顧客事例ページは紹介しています。
A&Aの考え方
A&Aは、発注側の立場もこれに近いと考えます。AIの中身を読めない発注側は、自分の手元にある確かめ方でしか合否を言えません。確かめ方は新しく作らず、今の仕事の手順をそのまま使います。
出典に基づく事実
Anthropicの解説は、成果を「試し終えた時に実際に残っている状態」と定めています。AIが「予約しました」と言ったかではなく、予約の記録が実際に残っているかを見る、という例です。良い課題とは、2人の専門家が別々に見ても同じ合否になるものだ、とも書いています。
A&Aの考え方
このため、合否の文は「下書きができた」ではなく「部長が手を入れずに顧客へ出せた」と書きます。書いたら自社の2人に同じ下書きを見せ、同じ合否になるかを確かめます。2人の判断が割れるなら、その文はまだ合否に使えません。
A&Aの考え方
時間も発注の範囲に書きます。確かめる人に時間が無いと、検証はAIの出来と関係なく止まります。時間が取れない時は件数を減らします。10件が判定されずに終わるより、5件を確実に判定する方が、稟議に付けられる結果が残ります。
仮想例
先の例では、確かめる人は工事部長です。方法は、顧客に出す前に部長が報告書を読んで署名する、今の手順のままです。時間は1件15分として、10件で2時間半です。2週間の期間のどの日に取るかまで決めます。数字はどれも仮の値です。
続ける条件とやめる条件を、稟議に付ける1枚にする
A&Aの考え方
ここまでの3つの決めごとに、続ける条件とやめる条件を足して1枚の表にし、発注の稟議に付けます。上司や取締役会からの「何を確かめるのか」「失敗したらどこで止めるのか」という問いに、この1枚で答えられます。
A&Aの考え方
1枚の行は、対象の業務、入力を選ぶ人と件数、通るべき例、人へ戻すべき例、確かめる人・方法・時間です。その下に、本契約へ進む線である続ける条件と、止める線であるやめる条件を置きます。最後の行に、AIを更新した時の確かめ方を書きます。
仮想例
先の例で埋めると、続ける条件は「7件のうち6件以上が手直しなしで通り、3件が正しく戻る」です。やめる条件は「通らない理由が3種類以上に散る」です。AIを更新した時は同じ10件で確かめ、期間中はその負担を外注先が持つと書きます。
A&Aの考え方
やめる条件は、発注側を守る行です。「6件通れば続ける」と書いておけば、4件しか通らなかった時に、費用を足して続けるか、いったん持ち帰って原因を見直すかを、落ち着いて選べます。やめる条件の無い検証は、終わりが決まりません。
A&Aの考え方
どちらにも当たらない結果の時は、期間を延ばさず、その時点の結果で続けるかを上司や取締役会と決め直します。
A&Aの考え方
本契約の後も、AIの版を上げたり、指示の文を直したりするたびに、前は通った案件が通らなくなることがあります。検証で選んだ10件と合否の文は、その時の確かめにそのまま使えます。1枚の最後の行で、更新した時も同じ10件で確かめることと、その負担を誰が持つかを決めておくのはそのためです。
まとめ
A&Aの考え方
検証の入力は、外注先でなく自社が過去の案件から選びます。
A&Aの考え方
失敗例を混ぜ、AIが正しく人へ戻した案件も合格に数えます。
A&Aの考え方
合否を確かめる人と時間を自社で決め、確かめ方と合わせて発注の範囲に書きます。
A&Aの考え方
この3つに続ける条件とやめる条件を足して、稟議に付ける1枚にします。
有料PoCで発注側が受け取るのは、外注先のデモの再演ではなく、自社が選んだ入力で自社の人が合否を言える結果です。入力、失敗例、確かめる人と時間を発注前に決め、続ける条件とやめる条件と合わせて1枚にし、稟議に付けます。予算と確かめる人が決まる前なら、有料にせず、無償の短いデモか相談から始めます。
よくある質問
合否の条件は、外注先が書くものではないのですか。
文を整えるのは外注先でも構いません。ただ、入力と確かめ方は発注側にしか出せません。過去の失敗例も、確かめる人の時間も、自社の中にしかない情報です。外注先の案を受け取ったら、この2つが自社の言葉で入っているかを見ます。
予算がまだ決まっていない段階でも、この1枚を作りますか。
作りません。その段階では、無償の短いデモか相談の方が速く進みます。稟議に要るのが「技術的にできるか」の証拠だけなら、この表を作ることがかえって話を止めます。有料PoCは、予算と確かめる人が決まってから、この1枚を付けて発注します。
社内に、この範囲を書ける人がいない時はどうしますか。
外注先とは別の、発注側に立つ人に頼む方法があります。外注先が書いた範囲だけでは、自社の失敗例と確かめ方が抜けやすいからです。頼んだ場合も、入力を選ぶのと合否を言うのは自社の人です。頼む相手には、その2つを範囲に書き込むところを手伝ってもらいます。
出典・編集情報
記事の調査で確認した一次資料です。資料の公開・更新時期と、調査時の確認日を分けて記載しています。
- Lovable Claude Platform (API) case study
Anthropic · Publication date not stated
確認日 2026-10-23 - Demystifying evals for AI agents
Anthropic · 2026-01-09
確認日 2026-10-23