「まだ使えない」と判断したAI機能を、いつ試し直すか決める
見送ったAI機能は、日程ではなく、見送りの理由になった失敗が直ったという知らせを合図に試し直します。
この記事の要点
- 見送りの理由は、モデルの性能ではなく起きた失敗の名前で書く
- 見送った日に、渡した入力・期待した結果・起きた失敗を1枚に残す
- 試し直しは日程ではなく、見送った失敗が直った知らせで起こす
- 試し直した結果は、見送りの記録に追記して次の引き金を書き直す
目次
見送りの理由は、起きた失敗の名前で書く
A&Aの考え方
見送りの記録とは、ある処理をAIに任せられないと判断したときに残す1枚のことです。渡した入力と、期待した結果と、起きた失敗の三つを書きます。
A&Aの考え方
見送りの理由は、モデルの性能ではなく、そのとき自分が見た失敗の名前で書きます。「まだ使えない」は性能の総評に見えますが、中身は数回の試行で見た失敗の要約です。
A&Aの考え方
要約だけを残すと、半年後に何を確かめれば判定が変わるのかが分かりません。だから試し直すたびに、確かめ方を作るところからやり直すことになります。
出典に基づく事実
一つの指示から資料や表を作るAIサービスを出している Genspark という会社があります。Anthropic が公開しているこの会社の事例ページに、同じ構想を二年間試し続けた話が出てきます。
出典に基づく事実
試していたのは、共同創業者で技術の責任者を務める人です。モデルが自分で次の手を決めて進むやり方を、2023年から考えていました。事例ページは、最先端のモデルが新しく出るたびに、おおよそ三か月ごと、二年にわたって試したと書いています。
出典に基づく事実
失敗は毎回同じでした。終わらない繰り返しに入る。同じエラーを何度も出す。情報が十分に集まったと判断して止まることができない。この三つのどれかだったと書かれています。
A&Aの考え方
この記事を書いている Automate & Augment (A&A) は、この話を次のように読んでいます。見送りの理由が、三つの具体的な失敗で固定されていました。だから、その失敗が出なくなった回を見分けられたのです。
出典に基づく事実
同じページは、2025年初めに、当時の Claude の最新版だった Claude Sonnet 3.7 で試し直したときのことを書いています。止めどきが分かり、どの道具を使うかも分かった。エラーが返ってきたときには、別のやり方を試そうとした。失敗したときに立て直すこの動きが、それまで欠けていた部分だった。そう書かれています。
A&Aの考え方
A&A はこの箇所を、見送りの理由になっていた三つの失敗が、この回は出なかったという意味に読みます。二年のあいだ、判定に使った基準は変わっていません。変わったのはモデルの側だけです。基準が同じだから、違いが分かります。
仮想例
たとえば、顧客の社内規程が改訂されたときに、変わった箇所だけを抜き出して一覧にする仕事があるとします。この例は仮のもので、実在の顧客の記録ではありません。この先この例に出てくる数値も、実測ではありません。
仮想例
半年前に試して「抜き出しの精度がまだ足りない」と判断したなら、残っているのはその一文だけです。何件のうち何件が、どの項目で外れたのかは残っていません。
見送った日に、三つの欄を1枚に残す
A&Aの考え方
見送った日に残すのは、渡した入力、期待した結果、起きた失敗の三つです。この三つがあれば、半年後に同じ入力をそのまま流して、同じ失敗が出るかを見られます。
A&Aの考え方
AIの出来を決まったやり方で判定する検査のことを、ここでは評価と呼びます。
出典に基づく事実
同じ記事は、最初の一歩として、開発中に手で確かめている内容から始めるよう勧めています。数百件は要りません。実際の失敗から取った20〜50件の簡単な課題が、よい出発点になると書かれています。もっと成熟した仕組みには、より大きく難しい評価が要ることもある、とも書かれています。
A&Aの考え方
見送った日は、合格の条件を一番手間をかけずに書ける日です。手で確かめた内容がまだ頭にあり、失敗した入力も手元にあります。
A&Aの考え方
入力の欄には、実際に渡した物をそのまま書きます。要約した説明ではなく、ファイルの種類と件数と、渡したときの指示の文です。
A&Aの考え方
期待した結果の欄には、合否を分ける線を書きます。「正しく抜き出す」ではなく「改訂された20条のうち20条を挙げ、挙げすぎが0件」のように、二人が別々に見ても同じ判定になる形にします。
A&Aの考え方
起きた失敗の欄には、何がどう外れたかを書きます。「精度が低い」ではなく「20条のうち3条で、変わっていない条文を変更として挙げた」のように、次に同じことが起きたと言える形にします。
A&Aの考え方
複数の機能をまとめて追うときは、失敗を機能ごとに分けて記録します。先ほどの会社が同じ基準を二年使えたのは、追っていた構想が一つだったからです。三つの処理を一度に見ると、どの失敗が消えたのかが分かりません。
仮想例
先ほどの仮の例なら、1枚にはこう書きます。入力は「改訂前と改訂後の社内規程のPDF 2通と、抜き出しの指示文」。期待した結果は「改訂された20条を20条とも挙げ、挙げすぎが0件」。起きた失敗は「3条で、変わっていない条文を変更として挙げた。2条で、表の中の数値の変更を見落とした」。
| 比べる点 | 日程で試し直す | 引き金で試し直す |
|---|---|---|
| 起こるきっかけ | 三か月ごとなどの予定 | 見送りの理由になった失敗が直ったという知らせ |
| 忙しい月に当たったとき | 飛ぶ。飛んだ回は戻らない | 知らせが届いたときだけ動くので、飛ばない |
| 1回の作業 | 確かめ方を作るところからやり直す | 記録に書いた入力をそのまま流す |
| 外れたとき | 何が足りないのか言えない | どの失敗が残っているかを言える |
試し直しは、失敗が直った知らせで起こす
A&Aの考え方
試し直しは、日程ではなく、外から届く知らせを引き金にして起こします。三か月ごとと決めると、忙しい月に飛びます。飛んだ回は戻ってきません。
出典に基づく事実
先ほどの会社は、その二年のあいだ、最先端のモデルが新しく出るたびに試しています。2025年初めに作り直したあとの収入について、同じページには、年に繰り返し入る分が2億ドルを超えたという記述と、2億5000万ドルを超えたという記述の二つがあります。どちらが現時点の数字かは、このページからは読み取れません。
A&Aの考え方
新しいモデルが出るたびに試す体制は、この規模の会社のものです。一人や数人の会社で同じ頻度を保つのは難しい、と A&A は見ています。だから頻度ではなく、知らせが届いたときに動く形に置き換えます。
A&Aの考え方
引き金に使えるのは、見送りの理由になった失敗を名指しで直したと書かれた更新の知らせです。「全体的に賢くなった」という案内は引き金になりません。記録に書いた失敗の名前と照らし合わせられる文だけを使います。
A&Aの考え方
引き金はもう二つ置けます。同じ処理を引き受ける仕組みが新しく出たときと、その処理の費用を誰かに聞かれたときです。どちらも、こちらの都合ではなく外から来ます。
A&Aの考え方
引き金が届いてから動く順番は決まっています。記録に書いた入力をそのまま流します。期待した結果と見比べます。同じ失敗・別の失敗・失敗なしのどれかに振り分けて、記録に書き戻します。新しい入力を作らないところが、前回との違いです。
仮想例
先ほどの仮の例なら、引き金は「表の中の変更を見落とす誤りを直した、と書かれた更新の知らせ」です。記録に書いた失敗の名前が、知らせの文の中に出てくるかだけを見ます。
結果は記録に書き戻し、次の引き金を書き直す
A&Aの考え方
試し直した結果は、合否のどちらでも記録に書き戻します。書き戻さないと、次の試し直しがまたゼロからになります。
A&Aの考え方
結果は三つに分かれます。同じ失敗が出た、失敗は消えたが別の失敗が出た、失敗が消えた、の三つです。
A&Aの考え方
同じ失敗が出たときは、日付と使ったモデルの名前だけを足します。引き金は変えません。記録の本体はそのまま使えます。
A&Aの考え方
失敗は消えたが別の失敗が出たときは、新しい失敗の名前を書き、引き金をその名前に書き直します。ここで古い引き金を消さないと、次に同じ知らせで無駄に動くことになります。
A&Aの考え方
失敗が消えたときは、記録を相手への返事の材料に変えます。半年前に答えた「まだ難しいです」の中身と、いま通った入力を並べて見せられます。
仮想例
先ほどの仮の例で、表の見落としが消え、変わっていない条文を挙げる誤りが残ったとします。記録には新しい失敗の名前として「変わっていない条文を変更として挙げる」を書きます。引き金は「似た言い回しを区別する精度を上げたという知らせ」に書き直します。この段階では、まだ「できます」とは答えません。
A&Aの考え方
この1枚に書いた合格の条件を満たしても、実際の業務で使える証明にはなりません。A&A はこの1枚を、試し直す価値があるかを決める基準として扱います。顧客に納めてよいか、社内で使い始めてよいかは、それとは別に決めます。
A&Aの考え方
三つの欄も、引き金の置き方も、結果の振り分けも、A&A の設計案です。二つの出典はどちらも、見送りの判断を文書として残すことにも、引き金の作り方にも触れていません。
A&Aの考え方
この決め方が合わない場合もあります。見送った対象が年に数件しかなく、聞かれたときだけ試せばよいなら、記録を持ち続ける手間のほうが高くつきます。
A&Aの考え方
試し直しに使えるのが週に数時間なら、その数時間は、記録の整備ではなく、聞かれた一件を一から試すために使うほうが速く済みます。記録が効いてくるのは、同じ処理について二度目の問い合わせが来たときからです。
A&Aの考え方
A&A が実際の案件で試し直しを何回やったか、1回に何時間かかったかという実績は、この記事では示しません。見送りから採用までの期間も、試し直しの間隔も、数字では出しません。
まとめ
A&Aの考え方
見送りの理由は、モデルの性能ではなく、そのとき起きた失敗の名前で書きます。
A&Aの考え方
見送った日に、渡した入力と、期待した結果と、起きた失敗の三つを1枚に残します。合格の条件を一番手間をかけずに書けるのは、その日です。
A&Aの考え方
試し直しは、日程ではなく、その失敗が直ったという知らせで起こします。知らせは外から来るので、忙しい月に飛びません。
A&Aの考え方
試し直した結果は、合否のどちらでも記録に書き戻し、次の引き金を書き直します。記録は使うたびに、次の判定にかかる手間を減らします。
見送ったAI機能を試し直す時期は、日程ではなく、見送りの理由になった失敗が直ったという知らせで決めます。見送りの理由をモデルの性能の総評として残すと、半年後に確かめ方から作り直すことになります。見送った日に、渡した入力と、期待した結果と、起きた失敗の三つを1枚に残せば、同じ入力をそのまま流すだけで判定できます。引き金に使えるのは、記録に書いた失敗の名前と照らし合わせられる更新の知らせだけです。試し直した結果は、合否のどちらでも記録に書き戻し、次の引き金を書き直します。ただし、この1枚に書いた合格の条件を満たしても、実際の業務で使える証明にはなりません。見送った対象が年に数件しかないなら、記録を持ち続けないほうが速く済みます。
よくある質問
見送りの記録は、どのくらいの詳しさで書けばよいですか。
二人が別々に見て、同じ合否を出せる詳しさまでです。同じ技術記事は、よい課題とは、その分野の専門家二人が別々に見ても同じ合否にたどり着くものだ、と述べています。入力の欄と期待した結果の欄が、その線を満たしているかで決まります。文章の量よりも、判定が割れないことが先です。
記録に書いた条件で合格した機能は、そのまま使い始めてよいですか。
そのままは勧めません。記録は、見送りの判断が変わったかを見る基準で、実際の業務で使えるかの判定とは別です。同じ技術記事も、自動の評価が実際の使われ方と合っていない場合に誤った自信を生むことがあると述べています。本番の件数で確かめる手順を、別に置きます。
見送った機能が何件もあるときは、どれから記録を作りますか。
いま誰かに聞かれている件からです。聞かれているということは、入力の例が相手の側にあり、期待した結果もすり合わせやすいからです。追う対象が複数になると失敗が混ざるので、記録は機能ごとに分けて持ちます。
出典・編集情報
記事の調査で確認した一次資料です。資料の公開・更新時期と、調査時の確認日を分けて記載しています。
- Genspark's Super Agent orchestrates 150+ tools with Claude
Anthropic · undated customer story page; no publication or update date shown
確認日 2026-10-23 - Demystifying evals for AI agents
Anthropic · 2026-01-09 published; page metadata shows a 2026-10-18 update
確認日 2026-10-23