AIの更新で検収をやり直すか：外注先に任せる変更と自社で見る変更
外注先のテストで判定できる変更は任せ、判定に自社の業務知識が要る変更だけを自社で再検収します。
この記事の要点
- 外注先のテストで判定できるかで、AIへの変更を2つに分ける
- 要約の詳しさなど、良し悪しに業務の知識が要る変更は自社で再検収する
- 保守契約には、外注先がテストで見ている挙動の一覧を書く
- 外注先に任せる変更にも、記録と前の挙動に戻す窓口を付ける
目次
外注先のテストで判定できるかで変更を2つに分ける
A&Aの考え方
外注先がAIに入れる変更は、外注先のテストで判定できるものと、できないものの2つに分けます。ここでいう再検収とは、納品の後に入った変更について、発注した側がもう一度合否を確かめることです。
A&Aの考え方
分けるときに、変更の大きさは目安になりません。モデルを新しい版に上げても、見ている挙動が全部そのまま通ることがあります。逆に、プロンプトの一語を直しただけで、読み取る項目が一つ抜けることもあります。ここでいう挙動は、決まった入力にAIが返す答えや動きのことです。
出典に基づく事実
Anthropicは2026年1月9日に、AIエージェントの評価についての解説を公開しました。そこでは回帰テストを、以前できていた仕事を今もできるかを確かめる試験としています。この試験は合格率をほぼ100%に保つもので、合格率が下がれば何かが壊れた合図だと書いています。
出典に基づく事実
同じ解説は、採点のやり方を3つに分けています。コードによる採点、AIのモデルによる採点、人による採点です。人による採点は、専門家である利用者の判断に合う最も確かな基準だが、費用と時間がかかるとしています。
A&Aの考え方
この記事を書いているAutomate & Augment（A&A）は、ここに線を引く手がかりがあると読みます。コードとモデルによる採点は、外注先が自分の手元で回せます。人による採点で求められる専門家は、発注した側から見ると、たいてい自社の現場の人です。
業務の知識が要る変更は、自社で再検収する
A&Aの考え方
自社で再検収するのは、良し悪しの判定に自社の業務の知識が要る挙動に触れる変更だけです。たとえば、要約が現場で使える詳しさか、どの書類を人に回すかの基準が今のままでよいかは、外注先には判定できません。
出典に基づく事実
OpenAIは2025年4月25日に、ChatGPTのGPT-4oへ更新を入れました。その後、応答が利用者に調子を合わせすぎる方向へ目立って変わり、4月28日から前の版へ戻し始めたと報告しています。
出典に基づく事実
報告によると、更新の前に回した自動の評価は、挙動を見るものも含めておおむね良好に見えました。少人数の利用者で新旧を比べる試験でも、新しい版は好まれているように見えたとしています。
A&Aの考え方
A&Aはこれを、数字の試験が通っても、人が触って初めて分かる変化がある例として読みます。外注先のAIでは、その「人」にあたるのは自社の現場です。外注先のテストが全部通っても、現場で使える出来が保たれた証明にはなりません。
A&Aの考え方
一方で、全部の変更を自社で確かめると、確かめる手間が実際の危うさと関係なく増えます。確認が形だけになると、本当に見るべき変更も一緒に素通りします。自社で見る範囲を絞るのは、見るべき所に時間を残すためです。
| 外注先が入れる変更の例 | 壊れうる挙動を判定できるのは | 保守契約での扱い |
|---|---|---|
| 内部の処理を書き換えて応答を速くする（出力は同じ） | 外注先。出力の一致と時間をコードで測れる | 任せる。記録に残す |
| 読み取りに使うプロンプトの言い回しを整える（対象は同じ） | 外注先。過去の書類で正解との一致を測れる | 任せる。結果を月の報告で受け取る |
| モデルを新しい版に上げる | 外注先がテストで見ている挙動なら外注先、見ていない挙動なら自社 | 見ている挙動の内側なら任せる。外側に触れるなら再検収 |
| 要約の文体や詳しさを変える | 自社。読む人の基準でしか決まらない | 再検収。見本を見て合意する |
| 人に回す基準そのものを変えて、自動で処理する範囲を広げる | 自社。取りこぼしをどこまで許すかは自社が決める | 再検収 |
| 新しい種類の書類を対象に加える | 自社。その書類の正しさは自社の業務で決まる | 再検収。範囲の追加として外注先に別に見積もってもらう |
保守契約に、外注先が見ている挙動の一覧を書く
A&Aの考え方
保守契約に書くのは、変更の種類の一覧ではなく、外注先がテストで見ている挙動の一覧です。一覧の内側だけで説明がつく変更は外注先に任せ、外側に触れる変更は自社で再検収すると決めておきます。
A&Aの考え方
一覧は3列で足ります。挙動、どう判定するか、判定するのは外注先か自社か、の3つです。
仮想例
たとえば、請求書の読み取りを外注先に作ってもらった会社が、一覧に4行を載せるとします。これは仮の例です。1行目は金額・日付・取引先名の読み取りで、過去の請求書の正解と一致するかを外注先がコードで判定します。2行目の金額の桁と通貨の形も、外注先がコードで判定します。
仮想例
3行目は、読み取れない記載を、決めた基準どおりに人へ回せているかです。外注先がAIのモデルで採点し、年に4回は自社の担当者が採点の結果を見て、AIの採点が自社の判定とずれていないかを確かめます。4行目の、添える要約が現場で使えるかは、自社が判定します。
仮想例
この一覧なら、4行目に触れる変更と、一覧に無い挙動に触れる変更だけを自社で再検収します。
出典に基づく事実
Anthropicの解説は、評価の最初の材料として、利用者から報告された失敗を試験の問題に変えることを挙げています。そうすると、試験が実際の使われ方に沿うとしています。
A&Aの考え方
これを発注する側に当てはめると、自社で見つけた不具合を外注先に渡し、外注先のテストに足してもらう形になります。足した分だけ外注先が判定する行が増え、自社で見る範囲が狭まります。
A&Aの考え方
この一覧を保つには手間がかかります。保守費にその手間が入っているかを、契約の前に外注先に確かめます。手間が保守費に入っていない一覧は、やがて誰も直さなくなり、テストしているという一文だけが契約に残ります。
任せる変更にも、前の挙動に戻す窓口を付ける
A&Aの考え方
外注先に任せる変更にも、変更の記録と、前の挙動に戻してもらう窓口を付けます。任せた変更で何かが悪くなったときに、自社が気付いて戻せる道があって初めて、自社での確認を省けます。
出典に基づく事実
米国の国立標準技術研究所（NIST）は、AIのリスクを管理するための枠組みを公開しています。その中の「管理」の節にある項目4.1は、AIを使い始めた後の監視の計画を挙げています。計画には、利用者の声を集めて評価する仕組み、異議の申し立てと上書き、復旧、変更の管理が含まれるとしています。
出典に基づく事実
OpenAIは先の件について、小さな更新だと見込んで、事前に知らせなかったと書いています。今後は小さいかどうかに関わらず、更新を知らせるとしています。前の版へすべて戻す作業には、およそ24時間かかったと報告しています。
A&Aの考え方
契約に足すのは3つで足ります。変更の記録をいつでも見られる場所に置くこと、異議の宛先と返事の期限、前の挙動に戻してもらえる期間です。小さな変更も記録に載せてもらいます。
A&Aの考え方
ただし、外注先が使う外部のモデルの旧版は、いつまでも残るとは限りません。戻せる期間を約束できないときは、「前の版に戻す」ではなく「前の挙動に近づける作業を最優先する」と書く方が、守れる約束になります。
A&Aの考え方
NISTの枠組みは任意のものです。条項の文言は自社の顧問に確かめます。
まとめ
A&Aの考え方
外注先のテストで判定できるかで、AIへの変更を2つに分けます。要約の詳しさのように、良し悪しに業務の知識が要る変更だけを自社で再検収します。保守契約には、外注先がテストで見ている挙動の一覧を書きます。外注先に任せる変更にも、記録と前の挙動に戻す窓口を付けます。
外注先のAIに入る変更を、全部自社で確かめる必要はありません。外注先のテストで判定できる変更は任せ、要約の詳しさのように業務の知識が要る変更だけを自社で再検収します。その境目は、外注先が見ている挙動の一覧として保守契約に書き、任せる変更にも記録と前の挙動に戻す窓口を付けます。変更が年に数回の小さな仕組みなら、変更のたびに知らせてもらい自社で確かめる方が安く済みます。
よくある質問
小さな仕組みでも、この一覧は要りますか。
要らないことがあります。変更が年に数回で、確認がメール1通で済むなら、変更のたびに知らせてもらい自社で確かめる、と書く方が安く済みます。
外注先のテストが通っていれば、自社にとっても問題ないと言えますか。
言えません。テストが見ているのは以前の挙動と同じかどうかで、その挙動が今も現場の役に立つかではありません。
この一覧で、どこまでの変更を扱えますか。
外注先の側から入る変更までです。最初の検収の条件は「AI納品物の検収条件：出力が毎回違っても合否を決める4項目」で扱っています。自社の規程が変わったときの直し方は「自社の規程が変わったら誰がAIを直すか：外注先との保守契約に書く3つ」で扱っています。
出典・編集情報
記事の調査で確認した一次資料です。資料の公開・更新時期と、調査時の確認日を分けて記載しています。
- Demystifying evals for AI agents
Anthropic · 2026-01-09
確認日 2026-10-23 - AI RMF Core — Manage (NIST AI Risk Management Framework 1.0)
NIST AI Resource Center · NIST AI RMF 1.0 (2023), per the page
確認日 2026-10-23 - Expanding on what we missed with sycophancy
OpenAI · 2025-05-02
確認日 2026-10-23