AIエージェントの「なぜ」に答える記録：発注前に決める4項目
社員や取引先にAIの処理を「なぜ」と聞かれて答えられるかは、発注前に決める4項目で決まります。
この記事の要点
- 記録には、AIが呼んだ道具（台帳を引くなどの操作）と、呼ばなかった道具を残す
- 処理から問い合わせが来るまでの最長の期間に合わせて、残す日数を決める
- 記録は外注先の手元だけに置かず、自社で読める人を決める
- 記録を読んで答える作業は、月の上限件数を見積書に載せる
目次
記録には呼んだ道具と、呼ばなかった道具を残す
A&Aの考え方
外注先に作ってもらうAIエージェントには、呼んだ道具と引数、返った中身、呼べたのに呼ばなかった道具を記録させます。ここで言う実行記録とは、AIが1件の仕事の途中で何を呼び、何を受け取ったかを順に残したもののことです。
A&Aの考え方
AIエージェントは、取引先の台帳を引く、メールを送るといった操作を自分で選んで呼び出し、仕事を進めます。この操作を「道具」(英語では tool)、道具に渡す値を「引数」と呼びます。
出典に基づく事実
Anthropic は、道具の作り方を説明した技術記事で、AIエージェントが起こしうる失敗を4つ挙げています。違う道具を呼ぶ、正しい道具に違う引数を渡す、呼ぶ道具が少なすぎる、返った中身を取り違える、の4つです。
A&Aの考え方
この記事を書いている Automate & Augment (A&A) は、このうち「呼ぶ道具が少なすぎる」に注目します。呼ばなかったことは出力のどこにも書かれないので、その時に呼べた道具の一覧を残さないと、後から気づけないからです。
仮想例
たとえば、届いた請求書を取引先と金額で担当者に振り分けるAIエージェントを外注したとします。これは仮の例です。
仮想例
記録には1件ごとに、次の行が並びます。「台帳を引き、取引先の番号が返った」「金額を判定する道具を呼び、区分が返った」「例外の一覧は呼べたが、呼ばなかった」という行です。3行目があれば、「なぜ例外にならなかったのか」と聞かれた時に「例外の一覧を見ていません」と答えられます。
出典に基づく事実
調べる時は、道具の呼び出しと返事を含む生の記録を読むよう勧めています。AIが書いた考えの筋道に出てこない動きを拾うためです。AIは考えていることをいつも言うとは限らない、とも書いています。
A&Aの考え方
後からAIに理由を聞いても、返ってくる説明は記録の代わりにならない、と A&A は考えます。AIは聞かれれば筋の通った説明を返しますが、それが実際の動きと合っている保証は無いからです。
問い合わせまでの期間に合わせて、残す日数を決める
A&Aの考え方
記録を何日ぶん残すかは、社員や取引先が「あの件はなぜ」と聞いてくるまでの最長の期間に合わせて決めます。保存の日数に一般的な正解は無いので、この記事では推奨の日数を出しません。
A&Aの考え方
ここで言う最長の期間は、AIがある件を処理した日から、その件について問い合わせが来るまでの日数のうち、いちばん長いものです。
仮想例
先の請求書の例で、月末に締めた請求について、翌月の半ばに取引先から問い合わせが来ることがあるとします。この場合は、締め日から問い合わせまでの日数より長く残す必要があります。
A&Aの考え方
先月と今月で動きが変わった理由を聞かれた時は、両方の月の記録が要ります。月をまたいで比べる問いにも答えるなら、比べたい月の記録が両方とも残っている日数にします。
A&Aの考え方
ただし、長く残せばよいわけでもありません。記録には取引先の名前や金額が入ることがあり、日数が延びるほど預かる情報も増えます。問い合わせが来るまでの最長の期間までは残し、それを過ぎたら消すと決めておけば、外注先も置き場の費用を見積もれます。
A&Aの考え方
記録が要らない場合もあります。入力を受けて1回判定するだけの処理なら、同じ入力でもう一度動かして見せる方が安く済みます。記録が見合うのは、処理が何段にも分かれていて、もう一度動かしても同じ道筋を通る保証がない時です。
仮想例
請求書の例は、台帳を引き、金額を判定し、例外の一覧を見るかどうかを選ぶ、何段にも分かれた処理です。もう一度動かして正しく振り分けられても、先月その件がどう処理されたかは分かりません。
A&Aの考え方
下の表は、よく聞かれる問いごとに、出力だけで答えられるかと、答えに要る記録を並べたものです。
| 聞かれること | 出力だけで答えられるか | 答えに要る記録 |
|---|---|---|
| この件はなぜこの担当者に回ったのか | 一部だけ | 呼んだ道具と引数 |
| なぜ例外として扱われなかったのか | 答えられない | 呼べたのに呼ばなかった道具 |
| 先月と今月で動きが変わったのはなぜか | 答えられない | 両方の月の記録 |
| この処理に毎月いくらかかっているか | 答えられない | 呼んだ回数・時間・失敗の数 |
記録を外注先だけに置かず、自社で読める人を決める
A&Aの考え方
記録は外注先の環境だけに置かず、自社の誰がどこで読めるかを、発注の前に決めます。外注先の手元にしか無いと、聞かれるたびに調べてもらって待つことになり、契約が終わると読めなくなるおそれもあります。
出典に基づく事実
Anthropic は、AIエージェントの評価を解説した別の記事で、実行記録を定義しています。出力、道具の呼び出し、推論、途中の結果を含む1回分の完全な記録、という定義です。同じ記事で Anthropic は、記録を見るための仕組みに投資し、定期的に時間を取って記録を読んでいる、と書いています。
A&Aの考え方
発注側に要るのは、1件の番号で探せて、呼んだ道具・引数・返った中身・呼ばなかった道具が時刻の順に並ぶ形です。社長が自分で開いて読める形なら、簡単な問い合わせは外注先を待たずに答えられます。
A&Aの考え方
検収 (納品物を確かめて受け取ること) の時には、どれか1件を選び、この4つがそろって出てくるかを外注先と一緒に見ます。出力が正しければ検収は通るので、記録の抜けは、説明を求められた時に初めて見つかりがちです。
仮想例
請求書の例なら、請求書の番号を入れるとその件の記録が開き、台帳を引いた時刻、判定の結果、見なかった例外の一覧が並ぶ形です。
A&Aの考え方
読める人は、問い合わせに答える人に絞ります。記録には取引先の名前や金額が入るので、読める人を広げるほど、預かる情報を見る人も増えるからです。
A&Aの考え方
契約を終える時に、まだ残す日数の内にある記録をどこへ移すかも、発注の前に決めておきます。
読んで答える作業は、上限件数を見積書に載せる
A&Aの考え方
記録を読んで回答を書く作業は、月に何件までを運用費に含めるかを決めて、その上限件数を見積書に有償の行として書いてもらいます。記録がそろっていても、読んで日本語の答えにする手間は人の仕事として残るからです。
出典に基づく事実
評価を解説した記事は、人が実行記録を読むやり方の弱みとして、時間がかかることと、規模を広げにくいことを挙げています。そのうえで、ほかの方法の隙間を埋めるために続ける作業を挙げています。利用者から届いた指摘を絶えず振り分けることと、記録を毎週抜き出して読むことです。
A&Aの考え方
A&A は、説明に使う記録があれば、毎月の費用を確かめる材料もそろうと考えます。道具を呼んだ回数、かかった時間、失敗の数は、同じ記録から数えられるからです。
A&Aの考え方
見積書には、1件あたりの調査範囲、月の上限件数、超えた時の扱いの3つを書いてもらいます。上限件数は、外注先が記録を読むのに使える時間の上限を、件数で表したものです。見積書に無い作業は外注先の好意に頼ることになり、答えが返る早さも約束されません。
仮想例
請求書の例なら、1件あたりの調査範囲は「その請求書の記録を読み、どの道具の結果で担当者が決まったかを答えるまで」と書けます。超えた時の扱いは、翌月に回すか、1件ごとに別の料金にするかを決めておきます。
A&Aの考え方
上限件数をいくつにするかは、自社で月に何件ほど「なぜ」と聞かれるかで決まります。そのため、この記事では推奨の件数を出しません。
まとめ
A&Aの考え方
記録には、AIが呼んだ道具（台帳を引くなどの操作）と、呼べたのに呼ばなかった道具を残します。
A&Aの考え方
残す日数は、処理から問い合わせが来るまでの最長の期間に合わせ、それを過ぎた分は残しません。
A&Aの考え方
記録は自社で読める人を発注前に決め、検収で1件の記録を外注先と見ます。
A&Aの考え方
記録を読んで答える作業は、月の上限件数を決めて見積書の有償の行にしてもらいます。
AIエージェントの「なぜ」に答えられるかは、発注前に決めた記録の中身、残す日数、自社で読める人、読む作業の上限件数で決まります。次に決めるのは、自社で「なぜ」と聞かれる件が、処理から何日後に、月に何件ほど来ているかを数えることです。
よくある質問
外注先が「ログは取っています」と言えば足りますか。
中身を見るまでは分かりません。呼べたのに呼ばなかった道具が残っているか、何日ぶん残るか、自社で読めるかを、見本の1件で見せてもらいます。
出力が毎回違う問題も、記録で解決しますか。
解決しません。記録が答えるのは、ある件がどう処理されたかです。同じ依頼で同じ結果が出るかは検収条件の話で、「AI納品物の検収条件：出力が毎回違っても合否を決める4項目」で扱っています。
記録に取引先の名前や金額を入れてもよいですか。
AIに渡すと決めた顧客データの範囲の中で入れます。範囲の決め方は「AI外注で顧客データをどこまで渡すか：発注前に決める3つの区分」で扱っています。
出典・編集情報
記事の調査で確認した一次資料です。資料の公開・更新時期と、調査時の確認日を分けて記載しています。
- Writing effective tools for agents — with agents
Anthropic · 2025-09-11 (page metadata records a 2026-10-13 update)
確認日 2026-10-24 - Demystifying evals for AI agents
Anthropic · 2026-01-09 (page metadata records a 2026-10-18 update)
確認日 2026-10-24