AIニュースを経営判断に変える：人とAIの線を引き直す4つの手順
AIニュースが出たら、使える条件を確かめ、過去の仕事で作った試験問題で試してから、人とAIの線を引き直すかを決めます。
この記事の要点
- 新しい発表は、できることと、プランや言語など使える条件に分けて読む
- 請求書の突き合わせなど外注の過去20件に正解を付け、試験問題で確かめる
- 合否は「完了しました」の返事でなく、実際にできた物で見る
- 試験の結果で、人とAIの線を引き直すか、据え置くか、保留するかを決める
目次
新しい発表は、できることと使える条件に分けて読む
A&Aの考え方
AIニュースを経営判断に変えるとは、発表を読んだ後に、どの仕事を人に残し、どの仕事をAIに任せるかを決め直すことです。この分け目を、ここでは「人とAIの線」と呼びます。
A&Aの考え方
たとえば、外注先に頼んでいる請求書の突き合わせを、AIに先にやらせるかどうかです。こうした仕事を人からAIへ移すことを、ここでは線を動かすと言います。
A&Aの考え方
最初にするのは、発表を2つに分けて読むことです。一つは何ができるようになったか、もう一つは自社で使える条件がそろっているか、です。
A&Aの考え方
発表の見出しが伝えるのは、たいてい何ができるようになったかだけです。使える条件は、提供元の資料の注記や表の中にあります。
出典に基づく事実
例として、WordやOutlookを出しているMicrosoftの公式資料を見ます。同社の業務ソフトに付くAI (Microsoft 365 Copilot) には、やりたいことを文章で伝えるだけでエージェントを作れる機能があります。作ったエージェントは、その画面ですぐ試せると資料は書いています。
出典に基づく事実
同じ資料には、使える範囲を区切る条件も並んでいます。参照させられる社内の情報は、ライセンスによって違います。文章で伝えて作る方法は、対応した言語の設定でしか使えません。
出典に基づく事実
一部の機能はまだ正式版の前の試験提供で、Microsoftの先行プログラムに登録した組織だけが使えます。外部のサービスとつなぐ動作は、この機能の中では作れないとされています。
A&Aの考え方
この記事を書いているAutomate & Augment (A&A) は、人とAIの線を引き、設計から実装までを受け持っています。A&Aは、小さな会社では、多くの発表がこの条件を確かめる段階で対象から外れると見ています。
A&Aの考え方
たとえば、今のプランでは使えない場合、日本語の設定では動かない場合、今の道具とつながらない場合です。そうであれば、試す前に検討を終えてかまいません。Microsoftを使っていない会社でも、自社で使っている道具の発表で同じ所を見ます。
A&Aの考え方
資料を読んだ日も残します。A&Aが9月に同じページを確かめた時、更新日は8月19日でした。10月21日に開くと、更新日は9月30日になっていました。公式の資料も、発表の後に書き換わります。日付があれば、次に読む時に条件が変わったかを見比べられます。
自社の仕事で作った試験問題で確かめる
A&Aの考え方
条件が合った発表は、自社の試験問題で確かめます。ここで言う試験問題は、自社の過去の仕事から集めた課題のまとまりで、どの課題も正解が決まっています。文章の良し悪しのように正解が1つに決まらない仕事は、人が採点するので手間がかかります。最初は、正解が決まる仕事から選びます。
出典に基づく事実
Anthropicは、AIエージェントを作る開発チームに向けて、評価の作り方を解説しています。評価とは、入力と成功の条件を決めた課題でAIを試すことだとしています。
A&Aの考え方
この記事の試験問題は、この評価にあたります。
出典に基づく事実
そのうえで、より強いモデルが出た時に、評価を持つチームと持たないチームで差が出ると書いています。評価を持たないチームは何週間も試すことになり、持つチームは数日で新しいモデルの長所をつかんで切り替えられる、としています。
出典に基づく事実
始め方も書いています。最初は、実際の失敗から集めた20〜50件の簡単な課題が、よい出発点になるとしています。ふだん手で確かめていることから始め、不具合や問い合わせの記録も材料にする、という順番です。
A&Aの考え方
A&Aは、この考え方がAIを使う側の会社にも当てはまると考えます。経営者にとっての試験問題は、外注している仕事の過去の実例で足ります。表計算のシート1枚に入力と正解を並べれば、新しい仕組みなしで始められます。
A&Aの考え方
試す時は、新しいモデルや機能に20件を1件ずつ渡し、結果を正解の横に貼ります。
仮想例
たとえば、経理の外注先に、毎月の請求書と発注書の突き合わせを頼んでいるとします。過去の20件を選び、そのうち何件かは金額や数量が合わなかった件にします。どの件のどこが合わなかったかが、この試験の正解です。
A&Aの考え方
実例をAIに渡す前に、外注先との契約や守秘の取り決めと、使うAIサービスのデータの扱いを確かめます。取り決めでAIに渡せない仕事は、試験問題にしません。
A&Aの考え方
発表の見出しに並ぶベンチマークは、AIの性能を比べるための共通の試験です。その点数は他人が作った試験の結果で、自社の仕事でどうなるかは、自社の試験問題でしか分かりません。
A&Aの考え方
自分でClaude CodeやChatGPTを触った手応えも、触った仕事だけの結果です。外注している仕事で同じ手応えになるかは、その仕事の試験問題で確かめます。
| 観点 | 合格の条件 | 請求書の例 |
|---|---|---|
| 合わなかった件 | すべて挙げた | 金額や数量が合わなかった件が、AIの照合の表に全部ある |
| 合っている件 | 間違って挙げなかった | 金額も数量も合っている件を、AIが挙げていない |
| 2回の結果 | 同じ結果になった | 同じ20件を2回試して、挙げた件が2回とも同じ |
合否は「完了しました」でなく、実際にできた物で見る
A&Aの考え方
採点は、AIの返事ではなく、実際にできた物で行います。
出典に基づく事実
Anthropicは、AIの返事と、その後に残った結果を分けて扱っています。飛行機の予約を任されたAIが「予約しました」と答えても、見るべきは予約が本当に記録されているかだ、という例です。AIの出力は試すたびに変わるので、同じ課題を何度か試すとも書いています。
出典に基づく事実
AIに何かをさせたい場面と、させたくない場面の両方を試すことも勧めています。Anthropicは自社の例として、ウェブ検索を挙げています。検索が要る質問だけで試すと、何でも検索するAIになりかねません。そこで、検索が要らない質問も試験に入れたそうです。
仮想例
請求書の例では、金額も数量も合っている件が、この「させたくない場面」です。採点の観点は、次の3つになります。合わなかった件を、すべて挙げたか。合っている件を、間違って挙げなかったか。同じ20件を2回試して、同じ結果になったか。
仮想例
「照合しました」という返事は、この3つのどれの答えにもなりません。AIが出した照合の表そのものを、正解と並べて見ます。
仮想例
2回試して結果が変わった件は、任せると月によって結果がぶれる件です。その件は、線を動かした後も人が見る側に残します。
仮想例
請求書の例なら、それは今突き合わせをしている外注先です。正解づくりと採点を外注先に頼めば、経営者は結果を読んで決めるだけで済みます。追加の依頼になるので、その分の費用は見込んでおきます。頼む時は、線を動かした後も確かめる役を残すことを先に伝えます。
A&Aの考え方
返事と結果を分けて確かめる手順は、『AIの「完了」と届いた成果は別に確かめる：顧客の手元を見る4手順』でも扱っています。
試験の結果で、人とAIの線を引き直すかを決める
A&Aの考え方
試験の結果が出たら、その仕事の線を動かすか、据え置くか、保留するかを決めます。決めたことは、日付と理由を添えて1行で残します。
A&Aの考え方
合わない件を挙げ、合う件は挙げず、2回とも同じ結果なら、線を動かします。AIが先に突き合わせ、外注先は、AIが挙げた件を確かめ、挙げなかった件からも数件を選んで確かめます。
A&Aの考え方
3つの観点のどれかで外れたら、線は据え置きます。外れた件を試験問題に残し、次の発表で同じ問題を試します。
A&Aの考え方
条件が合わず試せない時は、保留にします。どの条件が変われば試すかを日付と一緒に書き、いったん検討を終えます。
A&Aの考え方
線を動かす時も、外注先には確かめる役を残します。AIが外れた時に、すぐ元の分担へ戻せるからです。線そのものの引き方は、『AIに任せる仕事と人が決める仕事：承認を置く3つの位置で分ける』で扱っています。
出典に基づく事実
Anthropicは、今はそこそこの出来でも、数か月後のモデルならできると見込んだ機能を先に作ることがあると書いています。新しいモデルが出た時に評価を回せば、その見込みが当たったかがすぐ分かるとしています。
A&Aの考え方
据え置いた仕事の試験問題も、同じ使い方ができます。今はAIに任せられない仕事でも、次の発表で同じ問題を回せば、線を動かせる日が来たかが分かります。
出典に基づく事実
一方でAnthropicは、評価が伸びを見落とした例も挙げています。コードの点検を手がける新興企業のQodoは、1回のやり取りで終わる課題だけで評価していたため、新しいモデルを最初は低く見ました。伸びていたのは、長く込み入った課題の方だったとされています。
A&Aの考え方
自社の試験問題が1回で終わる短い件ばかりなら、長い仕事も1件入れておくと、この見落としに気付きやすくなります。
まとめ
A&Aの考え方
発表は、できることと、プランや言語など使える条件に分けて読み、条件が合わないものは検討を終えます。
A&Aの考え方
条件が合えば、請求書の突き合わせなど、外注している仕事の過去の実例に正解を付けた試験問題で試します。
A&Aの考え方
採点は返事でなく、できた物で行い、AIにさせたくない場面も試します。
A&Aの考え方
試験の結果で、線を動かすか、据え置くか、保留するかを決め、日付と理由を1行で残します。
A&Aの考え方
A&Aは、AIが今どこまでできるかを、毎日の実運用で知る立場にいます。その立場から人とAIの線を引き、設計から実装までを同じ担当が受け持ちます。
AIニュースは、使える条件の確認と自社の試験問題の結果で、人とAIの線を動かすかを決める材料にします。試験問題が手元にあれば、次のニュースは、たくさん読んで追いかけるものではなく、試験を回して確かめるものになります。
よくある質問
試験問題は何件あればよいですか。
20件ほどで始められます。Anthropicは、開発チームに向けて、20〜50件の簡単な課題から始めればよいと書いています。件数より先に、正解がはっきり決まっている件を選びます。
発表でベンチマークの点数が上がっていれば、それで任せてよいですか。
点数だけでは決めません。Anthropic自身も、評価の点数は、評価の中身と、AIが実際にたどったやり取りの記録を読むまでそのまま受け取らない、としています。自社の仕事での出来は、自社の試験問題で確かめます。
発表が多すぎて、全部は試せません。
全部を試す必要はありません。使える条件が合わない発表は、その時点で検討を終えます。試すのは、条件が合い、しかも試験問題を持っている仕事に関わる発表だけです。
出典・編集情報
記事の調査で確認した一次資料です。資料の公開・更新時期と、調査時の確認日を分けて記載しています。
- Build agents in Agent Builder
Microsoft · Updated 2026-09-30
確認日 2026-10-21 - Demystifying evals for AI agents
Anthropic · 2026-01-09
確認日 2026-10-21