AIサービスの苦情を検査項目にする：先に振り分け、例を対で足す
AIサービスへの苦情は先に振り分け、検査項目にするものは起きるべき例と起きてはいけない例を対で足します。
この記事の要点
- 例で書けるかどうかで、届いた苦情を先に振り分ける
- 検査項目は、起きるべき例と起きてはいけない例を対で足す
- 例で書けない苦情はサービスの説明へ回す（検査にせず、直すか対象外と明示）
- AIへの指示を変えるたびに、対の検査を全部流す
目次
例で書けるかどうかで、届いた苦情を先に振り分ける
A&Aの考え方
自社のサービスにAIを組み込んだら、顧客から届いた苦情は、検査項目にするかどうかを先に振り分けます。ここでいう検査項目とは、AIへの指示や設定を変えるたびに流して、決めた入力に決めた結果が返るかを確かめる例のことです。開発の言葉では、テストケースと呼ばれます。
A&Aの考え方
振り分けの基準は一つです。その苦情を、具体的な入力と結果の例で書けるかどうかです。「この領収書なら交際費になるはずだった」は書けます。「全体的に精度が低い気がする」は書けません。
出典に基づく事実
Anthropicは2026年1月に、AIエージェントの検査の作り方を解説する記事を出しました。すでにサービスを提供しているなら、不具合の記録と、受けた問い合わせの一覧を見るように勧めています。利用者が知らせてきた失敗を検査に変えると、検査が実際の使われ方を映すようになる、と書いています。
出典に基づく事実
同じ記事は、良い検査の条件も挙げています。その分野に詳しい二人が別々に見て、同じ合否を出せることです。検査項目の書き方があいまいだと、そのあいまいさが測った数字のぶれになる、としています。
A&Aの考え方
この記事を書いているAutomate & Augment (A&A) は、この二つを合わせて振り分けの基準にしています。苦情は検査の良い材料です。ただ、合否が人によって割れる苦情まで入れると、検査そのものがぶれます。
A&Aの考え方
だから足す前に、例で書けるかどうかで分けます。調べる前に種類を決める順番は、サポートの現場にも例があります。
A&Aの考え方
調べる前に種類を決めるこの順番は、苦情を検査にする時にも使えるとA&Aは考えます。ただし、同社が書いているのはサポートの回し方で、検査項目の作り方ではありません。また、自社の道具を紹介する記事で、第三者が検証したものではありません。
片側だけの検査は偏るので、例を対で足す
A&Aの考え方
検査項目にすると決めた苦情は、「その動作が起きるべき例」と「起きてはいけない例」を一組にして足します。一通の苦情が指すのは、たいてい「やらなかった」か「やりすぎた」のどちらか一方です。届いた側だけを足すと、検査は片側にだけ厚くなります。
出典に基づく事実
Anthropicの同じ記事は、ある動作が起きるのが正しい場合と、起きてはいけない場合の両方を試すように書いています。片側だけを試す検査は、片側に寄った調整を生むとしています。
出典に基づく事実
同社は、自社の対話AIであるClaudeのウェブ検索で、この問題に当たったことも書いています。検索が足りない側と、しすぎる側の釣り合いを取るのは難しく、指示と検査の両方を何度も直したとしています。
A&Aの考え方
苦情を一件ずつ足すやり方は、これと同じ偏りにはまるとA&Aは考えます。「やらなかった」という苦情に合わせて直すと、AIは「やる」側へ寄ります。数週間後に届く「やりすぎ」の苦情は、別の件に見えて、前の直しが生んだものかもしれません。
仮想例
たとえば、記帳代行の会社が、領収書の勘定科目をAIに振らせているとします。以下は仮の例で、実在の顧客の記録ではありません。ある顧客から「取引先との会食が会議費になっている」と苦情が来たので、AIへの指示に「飲食を伴う接待は交際費」と一行足しました。
仮想例
三週間後、別の顧客から「社内の打ち合わせで買ったお茶まで交際費になっている」と届きます。
仮想例
対で足すなら、最初の苦情が来た時点で、次の二つを書きます。取引先2名との会食1万2千円は交際費にする。社内2名の打ち合わせ用の飲み物800円は交際費にしない。
仮想例
二つを並べると、この会社が分けている条件は「社外の人が同席したか」だと分かります。指示に足す一行も、「社外の人が同席する飲食は交際費、社内だけの飲食は会議費」に変わります。
A&Aの考え方
起きてはいけない例は、記録からはまず出てきません。やりすぎた処理もエラーにはならず、正常に終わった一件として残るからです。こちらの側は、対を書く時に、業務を知る人が自分で作ります。
| 届いた苦情の形 | 対で書けるか | 行き先 |
|---|---|---|
| この入力ならこの結果が出るべきなのに出ない | 書ける。届いた側が起きるべき例。起きてはいけない例は自分で作る | 対で検査に足す |
| この入力でこの結果が出てはいけないのに出る | 書ける。届いた側が起きてはいけない例。起きるべき例は正しく動いた記録から選ぶ | 対で検査に足す |
| 全体的に精度が低い気がする | 書けない。どの入力で何が出てはいけないかが決まっていない | 検査にしない。まず一件の例を聞き、出なければ扱う範囲をサービスの説明に書き直す |
| この用途にも使いたい | 書けない。今の約束の外にある | 検査にしない。対象外と明示するか、要望として残す |
例の対で書けない苦情はサービスの説明へ回す
A&Aの考え方
例の対で書けない苦情は、検査項目にしません。行き先は二つです。サービスの説明を直すか、対象外だと明示するかです。
A&Aの考え方
書けないとは、どの入力で何が出れば正しく、何が出てはいけないのかを、具体的な例で一つも書けないことです。「たまに変」「精度が低い気がする」という苦情では、何が出てはいけないのかを、顧客も自分もまだ決めていません。
出典に基づく事実
Anthropicの同じ記事は、不具合の報告のような利用者からの反応について、弱い所も挙げています。なぜ失敗したのかを、利用者はめったに説明しない、としています。
A&Aの考え方
「たまに変」という苦情が届くのは、そのためでもあるとA&Aは考えます。受けたら、まず顧客に、どの書類でどんな結果が出たかを一件だけ聞きます。例が一件出てくれば、その苦情は書ける側へ移ります。
A&Aの考え方
約束の書き方がずれているなら、説明を直します。たとえば、手書きの領収書も読むのか、外貨の請求書も扱うのかを、サービスの説明に書き足します。そもそも引き受けていない用途なら、対象外だと明示し、要望として別に残します。
A&Aの考え方
合否が割れる項目を検査に混ぜると、落ちるたびに、AIが悪いのか項目があいまいなのかを調べ直すことになるとA&Aは考えます。書けない苦情を外すのは、検査が落ちた時に、その意味をすぐ読み取れるようにしておくためです。
A&Aの考え方
問い合わせを受けた直後に、修正・説明・新機能のどれに回すかは、別の記事で扱っています。題は「AIサービスの問い合わせを3つに分ける：次に作るか説明を直すか」です。ここで扱うのは、直すと決めた後に、何を検査に残すかです。
AIへの指示を変えるたびに、対の検査を全部流す
A&Aの考え方
対にした項目は、AIへの指示や使うモデルを変えるたびに、全部まとめて流します。両側とも通っていれば、前の苦情が戻っていないと確かめられます。
出典に基づく事実
Anthropicの同じ記事は、検査を二種類に分けています。一つ目は、AIが何をうまくできるかを測る検査で、合格率が低い所から始めるものとしています。もう一つは、以前できていた仕事を今もできるかを確かめる検査で、ほぼ100%の合格率が求められるものとしています。
出典に基づく事実
二つ目の検査は後戻りを防ぐためのもので、点が下がれば何かが壊れた合図になる、と書いています。できることを増やす直しを重ねる間も、別の所に問題が出ていないかをこの検査で確かめるのが大事だ、ともしています。
A&Aの考え方
苦情から作った対は、この二つ目に入れるとA&Aは考えます。足した時点で、両側とも通るはずです。通らないなら、まだ直り切っていないか、対の書き方が合っていないかのどちらかです。それを片付けてから入れます。
A&Aの考え方
入れた後に片側だけが落ちたら、その直しが反対側へ寄った合図です。どちらの側が落ちたかで、次に指示を直す向きも決まります。
A&Aの考え方
片側だけの検査が、実際に何件の反対向きの苦情を生むかは、どちらの出典も測っていません。A&Aも、苦情の件数や再発の率は測っていません。
A&Aの考え方
指示を直すのが業務委託の担当者でも、同じやり方で回せます。直した人に、対の項目が全部通ったかを返してもらえば、社長は直しを一つずつ読み直さずに済みます。合否を決める例は社内で書き、流す仕組みは外注に任せる、という分け方です。
まとめ
A&Aの考え方
届いた苦情は、例で書けるかどうかで先に振り分けます。検査にすると決めたものは、起きるべき例と起きてはいけない例を一組にして足します。書けない苦情は検査にせず、サービスの説明を直すか、対象外だと明示します。対にした項目は、AIへの指示を変えるたびに全部流します。
苦情を検査に変える時に決めるのは、どの苦情を残すかと、残す苦情をどの単位で足すかです。例で書けるかで先に振り分け、書ける苦情は起きるべき例と起きてはいけない例の対で足します。AIへの指示を変えるたびに全部流し、両側が通るかを見ます。
よくある質問
苦情が月に数件しかなくても、対で書くのですか。
書きます。片方の例しか書けない時は、検査には入れず、書けなかった側を一行のメモに残します。次に同じ苦情が来た時、そのメモから対を書き始められます。
検査項目の例は、外注先に書いてもらえますか。
合否を決める例は、業務を知る社内の人が書くのが向いています。Anthropicの記事は、良い検査の条件を、その分野に詳しい二人が同じ合否を出せることとしています。流す仕組みを用意する作業は、外注先に任せられます。
計算や転記のように、答えが一つに決まる処理でも対が要りますか。
要らないことが多いとA&Aは考えます。やりすぎる側が無いので、一件ずつ直して足しても片側に寄りにくいからです。対が要るのは、やるかやらないかをAIが判断する所です。
出典・編集情報
記事の調査で確認した一次資料です。資料の公開・更新時期と、調査時の確認日を分けて記載しています。
- Demystifying evals for AI agents
Anthropic · 2026-01-09
確認日 2026-10-24 - Supporting the world’s most AI-native companies with a 2-person team
Gumloop · 2026-02-17
確認日 2026-10-24