問い合わせをAIで受ける前に：解決率より誤った解決と引き継ぎを数える
AIに問い合わせを任せるかは、解決率より誤った解決と引き継ぎの手間を数えて決めます。
この記事の要点
- AIの解決率には、客が黙って去った会話も入ることがある
- 過去の問い合わせを読み、人に戻す条件を先に決める
- 別の窓口に届いた苦情や再連絡で、誤った解決を数える
- 客に聞き直した回数で、人への引き継ぎの手間を測る
目次
解決率には黙って去った会話も入ることがある
出典に基づく事実
顧客対応のソフトを作るIntercomは、自社のAI窓口の製品Finの解決の数に、客が黙って会話を離れた件も入れています。同社のいう解決率とは、人が関わらずにFinが終えた会話の割合のことです。
出典に基づく事実
同社のヘルプによると、解決には2つの形があります。Finの最後の答えの後に、客が「助かりました」などと返した件と、それ以上の助けを求めずに会話を離れた件です。客が後で同じ会話に戻って助けを求めたら、その解決は差し引くとしています。
出典に基づく事実
Finの料金は、解決1件ごとに0.99ドルです。客が人と話したいと求めた会話は、解決にも請求にも入りません。答えに不満な客がそのまま去った会話は、解決として請求されるとヘルプは書いています。
A&Aの考え方
この記事を書いているAutomate & Augment（A&A）は、この数え方を次のように見ています。黙って去った客の中には、答えに納得した人と、間違った答えを受け取って諦めた人が混ざります。解決率だけでは、この2つを見分けられません。
A&Aの考え方
製品を買う場合も、Claudeなどで窓口を自作する場合も、何を解決と数えるかで数字は変わります。自社の窓口で解決率を見るときは、まずその数え方を確かめます。
過去の問い合わせで人に戻す条件を先に決める
A&Aの考え方
人に戻す条件は、AIの製品を選ぶ前に、自社の過去の問い合わせを読んで決めます。人に戻す条件とは、AIが答えずに担当者へ回す問い合わせの種類のことです。
出典に基づく事実
AnthropicのAI設計の指針「Building effective agents」は、問い合わせを種類で分け、種類ごとに別の処理へ回す組み方を挙げています。例は、一般の質問、返金の依頼、技術的な相談の3つです。指針は、まず一番単純な仕組みで試し、足りないときだけ複雑にするよう勧めています。
仮想例
ここからは仮の例で考えます。社員4人と業務委託2人で回すネットショップがあるとします。問い合わせには、業務委託の1人が平日の日中に返事をしています。社長は、夜と週末の問い合わせをAIに受けさせたいと考えています。
仮想例
この会社が直近2週間の問い合わせを読み、返事をしている業務委託の担当者が、自分では決められずに社長へ回した件に印を付けたとします。返品できるか、送料を値引くか、届け先を変えるか、といった件です。これらを人に戻す条件にし、当てはまる件にはAIが受け付けの返事だけを返します。ほかの種類はAIが答えます。
A&Aの考え方
条件を先に決めると、製品を比べる範囲が絞れます。任せない種類の問い合わせにまでAIが答える設定では、解決率が高く出ても、この会社には合いません。比べるのは、任せる種類での答えの正確さと、人に戻すときの渡し方の2つです。
A&Aの考え方
任せる種類の答えをそろえる手順は、「問い合わせ対応をAIで試す：まず頻出20件の答えをそろえる」で扱っています。
別の窓口への再連絡で誤った解決を数える
A&Aの考え方
誤った解決は、AI窓口の外に届いた再連絡で数えます。誤った解決とは、AIが間違った答えを返したのに、客が黙って去ったために解決に数えられた件のことです。
A&Aの考え方
客がメールや電話、SNSから改めて連絡してきた件は、AI窓口の数字では解決のまま残り得るとA&Aは考えています。ヘルプには、別の窓口から届いた連絡の扱いが書かれていないためです。
仮想例
先のショップで、AIが返品の質問に「対象外です」と答え、客はその場で会話を閉じたとします。3日後、同じ客からメールで「話が違う」と連絡が来ました。AI窓口の数字には解決が1件、メールには苦情が1件残ります。
仮想例
数え方は、たとえば次のようにします。AIに任せた種類の問い合わせについて、同じ客から1週間以内に別の窓口へ届いた連絡を拾います。1週間は仮の値で、客が答えの違いに気づくまでの日数に合わせて決め直します。試す期間だけ、業務委託の担当者が週に1回、メールと電話の記録から拾います。
出典に基づく事実
Anthropicの事例紹介には、Finを入れた不動産投資のサービスを営むFundriseも出てきます。同社は、問い合わせの半分を超える量を自動で受けながら、答えの正確さ95%を保ったとされています。この正確さをどう測ったかは、事例紹介に書かれていません。
A&Aの考え方
ここでは、自動で受けた割合と答えの正確さが、別の数として並んでいます。自社でも、誤った解決の件数を解決率の横に置きます。
聞き直した回数で引き継ぎの手間を測る
A&Aの考え方
人への引き継ぎの手間は、担当者が客に聞き直した回数で測ります。引き継ぎとは、AIが答えずに会話を担当者へ渡すことです。
出典に基づく事実
Anthropicの指針は、AIが作業の途中で人に戻り、情報や判断を求める組み方を挙げています。決めておいた確認の所や、先に進めなくなった所で止まり、人の返事を待つ形です。
A&Aの考え方
問い合わせの窓口では、人に戻す条件に当たった所が、この止まる所です。そのとき担当者へ渡るべきものは、客の最初の文、AIが返した答えの全文、AIが人に戻すと決めた理由の3つです。これらが渡らないと、担当者は同じことを客に聞き直します。客から見ると、同じ説明を2回することになります。
仮想例
先のショップで、AIが返品の質問を業務委託の担当者に回したとします。注文番号が渡っていなければ、担当者はまず注文番号を聞き直します。AIが古い返品の決まりを見て答えたかどうかも、答えの全文が無ければ分かりません。
A&Aの考え方
試す期間の終わりに、解決率、誤った解決の件数、聞き直した回数の3つを並べます。誤った解決か聞き直しが多い種類は、人に戻す条件に足します。この2つが目立つ間は、任せる範囲を広げません。
まとめ
A&Aの考え方
AIの解決率には、客が黙って去った会話も入ることがあります。AIを選ぶ前に、過去の問い合わせを読んで人に戻す条件を決めます。試す間は、別の窓口に届いた再連絡で誤った解決を数えます。あわせて、客に聞き直した回数で引き継ぎの手間を測ります。
AIの解決率には、客が黙って去った会話も入ることがあります。製品を選ぶ前に過去の問い合わせから人に戻す条件を決め、試す期間には解決率の横に、誤った解決の件数と聞き直した回数を並べて、任せる範囲を決めます。
よくある質問
問い合わせが月に数十件でも、誤った解決を数える意味はありますか。
あります。ただ、件数が少ないうちは、数を並べるより、AIに任せた会話と別の窓口に届いた連絡を1件ずつ読む方が早く分かります。
解決1件ごとに払う料金なら、解決率が高いほど得ですか。
そうとは限りません。IntercomのFinは、客が黙って去った会話も解決に数え、1件ごとに0.99ドルを請求します。答えに不満な客がそのまま去った会話も請求されるとヘルプは書いており、間違った答えで終わった会話も、客が同じ会話に戻らなければ請求に入り得ます。
返金や届け先の変更も、いずれAIに任せられますか。
今は人に戻す側に置きます。返金やアカウントの変更をAI窓口が自分で行うことは、Intercomのこれからの目標だとAnthropicの事例紹介は書いています。まずは、人に戻すときに渡す中身をそろえます。
出典・編集情報
記事の調査で確認した一次資料です。資料の公開・更新時期と、調査時の確認日を分けて記載しています。
- Fin AI Agent outcomes
Intercom · Updated 2026-09-23
確認日 2026-10-23 - Intercom provides customer service tech that delivers up to 86% resolution rates with Claude
Anthropic · Publication date not stated on page
確認日 2026-10-23 - Building effective agents
Anthropic · 2024-12-19
確認日 2026-10-23