AIサービスの商談デモに顧客の課題を持ち込む：比較できる評価セットの作り方

A&Aの考え方

購入判断に使う商談デモでやることは、自社の成功例を増やすことではありません。買い手が許可した匿名の代表タスクを3件から5件用意し、同じ入力を複数回走らせて、通る・部分点・人へ返すの三段で判定できる評価セットに変えることです。デモを一回の実演として設計している限り、買い手の手元には「自分の仕事ではどうなるのか」という最初の疑問がそのまま残ります。上手な実演は、上手だという情報しか渡しません。

A&Aの考え方

A&Aがこの一文から商談デモへ持ち込むのは、取り置くという発想です。売り手が何度も練習したデモは、定義上その売り手の訓練データです。手順を調整し、入力を選び、うまく通る例を残してきた結果がその実演だからです。同じ入力で通ることは、その入力で通ることしか示しません。買い手が知りたいのは取り置かれた側、つまり練習に使われなかった自社の案件での挙動です。だとすれば、デモの価値は演技の完成度ではなく、その場の入力が誰の手元から来たかで決まります。

A&Aの考え方

反対の立場を先に書いておきます。商談のデモは相手の不安を減らして話を前へ進めるためのものであって、うまくいかない例を見せれば商談は止まる、という考え方です。これは実際に正しい場面があり、最後の節で条件を書きます。ここで扱うのは、相手がすでに導入を検討していて、他社との比較や社内の説明に使う材料を探している段階のデモです。その段階では、比較できない実演は情報として弱い。

A&Aの考え方

二つの並びの違いは、誰が課題を選んだかではありません。依頼文の形です。弱い例には、すでに答えの在り処が書かれています。どのログを、どの条件で引くかが依頼文の中にある。強い例は状況が書かれていて、どこを見るかは受け手が決めます。商談デモの入力に置き換えると、売り手のデモ台本はほぼ弱い側です。操作の順番が決まっていて、その順番どおりに進むから通る。買い手の仕事は強い側にあります。「この連絡が来た。何が起きているか調べて、次に何をすべきか書いて」という形で届くからです。代表タスクを書くときは、手順を書かず、状況と求める判断だけを書くと決めておくと形が揃います。

A&Aの考え方

件数はA&Aの提案として3件から5件にします。出典が挙げる件数は製品の評価集合についてのもので、一回の商談に持ち込める数ではありません。3件を下回ると、通ったのが偶然かどうかを買い手が読めません。5件を超えると、商談の時間内に実行と説明が終わらず、結局代表的な1件の話に戻ります。件数より重要なのは、3件から5件が互いに違う困り方をしていることです。同じ種類の案件を5件並べても、分かることは1件分です。

A&Aの考え方

代表タスクを買い手から借りるとき、商談の段階には、まだデータの取り扱いを定めた契約がありません。有料の検証に入れば範囲を契約で書けますが、その前の段階で「実案件を3件ください」と頼むと、相手の法務や情報管理の担当者が止めるのが普通です。ここで止まると、代表タスクの話そのものが流れます。だから頼み方を先に決めておきます。

A&Aの考え方

A&Aの整理では、落とすものと残すものを分けて頼みます。落とすのは、相手を特定できる情報です。取引先名、担当者名、連絡先、口座や契約の番号、社内の固有の識別子。残すのは、仕事の形です。文章の乱れ、書き間違い、省略、複数の要求が一通に混ざっている状態、添付の欠け。落とすときは削除ではなく別の値に入れ替えます。「A社」に置き換えるより、同じ字数と形の架空の社名に置き換えたほうが、処理の挙動が変わりません。

A&Aの考え方

この置き換えには限度があります。出典は、課題を実際の使われ方に根を持たせ、現実のデータ源やサービスに基づかせるよう勧めていますが、匿名化について述べている箇所はありません。A&Aの読み方として書くと、識別子を置き換えるほど入力は現実から離れ、出典が避けよと言う単純すぎる環境に近づいていきます。どこまで置き換えたら代表タスクが代表でなくなるかは、出典からは決まりません。自社で線を引くしかない部分です。

Anthropic ↗

A&Aの考え方

A&Aの判断は、識別子は入れ替え、構造と乱れは触らないという線引きです。壊してよいのは「誰の話か」だけで、「どう書かれているか」は壊しません。実務上は、買い手側の担当者に一度この線引きを説明し、置き換えの作業自体は相手にやってもらいます。こちらが元データを受け取らなければ、預かる範囲の話にならないからです。許可は口頭で終わらせず、一行を提案書か議事メモに残します。「この3件は買い手が匿名化のうえ提供し、本商談の評価目的にのみ使用し、終了後に削除する」。この一行があるかどうかで、相手の社内で話が進む速さが変わります。ここは一次資料の裏付けではなく、A&Aの設計上の勧めです。

A&Aの考え方

商談のデモは、この枠組みで言えばk=1の一回試行です。通れば「通った」と表示されますが、そこから読めるのは1試行あたりの成功率が0より大きいということだけです。買い手が導入後に使うのはpass^k側、つまり毎回通るかどうかです。一回のデモでこの二つを混同したまま合意が進むと、導入後に「デモでは動いたのに」という話になります。出典は製品の評価についての説明で、商談の場に置き換える部分はA&Aの読み替えです。

A&Aの考え方

実務の形にすると、代表タスクの各件を同じ入力で3回走らせ、3回分をそのまま見せます。3回のうち3回通った件、2回通った件、0回だった件を、平均に丸めずに並べる。買い手が比較に使えるのはこの並びです。他社と比べるときにも、同じ入力・同じ回数という条件が揃っていれば比べられます。回数をA&Aが3回としているのは、5回や10回にすると商談の時間とAPIの費用が持たないためで、出典に3という根拠はありません。費用は先に見ておいてください。代表タスク5件を3回なら15回の実行で、長い処理なら商談前に済ませて記録を持ち込む形になります。もう一つの負担も書いておきます。同じ入力を目の前で3回走らせる行為は、相手によっては自信のなさに見えます。「ばらつきがあるので3回お見せします」と先に言うかどうかは、相手との関係で決めてください。

A&Aの考え方

三つを商談の判定に移すと、合否の欄は三段になります。「通る」は、買い手がそのまま次の工程へ渡せる状態。「部分点」は、どこまで進んだかが特定できて、残りの作業を指定できる状態。「人へ返す」は、処理せずに担当者へ戻すのが正解の案件で、返すときに何が足りないかが書かれていれば合格とします。二値で書くと、部分点の案件は不合格に落ちて、実際には使える挙動が失注の理由に変わります。加えて判定文の書き方に条件を付けます。経路は問わない。表記の違い、語順、丁寧語の差では落とさない。落とすのは、買い手がそのまま渡せない実質的な不足だけ。この二行を評価セットの冒頭に書いておくと、他社と比べるときにも同じ線で比べられます。

A&Aの考え方

A&Aが商談の評価セットに置き換える列は四つです。1件あたりの所要時間。やり直した回数。人が手を入れた箇所。落ちた件はその理由の分類。トークン量は、従量課金の製品を売る場合には1件あたりの原価としてそのまま意味を持ちますが、受託の提案では買い手の関心事でないことが多いので、原価を説明する必要があるときだけ足します。四つを書いておく効果は、合否だけでは見えない差が出ることです。3件すべて通ったが1件に12分かかったのと、3件すべて通って各2分なのは、買い手の仕事では別の話になります。

A&Aの考え方

商談の場で全件落ちたときの振る舞いを、先に決めておきます。落ちた瞬間に性能不足だと結論づけるのではなく、まず依頼文を読み直します。「回答のドラフトを作る」としか書いていない依頼で、在庫表を見てよいことも、納期の計算規則も伝えていなかったのなら、落ちたのは課題の側です。その場で条件を書き足して再実行できると、買い手には別の情報が渡ります。何を教えれば動くのか、という情報です。逆に、条件を足しても落ちるなら、それがこの商談で最も価値のある結果です。買い手は「できません」を持ち帰れます。出典は製品の評価についての説明で、商談の場でどう振る舞うかはA&Aの設計案です。

A&Aの考え方

向かない場面を先に書きます。買い手の予算がまだ付いておらず、社内で必要なのは「この種のことは技術的に可能である」という一点だけ、という段階があります。ここに代表タスクと三段判定を持ち込むと、相手はまだ判断できないことを判断させられる形になり、商談が止まります。この段階で速いのは短いデモと、範囲を書いた一枚です。評価セットが効くのは、相手が導入を検討していて、他社と比べる材料か社内を説明する材料を探している段階です。もう一つ、対象の業務が月に数回しか起きない場合も向きません。代表タスクを3件集めるのに半年分を遡ることになり、その3件が現在の業務を代表しません。

A&Aの考え方

この弱点は評価セットにもそのまま当てはまります。3件から5件は買い手の仕事の一部で、全部ではありません。3件が通ったことは、その3件が通ったということです。見せる側が言えるのは「この条件でこう動いた」までで、「御社の業務に使えます」ではありません。出典の性質も書いておきます。二つの記事はいずれもAnthropicが自社と顧客の実務を自ら説明したもので、独立した監査ではありません。どちらもAIエージェントと道具の評価について書かれたもので、商談、買い手の比較、顧客データの取り扱いについては何も述べていません。代表タスクを3件から5件とすること、各件を3回走らせること、合否を三段にすること、匿名化と許可の一行は、いずれも出典から導かれたものではなくA&Aの設計案です。未達を見せることが受注の確率を上げるかどうかについては、ここで読んだ資料に根拠はありません。成約率、比較での勝率、検索での順位は、この記事では一切示しません。A&Aがこの手順を実施した実績としても書いていません。

A&Aの考え方

次の一歩です。この評価セットで買い手の判断が前に進み、有料の検証に入る段階になったら、そこで約束する内容は別に決めることになります。案件の選定、検収条件、確認する人と時間、モデルを変えたときの再確認までを扱ったのが「AIサービスの有料PoCで何を約束するか：デモと検収条件を分ける」です。この記事の評価セットは、その前段にあたります。そもそも何を売るかが一つに絞れていないなら、代表タスクも書けません。その場合は「AI受託の最初の商品を決める：一人で売れる業務単位の切り出し方」が先です。商談に至る前の、問い合わせを受けて不足情報を埋める段階は「問い合わせから見積もりまでをAIでつなぐ：小さな受託会社の不足情報の整理」で扱っています。顧客獲得から継続までの流れ全体の中でこのデモがどこに入るのかは「AIネイティブGTMとは？一人・少人数で顧客獲得から継続まで回す実践ガイド」で確認できます。代表タスクをどう書けばよいか、あるいは自社の業務のどれを代表にすべきかが決められない段階なら、その切り分けから相談してください。