納品後のAIの品質をどう測り続けるか：評価セットの代わりに提案の採用率を見る

A&Aの考え方

返信案、下書き、修正案といった提案型のAIを納品したあとの品質は、出した提案のうち何件が実際に採用されたかで継続的に測れます。評価セットを作り直すより安く、毎日流れる本番の提案をそのまま使えます。ただし採用率が測っているのは正しさではありません。その顧客の好みです。だから採用率は顧客に提出する品質の証拠にはならず、どの区分を調べるかを決めるための指標として契約に書きます。

A&Aの考え方

この指標を契約に書くときに決めることは三つです。一つ、何を1件と数えるか。採用、却下、編集のどれを分母と分子に置くか。二つ、どの区分で見るか。全体の率ではなく、業務種別や担当者といった区分ごとに見ないと、調べる場所が絞れません。三つ、何を顧客に見せるか。率そのものを約束の数字として見せるのか、下がった区分を調べた報告だけを見せるのか。

A&Aの考え方

成果物の形を先に言います。品質レポートの雛形ではありません。「測る対象」「そこから分かること」「そこからは分からないこと」を一行ずつ並べた一枚の表です。三列目があることが肝で、採用率を単独で約束の数字にしてしまう事故は、この列を書かないところから起きます。

A&Aの考え方

検収は通った。商談のときに作った評価セットも、そのときは機能しました。問題はそのあとです。入力の傾向は変わり、担当者も変わり、モデルも上げ替えます。それに合わせて評価セットを作り直す工数は、一人から数人の受託では出てきません。結果として、品質を見る唯一の契機が苦情になります。

A&Aの考え方

苦情を契機にすると、気づくのが常に顧客より遅くなります。そして「苦情が来ていない」ことは品質の証拠として顧客に出せません。無事故は記録ではなく不在であり、不在は説明の材料になりません。だから必要なのは、作り直さなくても毎日入ってくる信号です。商談前に顧客の課題を持ち込んで比較できる評価セットを作る話は「AIサービスの商談デモに顧客の課題を持ち込む：比較できる評価セットの作り方」で扱っており、この記事が扱うのはその後、納品してから毎日流れる本番を使う測定です。

A&Aの考え方

まず読み方を一つ。採用率は同社の評価を置き換えたのではなく、評価と並んで使われている、とA&Aは読みます。そのうえで、これらを並べると採用率が指標として働く条件が見えます。採用か却下かを利用者がその場で判断できること、判断の材料が提案に添えてあること、そして判断の回数が十分にあること。出典は「citations a lawyer can check」を採用の判断材料として説明しているわけではなく、確認可能性が採用率を意味のある信号にしているという読みはA&Aのものです。そしてA&Aの読みでは、三つ目の条件が受託の現場でいちばん欠けやすい。本記事が採用率を評価セットの代わりに置くのは、評価を維持する工数が出ない受託側の事情によるもので、出典の企業がそうしているからではありません。

A&Aの考え方

A&Aの読みでは、この二つは同じことの表と裏です。「三、四回走らせないといけない気がする」という顧客の言葉は、一貫性が低いことの体感的な表現です。だから体感を数字に戻す判定として、同じ入力を10回流す検査が置かれている。採用率が好みを測るのに対し、こちらは安定を測っています。ただし出典はこの検査をモデル選定のための検査として記しており、納品後の継続測定として記していません。モデル選定の検査を納品後に転用し、二本立てで持つのはA&Aの設計です。なお「同じ入力を複数回走らせる」という仕掛け自体は、商談前の評価について「AIサービスの商談デモに顧客の課題を持ち込む：比較できる評価セットの作り方」で扱っています。この記事で新しいのは、それを納品後、却下が増えた区分に対して回す点です。

A&Aの考え方

出典が採用率の長所として挙げているのは、利用者の主観的な好みを測れる点でした。これは裏返すと、正しさを測っていないという意味になります。利用者は誤った提案を採用することがあり、正しい提案を好みで却下することもあります。採用率はそのどちらも区別しません。

A&Aの考え方

だから顧客に提出する品質の証拠として採用率を使うと、約束できないものを約束することになります。採用率が90%でも、採用された中に誤りが混じっている可能性はそのまま残ります。逆に採用率が下がったとき、原因は品質の劣化かもしれないし、担当者が交代して好みが変わっただけかもしれません。

A&Aの考え方

それでも採用率には、評価セットにない取り柄があります。作り直さなくても毎日入ってくること、そしてその顧客固有の好みという、評価セットには原理的に書けないものを拾うことです。使いどころは、品質の証明ではなく、どの区分を調べに行くかの絞り込みです。採用率が下がった区分だけを人が見に行く。この順序なら、評価セットを作り直す工数をかけずに劣化の場所を絞れます。

A&Aの考え方

母数の扱いには注意が要ります。出典の企業は月およそ53万件の契約書と、月70万件を超えるチャットを扱う規模です。一人から数人の受託で、ある区分の提示が月に20件あるかどうかという状況では、同じ安定性は得られません。A&Aの注意として、件数が少ない区分は率に直さず、採用・却下・編集の実数のまま並べることを勧めます。率は、分母が小さいほど動いて見えます。

A&Aの考え方

A&Aの読みでは、この対照は優劣ではなく役割の違いです。Supermetricsのページが示しているのは、普及の指標を表に出しつつ、品質は「すべての数値に出典と時刻を添える」「人の承認を経るまで公開しない」という作りの側で担保し、導入前の確認は顧客自身の検証に委ねた、という構成です。納品前の検収と納品後の継続測定は別物で、顧客が数週間かけて検証したという話は、その後の毎日を測る仕組みの代わりにはなりません。両社の指標を優劣として比べないこと、そして250%という数字を品質の指標として読まないことが、ここでの要点です。

A&Aの考え方

最初に決めるのは、編集して使われた場合の扱いです。採用に数えるか、却下に数えるか、第三の区分にするか。出典のどちらのページにも、この区別の仕方は書かれていません。各社の設計判断です。A&Aの勧めは第三の区分に置くことで、理由は、編集が多い区分と却下が多い区分では次にやることが違うからです。編集が多いなら方向は合っていて細部が合っていない。却下が多いなら方向そのものが合っていません。

A&Aの考え方

次に決めるのは、記録を誰が取るかです。利用者に理由を書かせる設計は、記入されない却下が増えて母数を歪めます。だから必須にするのは採用・却下・編集の三択だけにして、理由は任意記入に留めます。任意記入が集まらないことは想定の範囲で、集まらなくても三択の内訳だけで調べる場所は絞れます。

A&Aの考え方

契約に書くのは、数字の目標ではなく手続きです。「区分ごとの採用・却下・編集の件数を月次で記録する」「ある区分で却下が前月より増えた場合、その区分の提案を10件、受託側が目視で確認して報告する」「この記録は品質の保証ではなく、確認すべき箇所を特定するために用いる」。この三行なら、達成できない約束を含みません。採用率に目標値を置くと、達成のために提案を絞るという、品質と逆方向の最適化が起きます。

A&Aの考え方

下の表はA&Aの設計案です。行の切り方、第三の区分を置くこと、件数が少ない区分を率に直さないことは、どちらの出典にも書かれていません。表の三列目が本体で、二列目だけを読んで契約の数字に使うと、この記事が防ごうとしている誤読を自分で作ることになります。

A&Aの考え方

この架空例に金額と削減時間を置かなかったのは意図的です。採用率の記録が直接変えるのは、劣化に気づく時点と、調べる範囲の広さだけです。解約率や追加受注がどう動くかは、この表からは出てきません。A&Aはこの設計と継続率・売上の関係を測定していません。

A&Aの考え方

限界を五つ書きます。一つ、両方のページはAnthropicが自社製品の採用例として公開した顧客事例で、独立した検証ではありません。掲げられた数値はベンダーと当該企業の自己申告です。本記事はそれらの数値を自社の見込みとして使っていません。

A&Aの考え方

二つ、採用率は正しさを測っていません。誤った提案の採用も、正しい提案の却下も、同じように1件として数えられます。だから顧客に提出する品質の証拠にはなりません。成果そのものの確かめ方は「AIが「完了」と言ったあと、業務の成果をどう確かめるか」で扱っています。

A&Aの考え方

三つ、規模が違います。出典の企業は月およそ53万件の契約書と月70万件を超えるチャットを扱い、企業規模の欄は「Company size: Medium」です。一人から数人の受託で同じ統計的な安定性は得られません。小さな母数を率として読む危険は、A&Aの注意として本文に置いています。

A&Aの考え方

四つ、提案型でないAIにはこの指標が当てはまりません。分類、抽出、転記のように、出力が採用か却下かで分かれない仕組みでは、採用率の定義そのものが作れません。その場合に使えるのは一貫性の側の判定だけです。

A&Aの考え方

五つ、採用・却下・編集の区別をどう記録するかは製品の作りに依存します。編集して使われた場合をどちらに数えるかは各社の設計判断で、出典のどちらのページにも記されていません。記録する仕組みがない製品では、まずその三択を残せるようにすることが最初の作業になります。

A&Aの考え方

今日できる一歩は一つです。直近に納品した提案型の仕組みを一つ選び、先月出した提案のうち何件が採用されたかを数えられるかを確かめること。数えられないなら、最初の作業は指標の設計ではなく、三択を残す記録の追加です。数えられるなら、業務種別で割って、件数が20件を下回る区分を実数のまま並べてください。顧客獲得から継続までの全体像は「AIネイティブGTMとは？一人・少人数で顧客獲得から継続まで回す実践ガイド」にあります。