いま作るか、モデルの改善を待つか：作り込みを賭けと資産に分けて着手を決める

A&Aの考え方

いま作るかモデルの改善を待つかは、作り込みの量でも改善の速さでもなく、「その作り込みが埋めている能力の穴が埋まったとき、自分はそれに気付けるか」だけで決めます。手順は三つです。第一に、これから作る機能を一つずつ「モデルが良くなれば不要になる賭け」と「良くなっても残る資産」に分ける。第二に、賭けと分類したものにだけ、穴が埋まったと判定する条件を一つ、着手前に文章で書く。第三に、その条件が満たされたときに何をするか（捨てる・薄くする・そのまま残す）も同時に書く。これがこの記事の答えです。

A&Aの考え方

この分け方を採る理由は、モデルの更新で消えるのは作り込みそのものではなく、作り込みが埋めていた能力の穴だからです。穴が埋まれば、その上に乗っていた前処理や後処理は役目を終えます。穴が埋まらなければ、何年経っても必要なままです。つまり損失の正体は「作ったこと」ではなく「役目を終えたのに気付かず持ち続けること」で、負債になるのは検知手段のない作り込みだけです。逆に言えば、検知条件を一つ書いておけば、賭けの側を作ってもその損失には上限が付きます。以下はこの判断の根拠と、着手前に埋める一枚の表です。

A&Aの考え方

ここで持ち帰れるのは、小さなチームの創業者が、自分の作り込みが置かれる場所を公開の場で言い切っているという事実です。応用層に留まるという方針は、モデルが良くなることを前提にしたうえで成り立っています。モデルが良くなれば応用層の一部は不要になりますが、同時に応用層は良くなったモデルの上で作り直せます。だから「モデルが良くなると自分の仕事が消える」のではなく、「モデルが良くなると応用層の内訳が入れ替わる」と読むほうが実態に近い、というのがA&Aの読み方です。同ページは今後の投資先として、版の比較、AIとの共同作業、込み入った執筆案件の見通しを扱う画面づくりを挙げています。原文は「creating an interface for writers to compare versions, collaborate with AI, and navigate complex writing projects with ease」で、これらはこの記事の分け方でいえば資産の側、つまりモデルが良くなっても提供元が代わりに作ってはくれない仕事です。応用層に留まるという方針が、具体的には何を自分で持ち続けることなのかが、この一文に現れています。

Anthropic ↗

A&Aの考え方

ただし同ページがこの方針の正しさを証明しているわけではありません。ページには、応用層のどの部分がモデルの改善後も残ると見込んでいたのかは書かれていません。掲載されている登録数・解約率・費用の三つの数値も、母数・期間・定義・独立した検証が示されておらず、ページ自身が「This case study was written with help from Lex」と注記しています。提供元のサイトに載った自己申告であり、担当範囲の分け方がそれらの数値を生んだという因果も示されていません。この記事ではこれらの数値を根拠に使いません。使うのは「名前のある小さな会社の創業者が、この分け方を公言している」という一点だけです。

Anthropic ↗

A&Aの考え方

この記述の重要な点は、賭けをするかしないかではなく、賭けと検知を同時に作っている順序です。評価が先に書かれ、機能が後から追いつきます。賭けは「当たるまで待つ」ものではなく「外れたまま持ち続けないための計器を付けてから張る」ものとして扱われています。一人・少人数の開発でそのまま真似できないのは評価基盤の規模ですが、順序そのものは規模に依存しません。着手前に条件を一行書く作業は、評価基盤を持たない事業でも成立します。

A&Aの考え方

見落としてはいけない非対称性もあります。この記述の主体はモデルを開発しているAnthropic自身です。「モデルは数か月で良くなる」という前提に立てる立場と、その上で事業を作る小規模事業者の立場は同じではありません。提供元は賭けの両側を持っていますが、小さな事業者が持っているのは片側だけです。したがって同じ文面を読んでも、賭けの期待値は読む側で変わります。この記事が勧めるのは賭けの量を増やすことではなく、賭けの側に出口条件を付けることです。

A&Aの考え方

分類は三つの問いで足ります。第一の問い。この作り込みは、モデルの能力の不足を埋めているか、それ以外の何かを埋めているか。第二の問い。その不足は、モデル提供元が埋めたいと思う種類のものか。第三の問い。埋まったとして、その作り込みを外せるか、それとも外せない形で顧客の運用に食い込んでいるか。第一と第二がともに「モデル側」なら賭け、どちらかが「モデル以外」なら資産です。第三は、賭けと分類したものを後で安全に外せるかを確かめる問いで、外せないなら着手前に外し方を決めます。なお、この賭けと資産という分け方、三つの問いの内容、そして賭けの側にだけ条件を付けるという非対称は、いずれもA&Aの設計案です。以下で引く二つの出典はそう述べていません。

A&Aの考え方

第二の問いが要になります。モデル提供元が埋めたい穴は、多くの利用者に共通して効く一般的な能力です。長い文脈の保持、指示への追従、形式の安定、推論の深さ。これらを埋めるための前処理・後処理は賭けです。一方で、顧客固有のデータの所在、社内の承認規則、相手の帳票の形式、業界の言い回し、権限の境界といった穴は、提供元が埋める動機を持ちません。これらを埋める作り込みは、モデルが良くなっても残ります。資産の側です。

A&Aの考え方

この区別には、はっきりした失敗条件があります。提供元が埋める理由を持たない穴、つまり顧客の非公開データ、承認規則、相手の帳票形式に対する作り込みは資産であり、そこに検知条件を付けるのは純粋な間接費です。鳴らない計器を増やすほど、どの計器を見ればよいかが分からなくなります。賭けと分類したものにだけ条件を付け、資産と分類したものには付けない。この非対称を守ることが、一枚の表が機能する条件です。

A&Aの考え方

検知条件は一つの賭けに一行で足りますが、書き方に条件があります。「出力が良くなったら」では判定できません。判定できるのは、その作り込みを外した状態で、顧客が受け取るはずの結果が成立しているかどうかです。先の例なら、(1)の分割処理についての条件は「分割せずに最長の添付をそのまま渡して、金額と明細行の件数が元の帳票と一致した請求データが出来上がるか」。(2)の表記揃えなら「後処理を外して、顧客の会計ソフトがそのまま取り込める形式になっているか」。どちらも、良し悪しの感想ではなく、顧客側に残る状態の有無で書かれています。合否を顧客が受け取る状態として書くこと自体は「AI SaaSのモデル更新を決める条件：ベンチマークではなく顧客の失敗例で判断する」で詳しく扱っているので、ここでは繰り返しません。この記事で新しいのは、その書き方を合否の判定にではなく、賭けの出口条件に使う点だけです。

A&Aの考え方

一人の事業では、この一行を実行するのに評価基盤は要りません。必要なのは、過去に実際に壊れた入力を一件か二件、手元に取っておくことです。その入力に対して作り込みを外した経路を一度流し、条件に書いた状態が成立するかを目で確かめる。賭けが三つなら三行で、一つの条件につき一度流して目で確かめる作業量に収まるように条件を書きます。ここで「評価一式」を作り始めると、次の節で触れる費用の問題に当たります。

A&Aの考え方

この移行は、この記事の判断にそのまま使えます。賭けに付けた検知条件が初めて満たされた日が、その穴が埋まった日です。そこから先、同じ条件は役割を変えます。「モデルはもうこれができるか」ではなく「モデルはまだこれができているか」を見る条件になります。賭けが資産に変わる瞬間が、予測ではなく観測として手に入る、というのがこの構造の意味です。どの作り込みが将来不要になるかを当てる必要はありません。当たったことに気付く仕組みだけあれば足ります。

A&Aの考え方

実務上はこう動きます。条件が満たされたら、着手前に書いておいた行動を実行する。賭けの作り込みを外すか薄くする。そして同じ条件を、外した後の経路が壊れていないことを確かめる側に置き替える。これで、消えたのは作り込みであって、作り込みが生んだ知識ではなくなります。残るのは「この入力でこの結果が出ていなければ異常」という一行で、それは最初の作り込みより安く、モデルが変わっても使えます。

A&Aの考え方

一人の事業に置き換えると、これは具体的な点検手順になります。モデルが二世代更新されても検知条件が一度も満たされないとき、結論は「まだ穴は埋まっていない」ではありません。まず条件そのものを疑います。条件に、賭けと無関係な要求が混ざっていないか。たとえば分割処理を外す条件に、顧客固有の勘定科目の対応まで含めてしまっていれば、それは資産の側の仕事を賭けの条件に混ぜたことになり、モデルがどれだけ良くなっても満たされません。混ざった条件は、賭けの損失を永久に確定させます。

A&Aの考え方

点検の仕方は単純です。条件を読み返し、その文に出てくる要求を一つずつ「モデル側の不足か、顧客側の事情か」に振り分ける。顧客側の事情が一つでも混ざっていたら、その部分を条件から外す。外した結果、条件が「モデルが良くなれば満たされるはずのこと」だけになっていれば、その条件は使えます。この点検は、賭けを一つ増やすより先に済ませるべき作業です。

A&Aの考え方

第一に、賭けの数が増えて検知の維持が重くなる場面です。表が一枚で収まるうちはこの方法が機能しますが、条件が十行、二十行と増えると、確認作業そのものが固定費になります。評価の自動化を考え始めた時点で、検知の費用が賭けの損失を上回る可能性を疑ってください。

A&Aの考え方

第二に、どの作り込みが将来不要になるかを当てたい場面です。この記事の方法は予測を提供しません。二つの出典のどちらも、どの応用層がモデルの改善で消えるかを見分ける方法を示していません。扱えるのは検知の設計だけで、賭けの当たり外れの比率や、節約できる開発費は推定していません。もし見込み数値が必要な判断なら、この方法では足りません。

A&Aの考え方

第三に、穴が顧客側にしかない場面です。作り込みのすべてが顧客固有のデータ・規則・形式を埋めているなら、賭けは一つもなく、検知条件を書く作業はそのまま無駄です。この場合の正しい判断は「いま作る」で、迷いの原因は別のところにあります。

A&Aの考え方

賭けと資産の分け方そのものを置いた後は、作る範囲を見積もりに落とす作業が残ります。最初に売る一業務の切り出しは「AI受託の最初の商品を決める：一人で売れる業務単位の切り出し方」で、顧客獲得から継続までの全体像は「AIネイティブGTMとは？一人・少人数で顧客獲得から継続まで回す実践ガイド」で扱っています。検知条件が満たされた後、実際に新しいモデルへ移るかどうかの判断は別の問題で、「AI SaaSのモデル更新を決める条件：ベンチマークではなく顧客の失敗例で判断する」が顧客の失敗例から代表タスクを組む方法を扱っています。この記事はその前段、そもそも今作るかどうかの判断までです。