A&A INSIGHTS
AIに書かせた文書で数字が食い違う：事実を確定する段を分けて矛盾を先に潰す
顧客の資料から報告書や申請書を作る受託事業者へ。EvenUpが明示している「書き始める前に事実を一度確定する」工程分割を手がかりに、事実の段に置く完了条件と、その段では潰せない誤りを具体化します。
Read in English
この記事の要点
AIに書かせた文書に残る矛盾は、書く段では直せません。書く段は受け取った事実の集合を疑わないので、品質を上げる場所は、書き始める前に事実を一度確定させ、出典の紐づけ・重複の統合・矛盾ゼロという別の完了条件を置く段です。
答え：矛盾は書く段では直せない。だから事実を確定する段を分ける
A&Aの考え方
AIに書かせた文書のなかで数字や日付が食い違うとき、直す場所は生成の側ではありません。書く段は、自分が受け取った事実の集合を疑わないからです。同じ事実について二つの記述が食い違っていても、書く段はどちらかを選んで滑らかに書き上げます。だから品質を上げる場所は、書き始める前に事実を一度確定させる段であり、その段には書く段とは別の完了条件が要ります。
A&Aの考え方
事実の段に置く完了条件は三つです。一つ、取り出した事実すべてに出典ページの番号が付いていること。二つ、同じ事実の複数の記述が1件に統合されていること。三つ、未解決の食い違いが0件、または保留として明示されていること。この三つが満たされるまで、書く段を始めません。順番を守らないと、全文を人が読み直す作業が戻ってきます。
A&Aの考え方
成果物の形を先に言います。プロンプトの改良案ではありません。工程を縦に並べ、各段の完了条件と、その段では潰せない誤りを横に書いた一枚の表です。三列目があることが肝で、どの段でも拾えない誤りが何かを書いておかないと、最後の人の確認に何を期待していいのかが決まりません。
下流は、上流の食い違いを検出できない
A&Aの考え方
資料から文書を作る仕組みは、たいてい一本の流れとして作られます。読ませて、拾わせて、書かせる。この形で動くところまでは早く着きます。問題は、出来上がった文書の中で数字や日付が食い違っていたときに、どこで食い違ったのかを後から追えないことです。追えないので全文を人が読み直すことになり、短縮したはずの時間が戻ってきます。
出典に基づく事実
Anthropicが公開しているEvenUpの事例ページは、この前提を一文で書いています。「Nothing downstream would catch two parts of the system disagreeing about the same fact, and one contradiction is enough for an adjuster to discount the entire demand」。同じ事実について仕組みの二つの部分が食い違っていることを、下流は検出しない。そしてこの領域では、矛盾が一つあれば相手方の査定担当者が請求全体を割り引く理由になる、と書かれています。
出典に基づく事実
食い違いが生まれる場所も記されています。同社のPrincipal Machine Learning EngineerであるEmre Yamangilは、導入前の手作業について「A paralegal with a highlighter worked through stacks of records that were weeks late and out of order」と述べ、続けて「The same visit could be documented three different ways by three different providers」としています。同じ診療が三つの提供者によって三通りに記録されうる、という状況です。
A&Aの考え方
A&Aの読みでは、ここが工程を分ける根拠です。入力の側に、同じ事実の複数の記述が最初から存在している。そして下流はそれを検出しない。この二つが同時に成り立つなら、矛盾を潰す工程は書く段より前に置かれるしかありません。プロンプトをどれだけ丁寧にしても、書く段に渡る集合が食い違ったままなら結果は変わりません。なお同ページには下流の一貫性検査も一つ書かれています。Opusが設計図の答えの一貫性を文書全体にわたって一度だけ検査する、という記述です。ただしそれが見るのは論の筋が通っているかであって、同じ事柄についての二つの事実が一致しているかではありません。だから事実を先に確定する段の代わりにはなりません。
| 工程 | その段の完了条件 | この段では潰せない誤り |
|---|---|---|
| 受領と分類（どの種類の書類か） | すべてのページに書類種別が付いている | 種別の誤り。次の段で答えられない問いとして現れる |
| 読み取り（安い方法から順に上げる） | すべてのページが読めている。読めなかったページが一覧になっている | 読めたが誤読した数字。照合するまで分からない |
| 抽出（事実を1件ずつ取り出す） | 事実の件数と、出典ページ番号が付いた件数が一致している | 資料にそもそも書かれていない事実。欠落として扱うしかない |
| 重複の統合（同じ事実の複数記述） | 統合の規則が文書化され、規則に沿って統合されている | 統合の判断の誤り。別の事実を同一視した場合 |
| 矛盾の解消（残った食い違い） | 未解決の食い違いが0件、または保留として一覧に出ている | 全記述が一致したうえで全部が同じように間違っている場合 |
| 執筆（確定した集合から書く） | 本文の数値がすべて確定済みの集合に由来している | 事実は正しいが論の組み立てが誤っている場合 |
| 人の確認と署名 | 責任者が筋立てを見て署名している | 読み落とし。網羅性は署名では担保されない |
出典：EvenUpは「一度で確定してから書く」と明示している
出典に基づく事実
同ページは工程の順序を明示しています。「Every fact keeps a citation to its source page, duplicates get merged, and the whole record is settled once, before drafting starts」。すべての事実が出典ページへの参照を保持し、重複は統合され、記録全体が書き始める前に一度で確定される、という記述です。そして「Only then does drafting begin」と続きます。
出典に基づく事実
扱う入力の量も書かれています。一件が1,000ページ以上で届くことがあり、十二前後の提供者の記録、請求の台帳、警察の報告書を含むとされています。企業規模の欄は「Company size: Startup」で、同ページによれば利用側の事務所が20万件を超える案件を解決してきたとされています。
出典に基づく事実
書く段の中身も分かれています。同ページによれば、Opusが設計図を引き、どの法規が当てはまるか、相手方が何を攻めてくるか、案件の筋立ては何かを決め、そのうえでそれらの答えの一貫性を文書全体にわたって一度だけ検査します。節ごとの執筆はSonnetが設計図に従って行う、という分担です。そして「Every draft still ends with a person: an attorney reads, checks, and signs it」と書かれています。
A&Aの考え方
受託の規模に移すときに拾えるのは、この順序と完了条件の考え方だけです。A&Aの読みでは、移植すべきは「確定する段と書く段を分ける」「確定の完了条件を出典の紐づけ・重複の統合・矛盾ゼロで定義する」の二点で、モデルの使い分けや規模はそのまま移りません。同ページはこれを受託の見積もりや契約の話として述べておらず、工程分割を受託の納品に翻案するのはA&Aの提案です。
出典：読む前に分類し、読み取りは安い方法から順に上げる
出典に基づく事実
同ページは、事実の段の内部にも設計があることを示しています。読み取りについては「reads records on a ladder, climbing only as far as each page requires」とあり、各ページを扱える最も安い方法で読み、必要なときだけ上の段へ上がると説明されています。段の中身は「real text, then standard OCR, then Claude's vision for the scanned bills and checkbox forms neither one can handle」。実テキスト、次に標準的なOCR、どちらでも扱えない走査済みの請求書とチェックボックス書式にだけ視覚処理を使う、という順です。
出典に基づく事実
いちばん高い段に費用をかける理由も書かれています。「Vision costs the most to run, and it earns that cost, because a misread number hurts the client directly: the demand asks for too little, or the adjuster catches the error and the firm's credibility goes with it」。数字の誤読が顧客に直接損害を与えるため、その費用に見合うという説明です。
出典に基づく事実
読み取りの前に一段あることも書かれています。「Every document also gets sorted first, a billing statement, a clinical note, an intake form, so the system only asks each page what it can actually answer」。請求明細か、診療記録か、受付票かをまず分類し、各ページには実際に答えられることだけを尋ねる、という順序です。Yamangilの助言として「Spend your expensive model where you can't verify cheaply」とも書かれています。
A&Aの考え方
A&Aの読みでは、この二段が受託にそのまま移ります。先に分類すると、各ページへの問いが短くなり、答えられない問いへの空回りが消えます。そして読み取りを安い方法から順に上げると、費用は「全ページを最も高い方法で読む」場合より下がります。移植できないのは比率です。走査済みの書類が何割あるかは顧客ごとに違い、同ページもその比率を示していません。
事実の段に、書く段とは別の完了条件を置く
A&Aの考え方
完了条件は、人が読んで良いと思ったかどうかではなく、満たしたか満たしていないかが機械的に出る形で書きます。三つを具体化します。一つ、取り出した事実の件数と、出典ページ番号が付いている件数が一致していること。付いていない事実が1件でもあれば不合格です。
A&Aの考え方
二つ、同じ事実の複数記述が統合されていること。統合の単位は、受託側が決めて文書に書きます。日付と金額と当事者が一致していれば同一とみなす、といった規則です。規則を書かずに統合を任せると、別の事実を同一視した誤りが、統合済みという見た目の下に隠れます。
A&Aの考え方
三つ、未解決の食い違いが0件であること。ここで重要なのは、食い違いを機械に解決させないことです。食い違いが残った箇所は、解決ではなく保留として一覧に出します。どちらを採るかは、業務の判断だからです。一覧が空になるか、保留の一覧が顧客に渡るか、そのどちらかで事実の段は終わります。
A&Aの考え方
下の表はA&Aの設計案です。段の切り方、完了条件の文言、各段で潰せない誤りの割り当ては、どちらの出典にも書かれていません。読み方は三列目からです。三列目に書かれた誤りは、その段では構造的に拾えないため、下流のどこかで明示的に誰かに割り当てる必要があります。割り当てていない誤りは、納品後に顧客が見つけることになります。
架空例：補助金の申請書を作る受託で、段を分ける
仮想例
ここからは架空の設定です。実在の顧客ではなく、A&Aが実施した事例でもありません。中小企業から受け取った決算書、設備の見積書、既存の事業計画をもとに、補助金の申請書の下書きを作る仕組みを納品するとします。一件あたりの資料は40ページ前後で、PDFと走査画像が混在しているとします。
仮想例
一本の流れで作ると、出来上がった申請書のなかで、売上高が決算書の数字と事業計画の数字のどちらかに揺れます。同じ設定で段を分けます。まず分類で、各ページに「決算書」「見積書」「事業計画」「その他」のいずれかを付ける。次に読み取りで、テキストが取れるページはそのまま読み、取れないページだけ画像として処理する。ここまでで、読めなかったページの一覧が出ます。
仮想例
次が抽出です。売上高、設備の取得価額、従業員数といった項目を1件ずつ取り出し、各件に出典のファイル名とページ番号を付けます。ここで完了条件を一度目に通します。出典が付いていない件が3件あったとします（架空の設定です）。この3件は、資料に書かれていないのか、読めなかったページにあるのかのどちらかなので、欠落として一覧に出し、書く段へは渡しません。
仮想例
統合と矛盾の段では、売上高が決算書と事業計画で異なっていたとします。規則に照らすと会計期間が違うため別の事実で、同一視しません。申請書のどの欄にどちらを使うかは業務の判断なので、機械に選ばせず保留の一覧へ出します。保留が顧客の確認で解けた時点で、事実の集合が確定し、そこで初めて書く段に入ります。
A&Aの考え方
この架空例に削減時間と金額を置かなかったのは意図的です。この工程分割が直接変えるのは、矛盾が出た箇所を特定できるかどうかと、人の確認に何を頼むかだけです。一件あたりの確認時間がどれだけ縮むかは資料の状態に依存し、A&Aはこの設計と工数・単価の関係を測定していません。
当てはまらない仕事
A&Aの考え方
一つめ、確定できる事実が成果物の中心にない仕事では、この分割はそのまま当てはまりません。解釈や見立てが中心にある提案書や論考では、「事実を一度確定する」という段の定義そのものが作れません。その場合に移植できるのは、出典の紐づけを残すという部分だけです。
出典に基づく事実
同ページは、矛盾が一つあれば相手方の査定担当者が請求全体を割り引く理由になると述べています。扱う領域は人身傷害法務で、同ページが挙げる事務所はカリフォルニア、オハイオ、オレゴンにあり、所在地の欄は「North America」と書かれています。州ごとの規則に従って節を書く、という記述もあります。
A&Aの考え方
二つめ、矛盾の罰則の大きさが違います。出典が扱っているのは、相手方が矛盾を探して読む領域です。敵対的な読み手がいない納品物では、矛盾の罰則はこれほど大きくありません。社内向けの報告書なら、矛盾は見つかったときに直されるだけです。そして工程を分ける投資は、罰則の大きさに見合う範囲でしか回収できません。だから分割の判断は、技術の難しさではなく、矛盾が一つ出たときに何が起きるかで決めます。
A&Aの考え方
三つめ、入力が文書であることが前提です。費用の階段は、ページという単位があって初めて成り立ちます。会話の記録や表形式のデータが入力の場合、同じ階段にはなりません。四つめ、規模です。先に引いた企業規模の欄と、そこに併記された案件数の規模を見ると、一人の受託で工程分割の投資が常に見合うとは限りません。
限界と、今日できる一歩
A&Aの考え方
限界を四つ書きます。一つ、両方のページはAnthropicが自社製品の採用例として公開した顧客事例で、独立した検証ではありません。掲げられた数値はベンダーと当該企業の自己申告です。本文では、同ページに並ぶ成果の数値、たとえば作業時間の短縮幅や和解提示額の増加率を、自らの主張として一切採用していません（出典欄のページ題名は逐語のまま残しています）。母数と定義が示されておらず、ページ内でも短縮後の時間の記述が複数あるためです。
A&Aの考え方
二つ、完了条件を満たしても文書が正しいとは限りません。全ページの記述が一致していて、その全部が同じように間違っていれば、矛盾ゼロの条件は通ります。事実の段が保証するのは集合の整合性だけで、集合が現実と合っているかは別の問題です。
A&Aの考え方
三つ、工程を分けると、段の間で渡す形式を決める作業が増えます。小さな案件では、その手間が矛盾の手直しより重くなることがあります。判断の基準は前節のとおり、矛盾が一つ出たときに何が起きるかです。
A&Aの考え方
四つ、A&Aはこの設計の効果を測定していません。工程を分ければ確認時間が減るという予測も、実績も示していません。示しているのは、出典が工程分割を採っている事実と、その理由として下流が上流の矛盾を検出しないと書かれている事実、そこから引いた完了条件の設計案です。
A&Aの考え方
今日できる一歩は一つです。直近に納品した文書生成の仕組みで、出力に現れた数値のうち何割に出典ページへの紐づけが残っているかを数えること。紐づけが残っていないなら、最初の作業はプロンプトの改良ではなく、抽出した事実へ出典を付けることです。出典を納品物に残す設計そのものは「AI調査レポートを売るときの出典設計：引用元へ戻れる納品物にする」で扱っています。完了後の成果の確かめ方は「AIが「完了」と言ったあと、業務の成果をどう確かめるか」、顧客獲得から継続までの全体像は「AIネイティブGTMとは？一人・少人数で顧客獲得から継続まで回す実践ガイド」にあります。
AIに書かせた文書に残る矛盾は、書く段では直せません。書く段は受け取った事実の集合を疑わないからです。だから品質を上げる場所は、書き始める前に事実を一度確定させる段で、その段には書く段とは別の完了条件が要ります。置く条件は三つ。取り出した事実すべてに出典ページ番号が付いていること、同じ事実の複数記述が規則に沿って統合されていること、未解決の食い違いが0件または保留として明示されていることです。食い違いは機械に解決させず、保留として業務の判断へ戻します。読み取りは分類を先に置き、実テキストから順に上げて、必要なページだけ高い方法を使います。EvenUpのページが示しているのは、事実を書き始める前に一度で確定する工程を同社が採っているという事実と、その理由として下流が同じ事実についての食い違いを検出しないと書かれている点、そして誤りが検出しやすい側と仕上がりに隠れる側に分かれるという整理です。Spellbookのページが示しているのは、確定した事実を利用者が個別に検証できる形で持ち回る設計です。どちらもベンダーが公開した自己申告で、小規模事業での再現性も、成果の数値の移植可能性も示していません。段の切り方、完了条件の文言、各段で潰せない誤りの割り当てはA&Aの設計案で、効果は測定していません。
出典・編集情報
記事の調査で確認した一次資料です。資料の公開・更新時期と、調査時の確認日を分けて記載しています。
- EvenUp cuts document drafting from 15 hours to 15 minutes with Claude
Anthropic · no date shown on page
確認日 2026-10-06 - Spellbook runs 530,000 contract reviews a month with Claude
Anthropic · no date shown on page
確認日 2026-10-06
AIを活用した記事制作
調査・執筆・翻訳・編集上の確認にAIを活用しています。資料に基づく事実、A&Aの考え方、仮想例は、それぞれ本文に明記しています。
編集上の確認日: 2026-10-06