「何か違う」で差し戻される納品物：合格条件は見本2枚で決める
文体で評価される納品物の合格条件は、言葉の基準ではなく、顧客が選んだ見本2枚で決めます。
この記事の要点
- 合格条件は形容詞ではなく、顧客が選んだ見本2枚で書く
- 候補は3案から5案そろえ、どれを見本にするかは顧客が選ぶ
- 見本を選ぶ時間は、着手前の作業として見積もりに入れる
- 見直しの月を先に決め、その月に見本を選び直す
目次
合格条件は形容詞ではなく、見本2枚で書く
A&Aの考え方
文体や語り口で評価される納品物は、合否の理由を数字でも規則でも書けません。読んだ感触で良し悪しが決まるからです。
A&Aの考え方
この記事を書いている Automate & Augment (A&A) は、AIで作る納品物の検収条件を設計し、開発まで持っています。
A&Aの考え方
その立場から見ると、よくある失敗が一つあります。合格条件を書こうとして形容詞を足していくことです。
A&Aの考え方
「自然な文体で」「硬すぎず」「読み手に寄り添って」。言葉を精密にするほど条件は長くなりますが、差し戻しの回数は減りません。どの形容詞も、検収の場で比べる先を持たないからです。比べる先とは、合否を決めるときに並べて見る実物の文章です。
出典に基づく事実
Anthropicが公開した事例記事に、AIが書き手に助言を返す執筆ソフトを作っている Lex という会社の話が載っています。Lexは複数の大規模言語モデルを試したうえで、トーンと費用と出力品質を理由にClaudeを主要モデルに選びました。
出典に基づく事実
創業者は、Claudeを「賢明な編集者のよう」と呼んでいます。その語り口と個性のおかげで、返ってくる答えが賢く人間らしく感じられ、箇条書きめいた感じも機械が作った感じも薄い、と言います。
出典に基づく事実
創業者は、使うモデルを決める作業を「役に合う俳優を選ぶようなもの」とも言っています。選んだモデルの声が、作りたかったブランドと利用者の体験に合っていたからです。助言が利用者の気持ちにどう響くかを見ている、とも話しています。
A&Aの考え方
これはモデルの提供元が自社製品について公開した事例で、外部の検証ではありません。A&Aが見ているのは、選んだ理由の並び順です。先頭は能力の評価ではなく、トーンでした。
A&Aの考え方
どこを見て合否を決めるのかも変わってきています。出力そのものの性質ではなく、読んだ人がどう感じたかが基準です。受け手の反応で決まるものを、送り手の言葉で定義し直すことはできません。だから合格条件には、形容詞ではなく比べる先になる実物を書きます。
A&Aの考え方
具体的には2枚です。合格例を1枚と不合格例を1枚そろえ、どちらも顧客が自分で選びます。不合格例を入れるのは、外れの方向を見せるためです。合格例だけでは、どちらへ外れると不合格になるのかが分かりません。
仮想例
たとえば、顧客向けの月次レポートを納めているとします。合格例は先方が書いた先月の1本、不合格例は先方が「これは違う」と感じた他社の1本です。この2枚があれば、差し戻しの理由が「合格例とここが違う」に変わります。
見本の候補はこちらが出し、選ぶのは顧客にする
A&Aの考え方
見本を選ぶのは顧客です。こちらが「これが合格です」と決めると、検収の場で比べる先が、また受託側の言葉に戻るからです。
出典に基づく事実
Anthropicは、AIエージェントを評価するやり方の解説を、2026年1月9日に公開しています。AIエージェントとは、与えられた仕事を、自分で手順を選びながら進めるAIのことです。その解説は、採点するやり方を、コードによる採点、モデルによる採点、人による採点の三つに分けています。
出典に基づく事実
この解説は、モデルに採点させるやり方を五つ並べています。採点表で点を付ける、合否の条件を文で書く、二つを見比べて優劣を決める、見本と比べる、複数の判定者で合意を取る。この五つです。
A&Aの考え方
並び方が示しているのは、優劣ではありません。基準を言葉で書くやり方と、見本と比べるやり方が、同じ一覧に実務の選択肢として並んでいます。
出典に基づく事実
同じ解説は、モデルに採点させるやり方の弱点も挙げています。結果が毎回同じにならないこと、コードで採点するより高くつくこと、正確さのためには人の採点と突き合わせる作業が要ることです。人が採点するやり方の強みとしては、モデルの採点のずれを直す基準になることが挙げられています。
A&Aの考え方
A&Aはこの突き合わせを、受託の仕事に当てはめます。そこで人の採点にあたるのは誰か、という問いです。判定を自動化しても、誰かが一度は人の目で合否を付ける工程が残ります。受託では、その人が顧客でなければ意味がありません。こちらが付けた合否は、検収の場で効かないからです。
A&Aの考え方
だから手順はこうなります。候補はこちらが用意し、選ぶのは顧客です。
A&Aの考え方
候補は3案から5案にします。1案では、顧客が選んだことになりません。5案を超えると、顧客は選ぶのをやめて「全部いい感じで」と返してきます。
A&Aの考え方
不合格例の候補も、同じ数だけ出します。こちらが作った「わざと外した案」ではなく、実在の文章から選びます。作った不合格例は、作った人の想定の外に出られないからです。
仮想例
たとえば、合格例の候補として先方の過去の資料から3本、不合格例の候補として公開されている他社の資料から3本を並べます。顧客がやるのは、それぞれから1本ずつ丸を付けることだけです。打ち合わせ1回の枠に収まります。
| 見る所 | 形容詞で書いた条件 | 見本2枚で書いた条件 |
|---|---|---|
| 修正の終点 | 相手が納得するまで | 合格例との差が無くなるまで |
| 終点の置き場 | 相手の感触の中 | 双方が見ている2枚の中 |
| 着手前に読めるか | 読めない | 読める |
| 見積もりの書き方 | 無制限か、高めに積む | 修正の回数を工数で区切る |
| 見本を出せない案件 | 同じまま | 検収から外し、回数と範囲で区切る |
見本を選ぶ時間は、着手前の作業として見積もりに入れる
A&Aの考え方
見本を選ぶ時間は、着手前の作業として見積もりに入れます。検収を前倒しでやっているので、納品物を作る工数と同じ扱いになります。
A&Aの考え方
無料の打ち合わせに混ぜると、二つのことが起きます。顧客は真剣に選びません。こちらも、選び終わるまで着手を止める理由を失います。
A&Aの考え方
見積もりに入れる利点は、金額が増えることではありません。差し戻しの終点が、見積もりの段階で決まることです。
A&Aの考え方
形容詞で書いた条件のもとでは、修正は「納得するまで」続きます。終点が相手の感触の中にあるので、何回で終わるかを着手前に読めません。読めないものは値付けできません。受託側は、回数を無制限に引き受けるか、高めに積んで断られるかのどちらかになります。
A&Aの考え方
見本2枚があると、終点は合格例との距離になります。距離なら双方が同じ物を見て話せるので、修正の回数そのものを工数として書けます。
仮想例
たとえば、修正は2回までを見積もりに含め、3回目からは別途とします。回数を区切れるのは、3回目に何を直すのかを合格例が指し示すからです。
A&Aの考え方
ここで一つ、この設計が成り立たない場合があります。顧客が見本を出せない案件です。
A&Aの考え方
新しく始める事業で、過去の資料が無いことがあります。選ぶ時間を取る気がない相手もいます。こういう場合は、見本を無理に作らせても、選んだ本人が納得していないので、検収の場で効きません。
A&Aの考え方
そのときは、読んだ感触で決まる品質を検収の対象から外します。合否を争わず、修正回数と範囲で区切る見積もりにするほうが、双方にとって安く済みます。品質を言葉で定義しようとする試み自体を、やめるということです。
A&Aの考え方
逆に、納品を受け取る側に立つときも、同じ2枚が使えます。外注先に「もっと自然に」と伝える代わりに合格例と不合格例を渡すと、修正の往復が減ります。
見直しの月を先に決め、その月に見本を選び直す
A&Aの考え方
見本は古くなります。だから、固定するのと同時に、見直しの月を決めます。
A&Aの考え方
顧客の事業が変われば、読み手も変わります。読み手が変われば、去年の合格例は今年の不合格例になり得ます。
A&Aの考え方
見本を固定したまま長期の保守に持ち込むと、立場が入れ替わります。差し戻しを止めるために置いた見本が、今度は差し戻しの理由になります。「この見本のとおりに作りました」と「もうその見本ではない」が、検収の場でぶつかります。
A&Aの考え方
防ぎ方は一つです。見直しの月を、合格条件と同じ欄に書いておきます。別の表や別の覚書に書くと、忙しい月から順に忘れます。
A&Aの考え方
欄に書くのは4行で足ります。合格例の置き場所、不合格例の置き場所、選んだ日、見直しの月。この4行が、形容詞で書いていた段落の代わりになります。
仮想例
たとえば継続の契約なら、見直しの月を半期に1回として先に書いておきます。その月が来たら、こちらが新しい候補を並べ、顧客がまた1本ずつ選びます。選び直した結果が前と同じでも、日付が更新されるので、次の半期は今の見本として扱えます。
A&Aの考え方
選び直しの打ち合わせは、最初のときより短く済みます。比べる先がすでにあるので、顧客は前の合格例と新しい候補を見比べるだけで決められます。
A&Aの考え方
AIで作る納品物の検収には、同じ入力で同じ結果が出ない点をどう書くかという論点もあります。それは別の記事「同じ入力で同じ結果が出ないAI納品物を、検収条件にどう書くか」で扱いました。この記事は、合否の言葉そのものを形容詞から実物へ替える話です。
まとめ
A&Aの考え方
文体や語り口で評価される納品物の合格条件は、言葉を精密にしても決着しません。決着するのは、合格例と不合格例の2枚を顧客自身に選ばせ、比べる先として固定したときです。
A&Aの考え方
見本の候補はこちらが3案から5案そろえ、選ぶのは顧客にします。こちらが決めた合格は、検収の場で効きません。
A&Aの考え方
見本を選ぶ時間は、着手前の作業として見積もりに入れます。差し戻しの終点が見積もりの段階で決まるので、修正の回数を工数として書けます。
A&Aの考え方
見直しの月を、合格条件と同じ欄に書いておきます。見本が古くなると、今度は見本のほうが差し戻しの理由になります。
文体や語り口で評価される納品物の合格条件は、言葉を精密にしても決着しません。決着するのは、合格例と不合格例の2枚を顧客自身に選ばせ、比べる先として固定したときです。見本の候補はこちらが3案から5案そろえ、選ぶのは顧客にします。こちらが決めた合格は、検収の場で効きません。見本を選ぶ時間は、着手前の作業として見積もりに入れます。差し戻しの終点が見積もりの段階で決まるので、修正の回数を工数として書けます。見直しの月を、合格条件と同じ欄に書いておきます。見本が古くなると、今度は見本のほうが差し戻しの理由になります。顧客が見本を出せない案件では、読んだ感触で決まる品質を検収から外し、修正回数と範囲で区切ります。
よくある質問
顧客が「どれでもいい」と言って見本を選ばないときは、どうしますか。
こちらで決めず、主観的な品質を検収の対象から外します。選んだ本人が納得していない見本は、検収の場で比べる先として効かないからです。合否を争わない代わりに、修正回数と範囲で区切る見積もりにします。見本を選ぶ時間を見積もりの行にしておくと、選ばないという返事そのものが、どちらの進め方にするかの分かれ目になります。
合格例は、こちらが作った自信作ではいけませんか。
こちらが作った物を合格例に置くと、比べる先が自分の言葉に戻ります。検収で合否を付けるのは顧客なので、顧客が自分で選んだ物でないと、差し戻しの理由を「合格例との差」に置き換えられません。こちらが作った案は、顧客に選んでもらう候補の1本として出します。
見本2枚があれば、修正は必ず2回で終わりますか。
終わるとは言えません。見本が決めるのは回数ではなく、終点がどこにあるかです。終点が合格例との差になるので、何回で終わるかを着手前に見積もれるようになります。回数そのものは、案件ごとに見積もりの行として決めます。AIに書かせた納品物は、同じ指示でも文体が揺れます。その揺れをどこまで許すかも、合格例との差で見ます。
出典・編集情報
記事の調査で確認した一次資料です。資料の公開・更新時期と、調査時の確認日を分けて記載しています。
- Lex streamlines the writing process with Claude
Anthropic · undated case-study page; no publication or update date shown
確認日 2026-10-22 - Demystifying evals for AI agents
Anthropic · January 9, 2026
確認日 2026-10-22