AIチャットボット外注の検収、受け入れ基準の決め方

何から決める？ AIの検収が難しい理由から整理する

まず、AIは確率的に動作するため、従来型システムのように全件が仕様どおりという合否判定ができないことを前提に置きます。決めるべきは、どの条件で、どの範囲まで正しければ合格とするかです。

この前提は、公的な資料でも共有されています。経済産業省の契約ガイドラインでは、AI技術を利用したソフトウェアの開発方式として探索的段階型が提案されており、性能を事前に確約しにくいというAIの性質を前提とした枠組みが示されています（出典: 経済産業省 情報経済課「AI・データの利用に関する契約ガイドラインの概要」2021年1月）。

従来型システムの検収との違い

従来型のシステムなら、仕様書に書いた機能が動くかどうかで合否を判定できます。ボタンを押せば画面が開く、という確認は、何度やっても同じ結果になります。

AIチャットボットは違います。同じ質問でも言い回しが変われば回答が変わり、想定していない質問も飛んできます。全問正解を条件にすれば、どの発注先も合格できません。

比較の観点	従来型システム	AIチャットボット
判定の考え方	仕様どおりか	どの範囲まで正しいか
確認の対象	機能の動作	回答の内容と、外れ方
合格の形	全件が仕様どおり	決めた水準を満たす
公開後	不具合の修正	継続的な改善が前提

先に決めておくこと

契約前に決めておくことは4つです。この4つが決まっていないと、検収の場で議論が始まってしまいます。

1. 評価に使う質問セットを誰が作るかを決める（つまずきやすい点: 受注側だけに作らせること。受注側が想定した質問だけでは、現場に来る質問と噛み合いません）。
2. どの業務の、どの範囲の質問を対象にするかを決める（所要時間の目安: 半日）。
3. 何をもって正しい回答とするかの基準を文章にする。
4. 合格の水準と、不合格だった場合の扱いを決める。

3つめの「正しい回答」の基準は、意外と揉めます。案内先のページが合っていれば正解とするのか、回答文の内容まで求めるのかで、判定結果が変わるためです。

なお、経済産業省は平成30年6月に「AI・データの利用に関する契約ガイドライン」を公開しており、AI編とデータ編から成る構成で、学習済みモデルの開発契約やAI技術の利用契約の考え方を示しています（出典: 経済産業省「AI・データの利用に関する契約ガイドライン」）。進め方の全体像は次のセクションで扱います。

段階を分けて進めるとは？ 契約ガイドラインの考え方

経済産業省の契約ガイドラインでは、学習済みモデルの開発をアセスメント、PoC、開発、追加学習の4段階に分ける整理が示されています（出典: 経済産業省 情報経済課「AI・データの利用に関する契約ガイドラインの概要」2021年1月）。最初から成果を一括で保証させる形にしないという考え方です。

発注側から見ると、これは検収を1回で終わらせないという話でもあります。段階ごとに結果を確認して、次へ進むかどうかを決めます。

4段階の進め方

4つの段階と、発注側が各段階で確認することを整理すると次のようになります。

段階	主な内容	発注側が確認すること
アセスメント	実現可能性の見極め	手持ちのデータで狙う精度に届きそうか
PoC	試作による検証	現場の質問でどこまで答えられるか
開発	本番向けの構築	決めた水準を満たすか、運用に耐えるか
追加学習	公開後の改善	回答できなかった質問をどう反映するか

段階を分ける利点は、途中でやめられることです。アセスメントの結果、手持ちのFAQでは狙う範囲に届かないと分かれば、本開発に進む前に方針を変えられます。

1. 契約前に、どの段階までを今回の契約範囲にするかを決める（つまずきやすい点: 4段階すべてを1本の契約にまとめてしまうこと）。
2. 各段階の終わりに何を確認するかを、契約書か仕様書に書く（所要時間の目安: 半日）。
3. 次の段階へ進む判断を誰が行うかを決めておく。

探索的段階型が前提にしていること

AI編では、AI技術を利用したソフトウェアの開発方式として探索的段階型が提案されています。ユーザとベンダの間で利用条件を細かく設定して利害を調整する枠組みです（出典: 同概要資料）。

ここで前提になっているのは、性能を事前に確約しにくいというAIの性質です。だからこそ、進めながら条件を詰める形が取られています。

発注側が誤解しやすいのは、この進め方が「受注側が責任を負わない仕組み」ではないという点です。段階ごとに何を確認し、満たさなければどうするかを決めるからこそ、判断の根拠が残ります。

段階を分けると費用が増えるのではないかと聞かれることがあります。実際には、届かない前提のまま本開発に進んで作り直すほうが高くつきます。合格の水準そのものをどう決めるかは、次のセクションで扱います。

合格ラインは何を根拠に決める？ 期待値の言語化から

合格ラインは、業界標準の数値ではなく、自社の業務で許容できる外れ方から決めます。何%なら無難という一律の基準は存在しません。

判断の起点は、回答を間違えたときに何が起きるかです。案内先が違っていただけで済むのか、金額や契約条件の誤案内につながるのかで、求める水準は変わります。

業務影響から許容範囲を決める

まず、対象とする質問を業務影響で分けます。すべての質問に同じ水準を求めると、費用も期間も膨らみます。

質問の種類	例	求める水準の考え方
誤案内の影響が大きい	料金、契約条件、個人情報の扱い	誤った回答を出さないことを優先し、答えずに有人へ渡す
影響が限定的	営業時間、アクセス、よくある手続き	高い正答率を求める
想定外の質問	対象業務と関係のない質問	答えられないと返す動作を確認する

実装者の視点で強調したいのは、1つめの種類です。この範囲は、正答率を上げることより、間違えたまま自信ありげに答えない設計になっているかを確認してください。有人対応へ切り替える条件が入っているかが、実務では効きます。

評価に使う質問セットを自社で用意する

合格ラインを決めても、評価に使う質問が受注側の想定だけで作られていると、判定の意味が薄くなります。現場に実際に来ている問い合わせから質問を集めてください。

1. 過去の問い合わせ記録から質問を書き出す（所要時間の目安: 2日から3日）。
2. 業務影響の大きさで3つに分ける（つまずきやすい点: 分類を受注側に任せること。影響の大きさは業務を知る側にしか判断できません）。
3. 各分類に、正しい回答の例を書き添える。
4. 質問セットを契約書または仕様書に添付する。

品質保証の枠組みでも、顧客の期待値を把握してそれを満たすことが重要と位置づけられています。QA4AI（AIプロダクト品質保証コンソーシアム）は2018年4月1日に設立された、日本発のAIプロダクト品質保証ガイドラインの策定団体です（出典: AI事業者ガイドラインとQA4AIに関する整理）。

また、総務省と経済産業省は2026年3月31日に「AI事業者ガイドライン（第1.2版）」を公表しています。前身の第1.1版（2025年3月28日公表）では、開発過程やデータ収集、使用したアルゴリズム等の文書化が求められ、各主体はトレーサビリティの確保状況を説明することが求められています（出典: 総務省・経済産業省「AI事業者ガイドライン」）。委託先がこの文書化と説明にどこまで対応できるかは、合格ラインの妥当性を議論する土台にもなります。

精度以外に何を見る？ 5つの評価軸で漏れを防ぐ

検収では、モデルの精度だけでなく、データ、システム全体、開発プロセス、顧客の期待という複数の軸を確認します。精度だけを見ると、運用に入ってから問題が表面化します。

QA4AIガイドラインは、品質保証の軸としてデータインテグリティ、モデルロバストネス、システム品質、プロセスアジリティ、カスタマーエクスペクテーション（顧客の期待）の5つを挙げており、これらはAIシステムの開発から運用までの全段階に適用されるとされています（出典: CodeZine「QA4AIガイドラインとは何か？ AIプロダクトの品質保証における課題と推進のための5つの軸」）。

5つの評価軸と確認する内容

発注側の言葉に置き換えると、次のように確認できます。

評価軸	発注側が確認すること
データインテグリティ	学習や参照に使ったFAQや文書が最新か、誤りが混じっていないか
モデルロバストネス	言い回しを変えた質問や、誤字のある質問でも答えられるか
システム品質	応答速度、同時アクセス、有人対応への切り替えが動くか
プロセスアジリティ	回答の誤りを見つけたとき、どれくらいで直せる体制か
カスタマーエクスペクテーション	想定した使い方と、実際に来る質問がずれていないか

精度の話だけをしていると、1行目と3行目が抜け落ちます。参照元の文書が古いままなら、モデルがどれほど優秀でも回答は間違います。

運用開始後に見る指標

検収は公開の直前だけの作業ではありません。公開後に何を見るかまで決めておくと、改善の議論が数字でできます。

1. 回答できずに終わった質問の件数と内容を記録する（つまずきやすい点: 記録の仕組みを入れ忘れること。後から追加すると改修になります）。
2. 有人対応へ切り替わった件数と理由を集計する（所要時間の目安: 月1回、1時間程度）。
3. 利用者の評価ボタンなど、回答の良し悪しを拾う導線を用意する。
4. 集計結果をもとに、参照元の文書を更新する担当と頻度を決める。

1つめは特に重要です。答えられなかった質問こそが、次に追加すべき情報そのものだからです。この記録が残らない作りになっていると、改善の材料が手元に残りません。

これらの確認項目をどう文章に落とすかは、次のセクションで扱います。

検収条件にどう書く？ 書き方の型と記入例

検収条件は、評価に使う質問セット、判定の方法、合格の水準、不合格時の扱いの4点を書きます。質問セットを添付しない検収条件は、判定のたびに解釈が割れます。

文章を新たに起こす必要はありません。前のセクションまでで決めた内容を、そのまま項目に流し込む形で足ります。

書き方の型

契約書または仕様書には、次の4項目を書きます。

項目	書く内容	記入例
評価対象	添付する質問セットと件数、分類	別紙の質問一覧（影響大20問、通常60問、対象外20問）
判定方法	誰が、何をもって正解とするか	発注者が別紙の正解例と照合して判定する
合格の水準	分類ごとの水準	通常の質問は正答、影響大の質問は誤回答を出さず有人へ引き継ぐこと
不合格時の扱い	再評価の回数と改修の範囲	改修後に同一の質問セットで再評価、回数は2回まで

合格の水準を分類ごとに分けている点が要点です。影響の大きい質問まで同じ正答率で縛ると、受注側は安全側に倒して何も答えない設計にするか、逆に無理に答える設計にするかのどちらかに寄ります。

もう1つ、判定に使う質問セットは検収後も変えないでください。改修のたびに質問を入れ替えると、良くなったのか質問が変わっただけなのかが分からなくなります。追加したい質問は、別の組として管理します。

不合格時の再評価と改修の範囲

不合格になったときに何をするかを決めていないと、その場での交渉になります。あらかじめ次を決めておいてください。

1. 再評価の回数を決める（つまずきやすい点: 回数を決めずに無制限の改修を求めること。期間と費用の双方に跳ね返ります）。
2. 改修の範囲を決める（所要時間の目安: 契約前の協議で半日）。
3. 水準に届かなかった場合に、公開を延期するか範囲を絞って公開するかを決める。
4. 参照元の文書側に原因があった場合の扱いを決める。

4つめは見落とされがちです。回答が誤っていた原因が、自社が渡したFAQの記載ミスだったという例は珍しくありません。原因の切り分け方を先に決めておくと、責任の押し付け合いになりません。

検収条件の言語化は、業務を知る発注側にしか書けない部分が残ります。当社はAIチャットボットの構築を手がけており、評価用の質問セットの設計から一緒に進める形もご提案しています。進め方に迷う場合は無料診断からご相談ください。

つまずきやすい点は？ 発注側が陥りやすい3つの失敗

合格ラインを他社の数値で決める、評価用の質問を受注側だけに作らせる、公開後の改善を契約に入れ忘れるという3点が、運用開始後の不満につながります。いずれも契約前に防げます。

1つめは前のセクションまでで扱いました。ここでは残る2点を具体的に見ていきます。

自社の質問で評価する

評価用の質問を受注側だけに作らせると、受注側が答えられる質問ばかりが並びます。悪意の問題ではなく、現場に来る質問を知らないためです。

当社のAIチャットボット導入では、業種別に応答を最適化して24時間の一次対応を実現していますが、この業種別の調整は、その会社に実際に来ている問い合わせを見なければ設計できません。同じ業種でも、聞かれる内容は会社によって驚くほど違います。

質問セットの作り方	起きること
受注側だけで作成	検収は通るが、公開後に答えられない質問が続出する
発注側だけで作成	技術的に難しい質問ばかりになり、判定が偏る
発注側が集め、受注側が分類を補助	現場の質問で判定でき、難易度の見立ても共有できる

現実的なのは3行目です。質問そのものは発注側が集め、どれが技術的に難しいかの見立てを受注側に出してもらいます。

公開後の追加学習を前提に置く

AIチャットボットは、公開した日が完成日ではありません。答えられなかった質問を拾って参照元の文書を足していく作業が、公開後に続きます。

ここを契約に入れ忘れると、公開直後から改善が止まります。運用の取り決めを次の順で決めてください。

1. 参照元の文書を更新する担当を、自社と受注側のどちらにするか決める（つまずきやすい点: 決めないまま公開し、誰も更新しない状態になること）。
2. 更新の頻度と、更新にかかる費用の扱いを決める（所要時間の目安: 契約前の協議で1時間）。
3. 答えられなかった質問の記録を、どの画面で誰が見るかを決める。
4. 一定期間後に、合格水準そのものを見直す場を設ける。

4つめまで決めている会社は多くありません。しかし、公開して数か月経つと、想定していなかった種類の質問が増えているのが普通です。最初に決めた水準が実態に合っているかを見直す場を作っておくと、改善の議論が続きます。

検収は、公開の可否を決める一度きりの関門ではなく、運用の出発点だと捉えてください。

よくある質問

契約前の打ち合わせで実際に聞かれることの多い質問をまとめました。数値の目安は業務内容と質問の性質で変わるため、一律の基準は示していません。

AIチャットボットの回答精度は何%あれば合格といえますか？

一律の合格ラインはありません。決め方は、対象の質問を業務影響で分け、影響の大きい範囲は誤った回答を出さないことを優先し、影響が限定的な範囲に高い正答率を求める形です。他社の公表値をそのまま持ち込むと、評価に使った質問も判定の基準も違うため、比較になりません。

検収に使う質問は何問くらい用意すればよいですか？

件数よりも、現場に実際に来ている質問を反映しているかが重要です。過去の問い合わせ記録から集め、業務影響の大きさで分類したうえで、各分類に一定数ずつ入れてください。件数が少なすぎると、たまたまの当たり外れで判定が揺れます。

回答できなかった質問は、不具合として扱えますか？

対象範囲として合意した質問かどうかで変わります。だからこそ、どの業務のどの範囲を対象にするかを契約前に決め、質問セットを添付しておく必要があります。対象外の質問に答えられないことは、不具合ではなく想定どおりの動作です。

公開後に精度が下がった場合、どこまで対応してもらえますか？

契約に運用の取り決めを入れているかによります。参照元の文書を更新する担当、更新の頻度、費用の扱いを決めていないと、公開直後から改善が止まります。原因が自社の渡した文書側にある場合の扱いも、あわせて決めておいてください。

PoCと本開発で契約を分けると、費用は高くなりますか？

案件により変動するため、金額の目安はここでは示しません。ただし、手持ちのデータで狙う範囲に届かないまま本開発に進み、作り直しになるほうが結果的に高くつきます。経済産業省の契約ガイドラインが段階を分ける整理を示しているのも、この性質を前提にしたものです。

最後に、検収条件を決める流れをまとめます。

1. 対象とする業務の範囲を決め、現場の問い合わせから質問を集める（所要時間の目安: 2日から3日）。
2. 質問を業務影響で分類し、分類ごとの合格水準を決める（つまずきやすい点: すべてに同じ水準を求めること）。
3. 質問セット、判定方法、合格水準、不合格時の扱いを契約書または仕様書に書く。
4. 公開後の記録の取り方と、参照元の文書を更新する体制を決める。

関連リンク

• AIチャットボットの導入範囲を無料診断で整理する
• AI導入の進め方をまとめたDXガイドブック
• AIチャットボット構築の料金の考え方
• AI活用に関する記事一覧