第2章 必ず人が確認する仕組み（HITL）——AIに丸投げしない安全な4段階サイクル
対象＝中小企業の経営者・役員・実務リーダー。 「AIがもっともらしい嘘（ハルシネーション）をついたり、計算ミスをして取引先とトラブルになったらどうしよう」という不安は当然のものです。 本章では、AIに仕事を丸投げせず、「最後は必ずベテラン社員が確認してハンコを押す仕組み（HITL / Human-in-the-loop）」を、毎日の業務で無理なく回すための運用手順を解説します。 ※本章は安全運用の手順を示すもので、特定効果の保証や法律・税務上の助言ではありません。
1. 全体の流れ：毎日安全に回す「4段階の作業サイクル」
AIと人間がチームを組み、以下の4つのステップで仕事を進めます。
- ①【AI】下調べと下書き作成
AIが過去のデータや規程を調べて、書類の下書きや照合結果の「案」を作ります。この段階では、社外へメールを送ったり、会計ソフトを確定させたりは絶対にしません。AIの使いすぎを防ぐため、1案件あたりのやり直し回数や利用料上限（Token Capping）を設けておきます。 - ②【AI】要注意な「例外」のピックアップ
「金額がいつもより極端に高い」「書類に抜け漏れがある」「初めての取引先」など、普段と違う怪しい部分をAIが一覧にして人間へ報告します。人間は「全部を1から読む」のではなく、「AIが指摘した要注意箇所」を重点的に見ることで、作業時間を大幅に短縮できます。 - ③【人間】人の最終チェック・承認関所（Human Approval Gate）
あらかじめ名前を決めておいた社員（または代行者）が内容を確認し、「送信OK」「やり直し（差し戻し）」「上司へ相談」を選びます。もし担当者が不在でも、「時間が経ったら自動で送信される」という設定は事故の原因になるため絶対に禁止します。 - ④【システム】証拠の記録（Audit Trail / 操作履歴）
「誰が・いつ・何の根拠資料を見て承認したか」を電子記録として保存します。税務調査や社内監査で「なぜこの処理をしたか」を後から証明できるようにします。なお、自社の機密情報がAIの再学習に流用されない契約（ZDR）になっていることを必ず確認しておきます。 - ⑤次の仕事へ進む
人間のチェックで「やり直し」になった案件は、理由を添えて①のAIへ戻すか、人間が直接手作業で修正します。「送信OK」が出たものだけが、正式な社外送信や台帳登録に進みます。 - 週に1回、例外の割合と作業時間を見直す
週1回、現場リーダーが「人間が確認した割合（例外率）」を集計します。慣れてきても、「人の最終確認（Human Approval Gate）」を外して全自動化してはいけません。
🔍 クリックで拡大
2. 運用が慣れてきたときの注意点（全自動化の罠）
業務に慣れてくると、「もうミスもないし、人の確認を省いて全自動にしよう」という誘惑（ゲート閉鎖の圧力）が必ず生まれます。しかし、これこそが大事故の始まりです。
成熟する（慣れる）とは、「人間の確認の手間を減らす」ことであり、「人間の確認をなくす（ゲートを閉じる）」ことではありません。
| 慣れてきた状況（要実測） | やって良いこと（改善） | 絶対にやってはいけないこと（危険） |
|---|---|---|
| AIの間違いが非常に少なくなった | 定型業務の下書き作成をAIに任せる割合を増やす | 取引先へのメール送信や送金を完全無人化する |
| やり直しの理由がワンパターンになってきた | チェック用の社内ルールを増やしてAIに事前に教える | 責任者が不在のまま、勝手にAIに仕事を確定させる |
| 数ヶ月間トラブルがゼロだった | 別の小さな定型業務への横展開を検討する | 操作履歴（Audit Trail）の記録を省略する |
| 月末の締め日に余裕で間に合うようになった | 確認の代行者を増やしたり、チェック基準を見直す | 担当者が忙しいからと「時間切れ自動承認」を導入する |
3. チェックリスト（必ず人が確認する運用の点検）
4. よくある失敗パターン（現場あるある）
| # | 失敗パターン | 現場で起きるトラブル | 先にやっておくべき解決策 |
|---|---|---|---|
| A | 確認ボタンの連打（形骸化） | 忙しすぎて、画面を見ずに承認ボタンを連打して誤送信が起きる | AIが指摘した「要注意箇所」を承認画面の最上部に目立つように表示する |
| B | 時間切れの自動承認 | 担当者が出張や病欠の間に、勝手に承認されて社外に送られてしまう | タイムアウト時は「自動保留」または「上司へ転送」を鉄則にする |
| C | 証拠を残さない | 後からミスが発覚した際、「誰がOKを出したのか」が分からず社内が紛糾する | ④証拠の記録（Audit Trail）をシステム上で必須にする |
| D | 結局人間が全部1から読んでいる | 現場の社員が「AIを使っても手間が変わらない」と嫌になり使われなくなる | ②例外の提示を活用し、人間は「いつもと違う箇所」だけを重点確認する |
| E | AIの利用料金が青天井 | 何度もやり直しを繰り返した結果、月末に高額な請求が届いて驚く | 月額上限設定（Token Capping）と、1案件あたりのやり直し上限を決める |
| F | 「もう慣れたから関所を外そう」 | 経営陣や現場が「全自動化」を強行し、数ヶ月後に重大な誤送信・誤請求を起こす | 「人の承認（Human Approval Gate）は会社を守る防波堤なので絶対に外さない」と合意する |
5. 効果はどう測るか（効果の保証ではなく「仮説・要実測」）
「人の確認を挟むと、かえって時間がかかるのでは？」という疑問も、実際に測ってみれば答えが出ます。
| 測定する項目 | 最初の仮説の立て方（例） | 実際の測定方法 |
|---|---|---|
| 人間が直接確認した割合（例外率） | 「全体の約2割が人の重点確認を必要とする（仮説）」 | 承認関所（ゲート）を通過したログから集計 |
| 確認待ちの滞留時間 | 「提出から2時間以内に確認完了する（仮説）」 | 申請時刻と承認完了時刻の差を計測 |
| やり直し（差し戻し）の割合 | 「1回目の下書きで8割以上がOKになる（仮説）」 | 差し戻しになった件数を数える |
| AI利用料（料金リミッター内か） | 「1件あたり数十円以内で収まる（仮説）」 | 月末の請求書や利用ダッシュボードで確認 |
| 重大な誤送信・トラブル件数 | 「0件（目標）」 | トラブル報告書を管理部門で集約 |
「絶対に○時間で終わる」と断定せず、最初の1ヶ月は実測しながら無理のないペースを掴みましょう。
6. 誰がハンコを押すか（承認者の役割と部門別事例）
社内の共通役割分担
| 役割 | この人が担当する責任 | 権限 |
|---|---|---|
| 現場担当者（業務オーナー） | 日常業務の確認、AI下書きのチェックと許可 | 通常の定型案件の承認・差し戻し |
| 確認代行者 | 担当者不在時の代理確認（あらかじめ決めた範囲内） | 迷った案件は上位者へエスカレーション |
| 部門長（マネージャー） | 金額が大きい案件、新規取引先、特別な値引き | 高額案件や特殊条件の最終承認 |
| IT・管理部門 | 利用権限の設定、料金リミッターの管理 | 異常時のシステム緊急停止 |
| 経営陣（社長・役員） | 予算の承認、他部門への展開判断 | 本番開始（Go/No-Go）の最終決定 |
営業部門：誰がハンコを押すか（提案書・見積書チェック）
現場の課題
営業部では、商談後のお礼メールや見積書の作成をAIで下書きさせた後、「誰が確認して送るのか」が口頭の曖昧なルールのまま放置されがちです。 担当者が自分で勝手に送る日もあれば、上司の確認を待つ日もあり、大幅な値引きを書いたメールが誤送信されて大問題になるケースがあります。特に金曜の夕方は、締め切りに追われて「確認なしで自動送信したい」という危険な誘惑が強まります。
安全な運用の手順
- ①AI：過去の成約事例を元に、提案メールや見積書の下書きを作成。
- ②AI：通常と異なる「値引き率」「特別な支払条件」「初めての顧客」を赤字で警告（例外提示）。
- ③人間（承認関所）：担当営業が誤字や数字を直して上長へ提出。定型見積は担当営業が承認、値引き案件は課長が承認。
- ④記録：送付した見積書のPDFと、誰が何時に承認したかを顧客管理システム（CRM）に記録。
- 時間切れの扱い：上司が退勤してしまっても、自動送信は絶対にせず翌朝一番の確認に回す。
承認ルール
- 通常の見積：担当営業（実名固定）。
- 特別値引き・重要条件：営業課長。
- 代行者：課長不在時は営業部長。値引き率○％以内まで代行可能。
明日すぐできること
- 見積書と提案メールの「確認担当者と代行者」を実名で一覧表にして社内に貼る。
- 「値引きが含まれる案件は、承認画面で一番上に警告を出す」設定にする。
- 金曜夕方に確認者がいなくても「自動送信は絶対にしない」と営業部内で約束する。
総務部門：誰がハンコを押すか（社内問い合わせ対応）
現場の課題
社内からの問い合わせ対応では、「公開されている規程なら誰が答えても良い」案件と、「病気や家庭の事情、給与に関わる繊細な相談」が混ざって届きます。 新入社員やアルバイトがAIの作った下書きをそのまま社内チャットに貼り付けてしまい、誤った労働条件を伝えてしまうトラブルが起きがちです。
安全な運用の手順
- ①AI：就業規則など公開されたルールを元に、一次回答の下書きを作成。
- ②AI：質問文の中に「病気」「休職」「ハラスメント」「給与」などの個人情報が含まれていないかチェック。
- ③人間（承認関所）：一般的な規程の質問は総務担当者が確認して回答。個人の処遇に関わる相談は即座に人事課長へ引き継ぎ、対面または個別メールで対応。
- ④記録：どの規程の何条を根拠に回答したかを記録に残す。
- 差し戻しルール：AIの下書きに根拠規程の明記がない場合はやり直させる。
承認ルール
- 通常のルール質問：総務担当者（実名）。
- 人事・個別相談：総務課長または人事担当役員。
- アルバイトや派遣社員には最終回答の承認権限を持たせない。
明日すぐできること
- 「誰でも答えて良い質問」と「課長以上しか答えてはいけない質問」の境界線を表にする。
- 社員向けに「個人のプライベートな相談は、AIチャットではなく直接相談窓口へ」と告知する。
経理部門：誰がハンコを押すか（請求書の突合と支払確定）
現場の課題
経理では、「請求書と発注書の数字が合っているかの確認」と、「実際の銀行振込の確定」という2つの関所があります。 担当者がAIの画面を見て「合っていそうだから」と、そのまますぐに銀行振込データまで作ってしまうと、二重支払いや詐欺請求を見落とす原因になります。月末の繁忙期には「忙しいから確認を省きたい」という圧力が強まります。
安全な運用の手順
- ①AI：請求書PDFから会社名、金額、口座情報を読み取り、発注書データと突き合わせる。
- ②AI：金額が1円でもズレているもの、振込先口座が過去と異なるものを赤色で警告。
- ③人間（二重の承認関所）：
- 第1関所（書類の突合）：経理担当者がAIの指摘箇所を確認して「突合完了」とする。
- 第2関所（支払確定）：経理課長が全体の合計金額を確認して初めて「振込確定」の印を押す。
- ④記録：請求書PDF、突合結果、承認者名、日時をセットで電子保管する。
- 締め日前の運用：未処理の請求書が何件残っているか、課長が朝夕に確認して滞留を防ぐ。
承認ルール
- 日常の突合チェック：経理担当者。
- 支払確定・高額案件：経理課長および経理部長。
- 締め日の時間切れ自動承認は絶対に禁止。
明日すぐできること
- 「書類チェック」と「振込確定」の担当者を明確に分ける。
- 過去と違う新規の振込先口座がある場合は、必ず電話等で人間が裏取りするルールを徹底する。
毎日の現場での回し方（朝・昼・夕のルーティン）
- 朝（始業時）：未処理の確認待ちが何件溜まっているかと、昨日のAI利用料が予算内かを確認します。
- 昼（中間確認）：人間が見るべき「例外」が多すぎる場合、業務の切り方が広すぎる可能性があるため、対象を一時的に狭めます。
- 夕（終業時）：やり直しになった理由を現場リーダーが見直し、翌日のAIへの指示や業務マニュアルを少しずつ改善します。
会社を守るコンプライアンスの基本原則
必ず人が確認する仕組み（HITL）は、重大事故や情報流出のリスクを最小限に抑えるための知恵です。特定ツールの効果や無事故を保証するものではありません。各社の業務内容や業界規制に合わせて自社で適切にご判断ください。
本章で参照している公的ガイドライン・引用ID
HITL-SURVEY-WU-2022（人間参加型AIの運用標準調査）NIST-AI-RMF-1.0（米国国立標準技術研究所 リスクマネジメント基準）NIST-AI-600-1（生成AI導入リスク管理）DIGI-GENAI-PROCURE-2.0（デジタル庁 調達・調達後運用指針）AISI-EVAL-GUIDE-1.20（AIセーフティ・インスティテュート評価指針）METI-AI-GL-1.2（経済産業省・総務省 AI事業者ガイドライン）
次章への案内
AIと人間のチームプレイの形が見えたら、次は経営者として一番気になる「お金の計算」です。 → 第3章「導入費用と採算の考え方（コストとROI）」へ進み、初期費用、月額利用料、確認する社員の人件費を正しく計算して、失敗しない稟議の通し方を学びましょう。