社内データを生成AIで使う準備は1業務だけでよい。RAGの仕組みと始め方

経営層や現場から「うちも生成AIで社内データを活用できないか」と言われても、見積書・請求書・日報の形式はバラバラだ。どこから手をつければよいか分からない。

結論から言うと、全社のデータを整えるより先に、1つの業務を決めて試すほうが早く動ける。RAG(社内文書を検索させてAIに答えさせる仕組み)なら、そこから着手できる。整える範囲も、その1業務で使う文書だけで足りる。

社内データと生成AIをつなぐ3つの方法と、最初に選ぶもの

社内データが日々更新される業務なら、RAGから始める。社内データと生成AIをつなぐ方法は、プロンプトに貼る、RAGで検索させる、ファインチューニングで学習させるの3つがある。

3つの違いは、データの渡し方と更新のしやすさで分かれる。ファインチューニングは文体や出力形式を覚えさせる用途で、見積書や日報の中身をそのつど引き出すためのものではない。日々増える文書を検索対象にしたいなら、選ぶのはRAGになる。

方法	データの渡し方	更新のしやすさ	向いている業務	必要な準備
プロンプトに貼る	質問のたびに文章を貼り付ける	そのつど貼り直す	1回きりの確認作業	特になし
RAG	検索先に文書を登録しておく	文書を差し替えるだけ	日々更新される業務	文書を探せる・読める状態にする
ファインチューニング	大量データでモデル自体を調整	作り直しに近い作業が要る	文体・出力形式の統一	学習用データの整形

RAGは社内データをどう読んで答えているのか

RAGは、質問に関係する社内文書をそのつど検索してAIに渡す仕組みだ。AIが社内文書を丸ごと覚えているわけではない。動きは、質問を受ける、社内文書を検索する、見つかった文章と質問をまとめてAIに渡す、AIが回答する、という順で進む。

k-idea.jpの事例では、社内規程を登録する前は「午後休は午後1時から午後5時まで」と誤って答えていた。正しくは「午後6時まで」だった（出典：k-idea.jp）。これは、LLM（大規模言語モデル）が持つ一般的な情報で答えたためだ。

検索先に社内データを置くと回答が変わる。回答の根拠になった文書を画面に表示させておくと、間違いに気づける。どの文書を直せばよいかも分かる。担当者が自分で直せる場所を作っておくことが、運用を続けるうえでの分かれ目になる。

• 質問を受ける
• 社内文書を検索する
• 見つかった文章と質問をまとめてAIに渡す
• AIが回答する

何から始めるか。1つの業務を決めてからデータを集める

全社のデータを整えてから始めようとすると、着手できないまま止まる。先に1つの業務を決めて、その業務で使う文書だけを集めるほうが早い。

業務の選び方は、次の4つで判定する。

• 毎日・毎週くり返し発生している
• 入力・照合・下書き・検索など手順を言葉で説明できる
• 過去の記録が残っている
• 最終確認は人が行う

これは当社がPoC（お試し開発）の対象業務を選ぶときの基準でもある。最初の1業務の候補は、社内問い合わせの一次対応、見積・受注の照合、過去案件の検索などが挙がりやすい。

「導入目的の明確化と現状分析」という進め方だけを示すページは多いが、それだけでは着手できない会社が多い。業務単位まで落として、対象文書を集める作業に置き換えると、着手できる形になる。

見積書・請求書・日報は、どこまで整えればAIで使えるか

全部を統一する必要はなく、1業務で参照する文書だけを対象に、探せる状態と読める状態の2点を満たせば使える。フォーマットを社内で統一し直す作業は不要になる。

ゴミを入れればゴミが出る（出典：helpmeee.jp）。整っていない文書をそのまま検索先に登録すると、AIの回答も整っていないものになる。まず対象の文書を絞り込むところから始める。

最新版と古い版が混ざっている状態を先に直す

旧規程や改訂前の見積テンプレートが同じフォルダに残っていると、AIはどちらも根拠として拾ってしまう。版が分かるファイル名に直すか、参照させるフォルダから旧版を外す。

どちらを選ぶにしても、更新したときに誰が差し替えるかを、この時点で決めておく。担当者が決まっていないと、次の更新で同じ状態に戻る。

スキャンPDF・手書き・Excelの表は、読み取れるかを先に確認する

文字が画像として入っているPDFは、そのままでは検索の対象にならない。テキストが選択できるかで判別できる。選択できなければ、そのファイルは検索に引っかからない。

手書きメモしか残っていない業務は、最初の1業務から外す判断もある。Excelは1セルに複数の情報が入っていると意味の区切りが崩れるため、列を分けておく。

社内データを外部の生成AIに渡すとき、漏らさないために決める4つ

着手前に決めるのは、使用するデータ、利用するAIサービス、アクセス権限、保存と削除方法の4つ。当社はこの4点を、着手前にNDA（秘密保持契約）を結んだうえで確認している。

社内データを社外のAPI（外部サービスとつなぐ窓口）に送る方式もあれば、社内に閉じた環境で完結する方式もある。どちらの方式かで、機密性の要件は変わる（出典：lion-ai.co.jp）。対象業務を決める段階で確認しておく。

• 使用するデータの範囲
• 利用するAIサービス
• アクセス権限の設計
• 保存と削除の方法

• 使用するデータの範囲
• 利用するAIサービス
• アクセス権限の設計
• 保存と削除の方法

入力した社内データが学習に使われるかを、契約と設定の両方で確認する

利用規約でデータの二次利用の有無を確認し、管理画面の設定でも学習をオフにする。規約だけ確認して設定を見落とすと、意図と違う状態のまま使い続けることになる。

無料アカウントを個人で使っている状態が残っていないか、社内の利用実態を先に確認する。入力してよい情報の線引きは、生成AIの社内ルール、何から決めればいいかで別に決めておく。

人事情報や役員資料まで答えてしまわないための権限設定

RAGは登録した文書であれば誰にでも答えてしまうため、元のフォルダ権限とは別の設計が要る。「アクセス権限管理とデータ分類」に触れているページは少ない。

部署・役職で参照できる文書を分けるか、機密度の高いフォルダは最初から登録しない、のどちらかで対応する。誰が質問して何が返ったかのログを残し、確認する担当者を決めておく。

他社は社内データ×生成AIをどんな業務に使っているか

社内問い合わせの一次対応、営業のナレッジ検索、規程・監査対応、議事録と決定事項の検索が、繰り返し挙がる業務になっている。(出典:sophiate.co.jp)

• 社内問い合わせの一次対応
• 営業のナレッジ検索
• 規程・監査対応
• 議事録と決定事項の検索

カスタマーサポート向けの生成AIエージェントでは、300件を超える導入事例や活用ガイド、セキュリティホワイトペーパーなどの自社データをRAGに登録している事例がある(出典:jp.tdsynnex.com)。文書の量が多い業務でも、検索先として登録できる。

効果の測り方は、自動回答で解決した件数や、オペレーター1人あたりの処理件数の増加で把握する方法がある(出典:blog.s-style.co.jp)。ただし公開されている削減率は各社の条件下の数字であり、そのまま自社の見込みにはならない。

検索で答えるだけでは終わらない業務がある

RAGは「調べて答える」仕組みで、注文書の読み取りや商品マスターとの照合、Excelへの入力は別の作り方が要る。検索と入力・照合は、そもそも別の処理になる。

当社が想定する活用例の1つが、注文書PDFを読み取り商品マスターと照合して受注一覧Excelに自動入力し、判断がつかない明細だけ人に回す使い方になる。もう1つは、見積書・請求書・日報を取り込んで案件ごとの利益を一覧にし、粗利率が低い案件に印を付ける使い方だ。

SaaSツールとカスタム開発、どちらを選ぶか

まず「SaaSで足りる要件か、カスタムが必要な要件か」を仮判定する。判定の軸は、データの散在度・機密性・全社横断性の3点になる。(出典:lion-ai.co.jp)

汎用生成AIなら無料〜月数千円規模で始められる(出典:lion-ai.co.jp)。一方、基幹システムとの照合や部署ごとの権限分けが要る場合は、カスタム開発に近づく。費用感はAIエージェント開発の費用と見積もりの内訳にまとめている。

比較軸	SaaSツール	カスタム開発
費用の考え方	月額料金（無料〜月数千円規模から）	対象業務・開発範囲に応じた見積り
対応できるデータ形式	アップロードした文書の検索が中心	照合・入力など業務固有の処理も可能
社内システムとの連携	基本は連携なし	API連携で基幹システムと接続できる
運用の担当者	利用者本人	開発時に決めた担当者・手順書の運用者

SaaSで足りる場合

文書をアップロードして質問するだけで済む業務、既存システムと繋がなくてよい業務は、SaaSで足りる。k-idea.jpの事例のように、文書ファイルをアップロードして質問する形で社内検索を始められる(出典:k-idea.jp)。

注意点は、月額が積み上がることだ。利用人数が増えたときの料金を、契約前に確認しておく。

カスタム開発が必要になる場合

基幹システムや商品マスターと照合する、社外に出せないデータを扱う、部署ごとに見せる範囲を変える。このいずれかがある業務は、カスタム開発が要る。

通常のシステム開発は、複数業務をまとめて要件定義し、数か月〜1年、数百万円〜かかる。既存システムとのAPI連携は、費用の内訳として別に見ておく必要がある。

20万円〜・着手から10日で、自社データで試す進め方

当社のPoC開発は、対象業務を1つに絞る。開発・検証は20万円〜(対象業務と開発範囲に応じて見積り)で、着手から10日で納品する。相談から提案までは無料になる。この金額と日数は、社内で検討材料として持ち帰るときの目安にもできる。

別途かかるのは、AIサービスの利用料(利用量に応じて発生)、既存システムとのAPI連携、検証後の保守・追加開発の3つ。通常の開発との違いはAIエージェント開発の費用と見積もりの内訳で比較している。

無料相談から業務利用まで、10日の中身

1. 無料相談30分で課題と作業内容をヒアリング
2. 対象業務と機能を決め、検証方法と費用を提示、NDA締結
3. DAY1〜9 データ受領・開発・実データで検証
4. DAY10 報告・納品、手順書を受け取り業務で利用

STEP1は無料相談30分で、課題と作業内容をヒアリングする。開発内容が未定でも相談できる。STEP2では対象業務と機能を決め、検証方法と費用を提示し、NDAを締結する。

STEP3はDAY1〜2にヒアリングとデータ受領、DAY3〜7に開発、DAY8〜9に実データでの検証・調整を行う。DAY10に報告・納品し、STEP4として手順書を受け取り、そのまま業務で利用を始める。

試したあとに作り直しにならないための条件

当社は、検証後もそのまま業務で使えるように作る。一つ解決したら、次の業務へ進める形を想定している。

検証で見るのは、回答までの日数、確認の往復回数、担当者以外でも対応できた件数、入力の誤りの件数の4つ。この4つは自社でも数えられるため、外注しない場合でも同じ指標で判断できる。

よくある質問

社内データでAI検索をするにはどうすればいいですか？

RAGで検索先に社内文書を置く方法になる。まず1業務分の文書を集めるところから始める。

社内データでAIを学習させる方法はありますか？

ファインチューニングは文体や出力形式を覚えさせる用途になる。日々更新される社内文書は、学習させるのではなくRAGで参照させる。

生成AIを社内で利用するときのルールは、どこまで決めればよいですか？

入力禁止情報、生成物の確認、アカウント管理の3点から決める。詳しい進め方は中小企業の生成AIガイドラインの作り方にまとめている。

社内データが紙や手書きしかない業務でも始められますか？

テキストとして読める記録が残っている業務を先に選ぶ。紙だけの業務は、最初の対象からは後回しにする。

社外の会社にデータを渡すのが不安です。何を確認すればよいですか？

NDAの締結と、使用データ・利用サービス・アクセス権限・保存と削除方法の4点を、着手前に確認する。詳しくは前段の見出しにまとめている。

まとめ

• 社内データをつなぐならRAGから。全社データの整理より先に1業務を決める
• 整えるのは最新版の統一と、テキストとして読める状態の2点
• 渡す前に、使用データ・利用サービス・アクセス権限・保存と削除方法を決める
• SaaSで足りるか、照合や転記まで必要かで作り方が変わる
• 次の一歩は、候補業務を1つ書き出して、その業務で使う文書を1か所に集めること

まずは候補となる業務を1つ書き出す。その業務でいま手作業にかかっている時間、AIに任せられそうな作業、入れてよい情報の線引きを整理してみてください。会社として仕組みにする段階まで来たら、フォームからご相談ください。