リスクと注意点 — 生成AI大全

影響力が大きい技術には、相応のリスクが伴います。「AIが人類を超える」といった遠い未来の議論だけでなく、いま現場で実際に起きている問題 を知り、備えることが重要です。本章は現実的なリスクを中心に整理します。

情報漏洩・プライバシー

最も身近で深刻なリスクです。外部の生成AIサービスに入力した情報は、提供元のサーバーに送られ、場合によっては保存・学習に使われうる。

サムスン電子のChatGPT情報漏洩事例（2023年）：2023年3月、半導体（DS）部門でChatGPTの社内利用が解禁された直後の20日以内に、3件の漏洩事案が発生したと韓国 Economist 紙が報じています。漏洩内容は、①半導体設備の計測データベース取得プログラムのソースコード、②半導体歩留・不良検出に関するソースコード、③社内会議の文字起こしテキスト、の3件。これを受けて同社は 2023年5月1日付の社内メモで、会社所有のPC・タブレット・スマートフォンおよび社内ネットワーク接続端末上での ChatGPT・Microsoft Bing・Google Bard 等の生成AI利用を一時禁止しました（Bloomberg が5月2日に独占報道）。

出典：Economist Korea（一次報道、2023/3/30、韓国語） / Bloomberg（2023/5/2 独占報道） / The Japan Times

対策としては、機密情報をそのまま入力しない、管理された業務用環境を使う、社内ルールを整備する、といった基本が欠かせません（第10章組織のガバナンス参照）。

ハルシネーション（誤情報）

なぜ起きるか — 構造的な原因

生成AIは「正しい答え」を計算しているのではありません。仕組みは次のとおりです（詳細は第3章推論パイプライン）。

入力テキストを トークン に分割する
Transformer で各トークン間の関係を計算する
「次に来そうな単語の確率分布」を出力する
その分布から サンプリング で1つ選ぶ
選んだ単語を末尾に加えて、1〜4を繰り返す

最終的に出来上がった文章が、たまたま事実と一致したら「正解」、しなかったら「ハルシネーション」と呼ばれます。同じ入力でも結果が揺らぐのも同じ理由です（temperature 等のサンプリング制御は第3章推論パラメータ）。

具体的な現れ方

生成AIは、事実と異なる内容を、もっともらしく自信ありげに出力します。実務でよく遭遇するパターン：

存在しない判例・論文・統計 を「それらしく」作る（書誌情報・著者名・年号まで自然に揃ってしまう）
架空のライブラリ名・関数名・APIエンドポイント を引いてコードを書く。AI推奨パッケージのうち OSSモデルで 21.7%、商用モデルで 5.2% が架空 という研究データもあります（第13章 Package Hallucination、Spracklen et al. USENIX 2025²³ ）
似た事実をミックス して新しい「事実」を合成（人物Aの発言を人物Bに帰属させる、年号や場所がずれる）
長文の中盤の情報を見落として 矛盾した要約を作る（Lost in the Middle 現象、Liu 2023¹⁰ ）

特に厄介なのは、間違っている時ほど自信ありげに見える 点。AI には「自分が間違っているかもしれない」という不確実性の表現が、デフォルトでは備わっていません。

対策

ハルシネーションは原理的にゼロにはできませんが、確率を下げる手段は複数あります。

#	対策	効果
①	重要事項は一次情報で裏取り	最も基本かつ強力
②	Web検索機能をON	出典付き応答が得られる
③	RAG で根拠資料を渡す（第5章 5.5）	学習データではなく渡した資料に基づかせる
④	プロンプトで「知らないことは知らないと答えて」「自信レベルを併記」と指示	「不明」を不明と書かせる
⑤	`temperature` を下げる	出力の揺らぎを抑える
⑥	同じ問いを複数回、多数決を取る（Self-Consistency、Wang et al. 2022（ICLR 2023）⁴ ）	確率的な揺らぎを平均化
⑦	別モデル・別セッションでクロスチェック	一方が幻覚しても他方が拾う
⑧	直接引用での事実根拠化（>20Kトークンの長文で有効）	Claude に「まず該当箇所を word-for-word で抜き出してから答えよ」と指示
⑨	外部知識の制限（External Knowledge Restriction）	「提供した資料の情報のみに基づき、一般知識を使うな」と明示

⑧と⑨は Anthropic が公式に推奨する技法です（出典：Anthropic: Reduce hallucinations 公式ガイド）。

9手法の使い分け — どこから手をつけるか

第一層（必ずやる、コストほぼゼロ）

①一次情報裏取り、④プロンプト指示、⑤temperature 低下
どんな現場でも今日から実施可能。最重要事項は①の有無で誤情報リスクが桁で変わる

第二層（仕組みを整えると効く）

②Web検索ON、③RAG、⑨外部知識制限
「学習データの古さ・曖昧さ」を「渡した資料」で上書きする発想。特に社内文書ベースの業務（FAQ、契約レビュー等）は③が決定打

第三層（重要判断・長文処理向け）

⑥Self-Consistency（数学・論理問題で誤答率を半減させる研究あり）
⑦クロスチェック（モデルAとモデルBの幻覚パターンは異なるため有効）
⑧直接引用での事実根拠化（20K トークン超の契約書・判例分析で必須）

選び方の原則：許容できる誤答率と1問あたりコスト（API料金・時間）のトレードオフ。人命・金銭・法務に関わる出力は第三層まで重ね、雑談・ブレストは第一層のみで十分。

著作権・知的財産

生成AI と著作権の問題は 3つの局面 に分けて考える必要があります。

① 学習データの扱い

学習データに含まれる著作物が、無許諾で利用されているという論点。各国で扱いが異なります。

日本：著作権法第30条の4 により、情報解析目的での著作物利用は原則として権利者の許諾不要。ただし「著作権者の利益を不当に害する」場合は例外（例：商用データセット販売目的）
米国：fair use（公正利用）の枠で議論。The New York Times vs OpenAI（2023年12月提訴）など主要訴訟が進行中
EU：DSM 著作権指令で「テキスト・データマイニング例外」が認められるが、権利者は明示的に opt-out できる

2025年以降は、訴訟和解と正規ライセンスの両軌道 で決着が進んでいます。OpenAI は Axel Springer / Financial Times / News Corp 等と包括ライセンス契約を締結。一方 Anthropic は Bartz v. Anthropic 著作権訴訟で約15億ドル規模の和解（2025年9月暫定承認、Judge Alsup）等の訴訟和解を通じて学習データ問題と決着しつつあります。

② 生成物が既存著作物に似てしまうリスク

学習データ内の特定作品を「ほぼそのまま」再現してしまう 記憶（memorization） 問題。画像生成では特定スタイル・キャラクターの模倣、文章生成では原文に近い再生成が起きうる。

実務上の対策：

著名キャラクター・アーティスト名を直接プロンプトに含めない
商用利用前に 画像検索・テキスト検索で類似性を確認
主要サービスの 「商用利用権」「補償（indemnification）」条項 を確認（Microsoft Copilot Copyright Commitment、Adobe Firefly 等は補償付き）

③ 生成物の権利帰属

「AI が作ったものの著作権は誰のもの」かは国・サービス・寄与度で扱いが分かれます。

米国著作権局：人間の創作的寄与がない純粋な AI 生成物は 著作権登録不可（2023年方針）
日本：文化庁の見解では、人間の創作的寄与の程度 で判断（プロンプト工夫の度合い等）
主要サービス：利用規約上は「生成物の利用権はユーザーに帰属」とする例が多いが、第三者の権利侵害責任は別

商用利用の前に、利用規約と各国の法を確認する必要があります。

出典：日本著作権法 e-Gov（30条の4） / 文化庁: AIと著作権 / U.S. Copyright Office AI Initiative

バイアス・公平性

学習データに含まれる偏りは、出力にも反映されます。性別・人種・年齢などに関して不公平な結果を生む可能性があり、採用・与信・教育・刑事司法 など人の機会を左右する用途では特に慎重さが求められます。

現実に起きた事例

Amazon の AI採用ツール（2018年）：過去の採用データに基づき訓練した結果、女性応募者を低く評価する傾向が判明し、2018年に廃止
米国 COMPAS（再犯予測ツール）：ProPublica の2016年調査で、黒人被告に対して再犯リスクを過剰評価する傾向が報告された
顔認識の精度差：NIST の2019年研究で、商用顔認識アルゴリズムの多くが 白人男性に対して最も精度が高く、黒人女性に対して最も低い 傾向を確認

主なバイアスの種類

種類	説明	例
データバイアス	学習データ自体に偏りがある	過去の差別的な採用判断を学習
表現バイアス	特定の属性・地域・言語が過小・過大表現	英語データが圧倒的多数
アルゴリズムバイアス	モデル設計・最適化目標から生じる	多数派の精度を上げると少数派が犠牲に
デプロイメントバイアス	想定外の文脈で使われることで生じる	米国データで訓練したモデルを日本で運用

規制動向

米コロラド州は 2026年に旧 Colorado AI Act（SB24-205）を廃止し、より狭い ADMT 透明性法（SB 26-189）に置換（2026-05-14 署名、実質的遵守要件は 2027-01-01 開始）。EU 型リスクベース規制から「通知・透明性中心」の枠組みへ縮小した代表例。経緯の詳細は第10章コロラド州 AI 法の廃止・置換参照
EU AI Act は雇用・教育・与信等を高リスク用途と分類し、技術文書化・人間の監督・データ管理を要求（第10章 EU AI Act 参照）

実務での対策

代表的なシナリオでの評価セット を作り、属性別の出力差を測定
意思決定の最終段階に人間を必ず置く（Human-in-the-Loop）
重大な判断（採用・与信等）では AI出力を補助情報 として扱い、唯一の根拠にしない
透明性の確保：AI を使ったことを 利用者に伝える

出典：Reuters: Amazon scraps secret AI recruiting tool（2018） / ProPublica: Machine Bias（2016） / NIST FRVT 顔認識バイアス研究（2019）

セキュリティと悪用

生成AIの悪用は、技術が普及した分だけ攻撃手段としても急速に強化されました。代表的な3類型を整理します。

プロンプトインジェクション（最も実害が出ている）

外部データや文書に悪意ある指示を仕込み、AIを誤作動させる攻撃。エージェントやRAGでは特に注意が必要です。

Direct Prompt Injection：ユーザーが直接「これまでの指示を無視して〇〇せよ」と書く
Indirect Prompt Injection：エージェントが読み込む外部文書・コメント・HTML・依存パッケージに悪意ある指示を仕込む（より深刻）

攻撃面の例：HTMLコメント、不可視CSS（display:none）、メタタグ、aria-label、README、PRコメント、メール本文、依存パッケージの説明文。

実害事例：

Cursor CVE-2025-59944（CVSS 8.1 High、CWE-178）：Cursor 1.6.23 以前で、保護対象ファイル（.cursor/mcp.json 等）への書き込み判定が 大文字小文字を区別しない ため、.Cursor/MCP.JSON のようなケース違いパスへの書き込みで保護を回避し、悪意ある MCP サーバーを登録 → RCE に至る脆弱性。Lakera が報告、Cursor 1.7 で修正。教訓：エージェントの権限を最小化し、ファイル書き込み・コマンド実行は人間承認のゲートを必ず挟む。なお、README 等に埋め込んだ指示にエージェントが従ってしまう一般的な Indirect Prompt Injection の懸念は、同じ防御策（最小権限・承認ゲート）が有効
似た筋（リポジトリ共有経由で承認済み MCP 設定をすり替える RCE）の別件：CVE-2025-54136 “MCPoison”（Cursor 1.2.4 以前、1.3 で修正）、CVE-2025-54135 “CurXecute”
Perplexity Comet（2025年）：AI ブラウザ Comet が表示中ページの不可視テキストの「指示」を実行してしまい、ユーザーのログイン認証情報を攻撃者サーバーへ送信 する Indirect Prompt Injection 事例。教訓：エージェント型ブラウザは「読んでいるページ」自体が攻撃面になる

詳細は第13章 13.8。

リスク別・最優先対策の早見表

リスク	第一防御線（必ずやる）	第二防御線（仕組みで担保）
情報漏洩	機密は外部 AI に入力しない	エンタープライズ契約・社内ゲートウェイ
ハルシネーション	一次情報裏取り＋プロンプトで「不明は不明」	RAG・Self-Consistency
著作権	既存著作物名を直接プロンプトに入れない	補償付き商用サービスの選定
バイアス	重大判断は人間が最終決定	属性別評価セットでの定期監査
Prompt Injection	エージェント権限の最小化	信頼境界の明示・重要操作の承認ゲート
ディープフェイク詐欺	送金前の別チャネル確認・合言葉	C2PA 等の発信源証明

詐欺・フィッシングの高度化

自然な文章で、巧妙な詐欺メール・ビジネスメール詐欺（BEC）が 言語の壁なし で量産されうる
スピアフィッシング（特定個人を狙った詐欺）に、SNS情報を組み合わせた「個別最適化された」攻撃文が増加
ビデオ会議でのディープフェイクなりすまし や 音声クローン電話。経理担当者を騙して送金指示を出す事例が複数報告（2024年香港 Arup 社では CFO ら複数人のディープフェイク姿をビデオ会議で使い、約 2,560万ドル（HK$2億） を詐取）

ディープフェイク

本物そっくりの偽の音声・画像・動画による、なりすましや偽情報の拡散：

政治的影響：選挙期間中の偽動画・偽音声によるディスインフォメーション
金融犯罪：上述の音声クローン詐欺、CFO になりすましたビデオ会議による送金指示
個人攻撃：個人を狙った合成ポルノ（特に女性・未成年への被害）

検出技術（C2PA、SynthID 等）と規制（EU AI Act の透明性義務、米国・日本でのディープフェイク規制議論）が追いつくべく整備中ですが、作る側が圧倒的に速い のが現状です。

防衛のフレームワーク

攻撃面	対策
Prompt Injection	信頼できない入力を区切る、エージェントの権限最小化、重要操作は人間承認
詐欺メール	言語の自然さに頼らず、送金前にコールバック確認を必須化
音声・ビデオなりすまし	事前に取り決めた合言葉運用、複数チャネル確認
ディープフェイク拡散	C2PA 等の発信源証明を確認、急速拡散時の事実確認窓口

雇用とスキルへの影響

短期：定型業務の自動化

文章作成・要約・データ集計・コード補完など、定型業務の自動化 は着実に進んでいます。一方で：

完全に消える職種は今のところ少ない（一部の翻訳・カスタマーサポートで影響大）
同じ職種でも「AI を使う人 vs 使わない人」の生産性差が拡大
新しい職種（プロンプトエンジニア、AI 倫理担当、AI コンテンツ編集者等）の登場

中期：仕事の中身が変わる

「仕事ごと消える」よりは「仕事の中身が変わる」のが現実的な見立てです。

エンジニア：コードを書く時間が減り、設計・レビュー・統合・運用 に時間が移る
マーケティング：原稿を書く時間が減り、戦略・分析・ブランディング・人間関係構築 に時間が移る
コンサルタント：リサーチが効率化され、判断・説得・実行支援 に集中
教育：個別指導の質が向上、教師は学習設計と動機づけへシフト

長期：スキル摩耗のリスク

AIに頼りすぎることで、自分で考え・調べ・書く力が衰える 懸念があります。特に懸念されるのは：

批判的思考の弱化：AIの答えを鵜呑みにする習慣
執筆力・文章構成力の低下：常にAI下書きから始める習慣
基礎的なリサーチ力の低下：一次情報を自分で当たらない習慣
エンジニア基礎力の低下：エラーを自分で読まない・デバッグを丸投げする習慣

AIは判断を「肩代わり」させる道具ではなく、人間の判断を「支える」 道具として使う姿勢が、長期的には重要になります。

出典：Reuters: Arup ディープフェイク詐欺事案（2024） / World Economic Forum: Future of Jobs Report 2025