用語集

本サイトに登場する主要な用語を分野別に整理します。詳細は各章を参照ください。各用語にはアンカーが振られており、本文中の Term 経由でここへリンクされます。

モデルの基礎

LLM（大規模言語モデル）

Large Language Model。大量テキストで学習した、次トークンの確率分布を出すモデル。GPT、Claude、Gemini など。詳細は 第1章 および 第3章。

トークン

モデルが処理する最小単位。テキストを BPE 等で分割した断片。日本語は英語より1文字あたりトークン数が多くなりがちで、API コストに影響する。詳細は 第3章 3.1。

次トークン予測

「直前までのトークン列を見て、次に来るトークンの確率分布を出す」LLM の中核タスク。事前学習はこの予測を大量テキストで繰り返すだけ。生成は分布からサンプリングしたトークンを末尾に追加して再投入し、終了条件まで反復する。ハルシネーションの構造的根拠もここにある。

BPE（Byte Pair Encoding）

頻出する文字列を1トークンにまとめる代表的なトークン化アルゴリズム。最初は1文字単位から始め、「t+h」「th+e」のように頻出ペアを段階的に結合していく。未知語にも文字単位に分解できるため頑健。SentencePiece、WordPiece、独立系統の Unigram などの派生がある。詳細は 第3章 3.1。

埋め込み（Embedding）

トークンや文を、意味を反映した高次元ベクトル（数百〜数千次元）に変換したもの。意味的に近い語が空間上で近くに配置される。RAG の根幹技術。詳細は 第3章 3.2。

位置エンコーディング

Transformer のアテンションは「集合演算」で、そのままでは語順を区別できない（“犬が猫を追う” と “猫が犬を追う” が同じになる）。そのため各位置のベクトルに位置情報を加える仕組みが必要。sin/cos ベースの絶対位置、学習可能、RoPE（回転位置埋め込み）などの方式があり、長コンテキスト対応では RoPE 系が標準。

Transformer

自己注意機構（Self-Attention）を中核とする、現代の生成AIの基盤アーキテクチャ。Vaswani et al. 2017「Attention Is All You Need」。詳細は 第3章 3.3。

アテンション（Self-Attention）

各トークンが他のどのトークンに注目するかを動的に計算する機構。各トークンは Query（何を探しているか）、Key（自分の特徴）、Value（提供する情報）の3つのベクトルを持ち、Query と Key の内積で「関連度」を測り、その重みで Value を合成する。文脈に応じた関係性を毎回計算し直すのが革新点。マルチヘッド・アテンションで複数視点を並列に学習。詳細は 第3章 3.3。

因果マスク（Causal Mask）

デコーダ型モデルが「次のトークンを予測する」学習中、答えを見ないようにする仕組み。位置 i の予測時に位置 i+1 以降のアテンション重みを −∞ にして遮断する。これにより訓練と推論で同じ条件を保ち、自己回帰生成を成立させる。

コンテキストウィンドウ

一度に処理できるトークン数の上限（入力＋出力）。2026年5月時点で 1M〜2M トークン級が主流。中盤の情報は相対的に参照されにくい現象（Lost in the Middle）がある。詳細は 第3章 3.6。

学習プロセス

事前学習（Pre-training）

大量テキストで「次トークン予測」を繰り返し、言語と世界知識の土台を形成する学習段階。最も計算コストが高い。

SFT（教師あり微調整）

Supervised Fine-Tuning。「指示と理想的な応答」のペアで学習し、対話・指示遂行の作法を身につけさせる段階。

RLHF（人間のフィードバックによる強化学習）

Reinforcement Learning from Human Feedback。人間の好み評価を信号に、有用・無害・誠実な応答を強化する学習段階。ChatGPT の「丁寧で安全」な口調はここで形作られる。

DPO（直接選好最適化）

Direct Preference Optimization。RLHF は「報酬モデルを学習 → 強化学習で最適化」の2段階だが、DPO は選好データ（A の方が B より良い、というペア）から直接モデルを最適化する。実装が単純で安定し、近年の主要モデルで RLHF の代替として広く使われる。Rafailov et al. 2023。

Fine-tuning（微調整）

追加データでモデルの重みを更新し、特定用途へ適応させること。完全微調整は高コストなため、近年は PEFT が主流。詳細は 第6章 6.2。

LoRA / PEFT

Low-Rank Adaptation / Parameter-Efficient Fine-Tuning。モデル全体を再学習せず、元の重みは凍結したまま「小さな差分行列」だけを学習する手法群。LoRA は重み行列の更新を低ランク（小さな2行列の積）で近似し、学習コストを 1/100〜1/1000 に削減。1モデルに用途別アダプタを複数持ち切り替えられる。Hu et al. 2021。詳細は 第6章 6.2。

推論パラメータ

temperature

出力のランダム性を制御する推論パラメータ。低いほど決定的・無難に、高いほど多様・創造的に。0 に近いとほぼ最尤の出力。事実回答は低めに、創作は高めに設定するのが定石。

top-p（Nucleus Sampling）

確率の高い順に累積が p に達するまでの候補だけを残してサンプリングする手法。temperature と組み合わせて出力の多様性を調整する。

Knowledge Cutoff（知識カットオフ）

モデルが学習データを取り込んだ最後の時点。これ以降の出来事はモデルは「知らない」。Web検索や RAG なしで尋ねると、カットオフ後の情報をハルシネーションする原因になる。各ベンダー公式が cutoff を公開している（例：Claude Opus 4.x はおおむね 2025年中盤、2026-05 時点の確認）。最新は各社モデルカード参照。

System Prompt（システムプロンプト）

ユーザーが送る通常メッセージとは別に、会話全体の振る舞いを規定する上位指示。ChatGPT の Custom Instructions、Claude の Projects カスタム指示、API の system role がこれにあたる。役割・口調・禁止事項・出力フォーマットを固定するのに使う。

top-k

確率上位 k 個の候補のみを残してサンプリングする手法。top-p が「累積確率」で動的に候補数を決めるのに対し、top-k は固定個数（k=40〜50 が定番）。分布が鋭い場面では候補が多すぎ、平坦な場面では少なすぎる弱点がある。

サンプリング

確率分布から1つのトークンを確率的に選ぶ操作。生成AIが「同じ入力でも結果が揺らぐ」根本原因。詳細は 第3章 3.5。

プロンプト・活用技法

文脈内学習（In-Context Learning）

パラメータを更新せずとも、プロンプトに少数の例や指示を与えるだけで新しいタスクが遂行できる現象。Brown et al. 2020 が大規模に示した。

ゼロショット / ワンショット / フューショット

プロンプトに含める例の数で区別される技法。ゼロショット＝例なし（指示だけ）、ワンショット＝例1つ、フューショット＝2〜10程度の例。たとえば翻訳タスクなら「英→和」を 3〜5 ペア示してから本番を渡すのがフューショット。文脈内学習の異なるレベルで、例の質と並び順で精度が大きく変わる。

CoT（Chain of Thought）

思考の連鎖。解答前に中間推論ステップを生成させると複雑問題の精度が向上する技法。Wei et al. 2022。ゼロショット CoT（「Let’s think step by step」の一文を添えるだけ）は Kojima et al. 2022（東大松尾研）が発見。

Self-Consistency

同じ問いを複数回回し、答えの多数決を取る技法。CoT を補強する。Wang et al. 2022。ハルシネーション対策にも有効。

Self-Refine

生成→自己評価→改稿の反復で、追加学習なしで出力を改善する技法。Madaan et al. 2023。

ReAct

Reasoning + Acting。「思考→行動→観察→思考→…」のループで動かす枠組み。例えば「東京の人口は？」に対し、思考「検索が必要」→行動「search(‘東京 人口’)」→観察「14M」→思考「答えに使える」→回答、という流れ。推論だけの CoT と、行動だけのツール利用を融合した形。エージェントの基礎理論のひとつ。Yao et al. 2022。

RAG（検索拡張生成）

Retrieval-Augmented Generation。外部文書を検索し文脈に加えてから生成する手法。Lewis et al. 2020。最新情報や社内文書を扱う実務で広く使われる。詳細は 第5章 5.5。

Context Engineering

プロンプトの外側を含む「最適なトークン集合の選定・維持」の戦略。Drew Breunig が整理した6技法（RAG / Tool Loadout / Quarantine / Pruning / Summarization / Offloading）のうち、本サイトでは実務頻度の高い4つ（Quarantine / Pruning / Summarization / Offloading）を中心に紹介。詳細は 第13章 13.5。

Lost in the Middle（中盤の見落とし）

長い文脈の中間部分が相対的に参照されにくくなる現象。Liu et al. 2023。重要な指示は冒頭か末尾に置くのが安全。詳細は 第5章 5.7。

アーキテクチャ・モデル種別

自己回帰モデル（Autoregressive）

要素を1つずつ順番に生成し、各ステップで「これまでの出力」を条件に次を予測する方式。テキスト生成（LLM）の標準。

拡散モデル（Diffusion）

学習時にデータへ徐々にノイズを加える「前向き過程」を定義し、その逆をたどる「ノイズ除去」を学習。ランダムノイズから段階的に画像へ収束させる。Stable Diffusion 等の画像生成の主流。詳細は 第4章 4.2。

GAN（敵対的生成ネットワーク）

Generative Adversarial Network。生成器と識別器を競わせて学習する方式。Goodfellow et al. 2014。拡散モデル登場前の画像生成を牽引した。

VAE（変分オートエンコーダ）

Variational Auto-Encoder。データを「潜在空間」と呼ぶ低次元のベクトル空間に圧縮し、そこから元データを復元できるよう学習する。さらに潜在空間が滑らかな分布（正規分布など）になるよう制約をかけるのが「変分」の部分で、これにより潜在ベクトルを少し動かすと出力も滑らかに変化する＝補間生成が可能になる。拡散モデル等の後続技術の基礎。Kingma & Welling 2013。

MoE（Mixture of Experts）

専門家ネットワーク（expert）を多数用意し、入力ごとにルーターが少数を選んで処理させる構造。パラメータ総数は巨大だが「実行時に活性化するのは一部」なので推論コストが抑えられる。Mixtral 8x7B、DeepSeek V3、GPT-4 系で採用と推定。詳細は 第3章 3.7。

Reasoning Model（思考モデル）

回答前に「思考の連鎖」を内部で長く生成し、自己検証や試行錯誤を経てから最終出力を返すモデル。OpenAI o1 / o3、Claude Opus 4.x extended thinking、Gemini 2.5 Pro thinking、DeepSeek R1 など。数学・推論・コーディングで従来モデルを大幅に上回るが、レイテンシとコストが増える。

量子化（Quantization）

モデル重みの数値表現を FP16 → INT8 / INT4 などビット幅の小さい型に変換し、メモリと計算量を削減する技法。70Bモデルは FP16 で約140GB、INT4 で約40GB になり消費者向け GPU で動かせるようになる。INT8 はほぼ無劣化、INT4 でも5%以内の劣化に収まることが多い。GGUF / AWQ / GPTQ など複数の方式がある。

蒸留（Distillation）

大モデル（教師）の出力を小モデル（生徒）に学習させ、小さくて速い類似モデルを作る手法。DeepSeek-R1-Distill シリーズ、Llama Distillation などが代表例。推論コストを大幅に下げつつ性能を維持するのに使う。

ベクトルDB（Vector Database）

埋め込みベクトルを格納・近似最近傍検索（ANN）するためのDB。Pinecone、Weaviate、Qdrant、pgvector、Chroma など。RAG の必須コンポーネント。HNSW などのインデックス構造でミリ秒級の類似度検索を実現する。

チャンキング

長文書を埋め込みに変換する前に、適切なサイズの断片（チャンク）に分割する RAG 前処理。一般に 200〜500 トークン、50 トークン程度のオーバーラップを取る。チャンクサイズが検索精度を大きく左右する。

Constitutional AI

Anthropic が提案した整合手法。人間ラベラーの代わりに「憲法（principles）」と呼ばれる自然言語ルールに基づいて AI 自身が応答を批判・改稿し、その結果で本体モデルを訓練する。RLAIF（RL from AI Feedback）の代表実装で、Claude の基盤となっている。Bai et al. 2022。

創発能力（Emergent Abilities）

モデル規模を増やすとある臨界サイズで突然解けるようになるタスク群。少数桁の算術、論理推論、複雑な指示遵守などで観察される。Wei et al. 2022 が体系化したが、Schaeffer et al. 2023 は「評価指標の段差による錯覚」とする反論を提示しており、議論は続く。

マルチモーダル

テキスト・画像・音声・動画など複数種類の情報を扱えるモデル。GPT-4o、Gemini、Claude などの最新モデルはほぼマルチモーダル。

オープンウェイト

モデルの重みが公開されており、自前環境で実行・微調整できるモデル。Llama、Mistral、DeepSeek、Qwen 等。機密データの社内運用や深いカスタマイズ向き。

エージェント・AIコーディング

エージェント

ツールを使い、自律的に計画・実行して目標を達成する構成。計画→ツール呼び出し→結果観察→評価→繰り返し、というループで動く。詳細は 第6章 6.3、AIコーディングのエージェントは 第13章。

ツール利用（Function Calling / Tool Use）

モデルに計算機・検索・データベース照会などの外部機能を呼び出させ、結果を踏まえて応答させる仕組み。OpenAI と Anthropic の両方が API でサポート。

MCP（Model Context Protocol）

外部ツールやデータ源とモデルを接続するための標準プロトコル。Anthropic が 2024年11月に提案・OSS化。Cursor、Claude Code、Codex、Windsurf 等が対応。

Vibe Coding

Andrej Karpathy が 2025年2月に命名した、コードを読まずに自然言語で AI に作らせるコーディングスタイル。捨ててもいい週末プロジェクト向きで、本番非推奨というのが提唱者本人の立場。詳細は 第13章 13.2。

Agentic Engineering

エージェントを監督・オーケストレーションして、プロが品質を保ったまま桁違いに速くコードを書く手法。Karpathy が Sequoia Ascent 2026 で Vibe Coding と線引き。詳細は 第13章 13.3。

CLAUDE.md / AGENTS.md

プロジェクトルートに置く「エージェントが会話開始時に必ず読む文脈ファイル」。AGENTS.md は OpenAI が 2025-08 に公開したオープン標準で、Amp / Cursor / Devin / Gemini CLI / GitHub Copilot / Jules など 60,000 超のプロジェクトが採用。2025-12-09 に Linux Foundation 傘下の Agentic AI Foundation（AAIF）へ寄贈され、AAIF が運営（同時期に Anthropic の MCP、Block の goose も寄贈）。詳細は 第13章 13.6。

リスク・セキュリティ

ハルシネーション

事実と異なる内容を、もっともらしく自信ありげに生成してしまう現象。AI が「次に来そうな単語」を確率的に選んでいる構造から不可避に生じる（バグではない）。詳細とメカニズム・対策は 第9章。

プロンプトインジェクション

外部データや文書に悪意ある指示を仕込み、AI を誤作動させる攻撃。Direct（ユーザーが直接入力）と Indirect（外部文書経由）に分かれる。エージェントや RAG では特に注意が必要。

Indirect Prompt Injection

エージェントが読み込む外部文書・コメント・HTML・依存パッケージに悪意ある指示を仕込む攻撃。HTML コメント、不可視 CSS、aria-label、README などが攻撃面になる。Cursor の CVE-2025-59944、Perplexity Comet 等で実害事例あり。

Package Hallucination

AI が架空のパッケージ名を推奨してしまう現象。OSS モデルで 21.7%、商用モデルで 5.2% という研究データ（Spracklen et al. USENIX 2025）。攻撃者が「予測可能な架空名」を実 PyPI/npm に malicious package として登録する slopsquatting 攻撃に悪用される。

ジェイルブレイク（Jailbreak）

モデルの安全装置（RLHF で植え付けた拒否応答など）を回避し、本来出力しない内容を引き出すプロンプト技法。ロールプレイ、間接質問、多段階誘導などの手法がある。

規制・ガバナンス

EU AI Act

EU が 2024年に成立させた世界初の包括的AI規制法。リスクベース・アプローチで4段階に分類し、高リスク用途に厳しい要件を課す。違反は最大3,500万ユーロ or 売上7%。段階的施行中。詳細は 第10章。

Colorado AI Act — SB24-205 から SB 26-189 への廃止・置換

米国コロラド州の AI 規制。旧 SB24-205（2024-05-17 署名、EU 型「高リスク AI」枠組み）は施行延期と xAI 提訴・DOJ 介入を経て、2026-04-27 に執行停止。その後 SB 26-189（2026-05-14 Polis 知事署名）で 廃止・置換 された。新法は ADMT（自動化意思決定技術）への通知・透明性中心の狭い枠組みで、実質的遵守要件は 2027-01-01 開始。経緯詳細は 第10章。

日本AI法（令和7年法律第53号）

人工知能関連技術の研究開発及び活用の推進に関する法律。2025年6月4日公布・一部施行、9月1日全面施行（5月28日参議院可決）。EU のような包括的リスク規制ではなく、推進と適正利用のための基本法。

評価ベンチマーク

SWE-bench

実 GitHub Issue を解く能力を測る AIコーディング・ベンチマーク。Original / Lite / Verified / Multimodal のバリアントがある。Verified は 2026年5月時点で 88〜90% 帯に上位陣が集中、最高記録モデルは 93%超に到達し「飽和傾向」。詳細は 第13章 13.7。

Aider Polyglot

Exercism の 225 題（C++/Go/Java/JavaScript/Python/Rust の polyglot）で測る AIコーディング・ベンチマーク。コスト/性能比較も併載。

HumanEval

OpenAI が 2021年に公開した、164 問の手書きプログラミング問題ベンチマーク。GPT-4 系で 90%超に飽和し、現在は歴史的指標として参照されるのみ。Chen et al. 2021。

長期論点

AGI（汎用人工知能）

Artificial General Intelligence。人間並みに幅広い能力を持つAI。実現可能性・時期について専門家の見解は加速主義から否定派まで大きく分かれている。詳細は 第11章。

シンギュラリティ

技術が自己改善で急加速し、人類の文明が大きく変わるとする仮説。Ray Kurzweil が 2045年頃を予測。実現可能性・時期について見解は割れる。

アラインメント（整合）

高度な AI を人間の意図に沿わせ続けられるかという問題。短期的には RLHF / DPO、長期的には未解決。Anthropic、OpenAI、DeepMind 等が研究投資。