AI の用語一覧

AIシステムが人間の意図・価値観・倫理に沿った行動をするよう設計・学習させるプロセスと研究分野。RLHF・DPO・Constitutional AIなどがアラインメントの実装手法。

Alignment（アライメント）

Alignment / AIアライメント / AI整合

LLMや他のAIモデルの性能を標準化されたタスク・データセットで測定・比較するための評価指標・評価セット。MMLU・HumanEval・SWE-bench・HLE等が代表例。

Benchmark（ベンチマーク）

Benchmark / AI評価指標 / ベンチマーク評価

頻出する文字ペアを繰り返しマージして語彙を構築するサブワードトークン化アルゴリズム。GPTシリーズを始め大多数のLLMで採用されているトークナイザーの基盤技術。

BPE（Byte Pair Encoding）

BPE / Byte Pair Encoding / バイトペアエンコーディング

LLMに段階的な推論過程を明示させることで、複雑な問題における正答率を大幅に改善するプロンプト技法。'ステップバイステップで考えてください'という一言でも効果を発揮する。

Chain-of-Thought（思考の連鎖）

Chain-of-Thought / CoT / 思考の連鎖

Anthropicが提案したアラインメント手法で、AIの行動を規定する原則集（憲法）をもとにAI自身が自己批評・修正を行い、有害な回答を減らす。Claudeの開発に用いられている。

Constitutional AI（憲法的AI）

Constitutional AI / CAI / 憲法的AI

Context Window（コンテキストウィンドウ）

Context Window / コンテキストウィンドウ / Context Length

LLMが一度の推論で処理できるトークン数の上限。長いほど長文書や長い会話履歴を扱えるが、計算コストとメモリが増大する。現在のフロンティアモデルは数十万〜数百万トークンを実現している。

すべてのパラメータが各トークンの処理に使用される標準的なTransformerモデル。MoEのようなスパースなエキスパート選択を持たず、パラメータ数と計算量が比例する。

Dense Model（高密度モデル）

Dense Model / Dense Transformer / 高密度モデル

大きな教師モデルの出力分布を学習データとして、小さな生徒モデルを訓練する手法。モデルを軽量化しながら性能を維持し、エッジデバイスやコスト削減に貢献する。

Distillation（知識蒸留）

Distillation / Knowledge Distillation / 知識蒸留

DPO（Direct Preference Optimization）

DPO / Direct Preference Optimization / 直接選好最適化

RLHFのように別途報酬モデルを学習せず、人間の好みデータから直接LLMを最適化するアラインメント手法。実装がシンプルで学習が安定しているため、現在の主流アプローチになっている。

テキスト・画像などのデータを意味的な距離が反映された高次元ベクトルに変換する技術。RAGや意味検索、推薦システムの基盤となる表現学習の核心概念。

Embedding（埋め込み表現）

Embedding / 埋め込み表現 / ベクトル埋め込み

LLMの性能を多数のベンチマークで一括評価するフレームワーク。EleutherAIのLM Evaluation Harnessが最も広く使われており、カスタム評価タスクの追加も容易。

Eval Harness（評価ハーネス）

Eval Harness / Evaluation Harness / 評価ハーネス

プロンプト内に少数（2〜10件程度）の入出力例を示すことで、LLMが期待するタスク形式を学習し、同様のパターンで回答するよう誘導する手法。

Few-shot（フューショット）

Few-shot Learning / Few-shot Prompting / 少数ショット学習

事前学習済みの基盤モデルに対して、特定タスクや特定ドメインのデータで追加学習を行い、性能や出力スタイルを特化させる手法。LoRAやQLoRAで効率化が進んでいる。

Fine-tuning（ファインチューニング）

Fine-tuning / ファインチューニング / 微調整

大規模データで事前学習され、様々なタスクに転用・ファインチューニング可能な汎用AIモデルの総称。LLMだけでなく画像・音声・マルチモーダルモデルも含む広義の概念。

Foundation Model（基盤モデル）

Foundation Model / 基盤モデル

知識グラフとベクトル検索を組み合わせてRAGの検索精度を高める手法。エンティティ間の関係性を活用することで、単純なベクトル類似検索では拾えない深い文脈の回答が可能になる。

GraphRAG（グラフRAG）

GraphRAG / Graph Retrieval-Augmented Generation / グラフRAG

LLMの回答を検証可能な外部情報源（ドキュメント・DB・検索結果等）に結びつけ、ハルシネーションを防ぐ手法・概念。RAGはグラウンディングの主要な実装手段。

Grounding（グラウンディング）

Grounding / グラウンディング / 事実根拠付け

LLMが事実と異なる内容を自信を持って出力する現象。存在しない文献の引用、誤った数値、架空のAPIなど多種多様な形で現れ、ビジネス利用における最大のリスクの一つ。

Hallucination（幻覚）

Hallucination / 幻覚 / AI幻覚

学習済みのAIモデルを使って入力データから予測・生成を行うプロセス。LLMでは新しいテキストを生成するステップを指す。学習（Training）と対比して用いられる。

Inference（推論）

Inference / 推論 / モデル推論

Transformerのアテンション計算で生成した各トークンのKey・Valueベクトルをメモリにキャッシュし、再計算を省いて推論を高速化する手法。長い会話やRAGの処理コスト削減に重要。

KV Cache（キーバリューキャッシュ）

KV Cache / Key-Value Cache / キーバリューキャッシュ

AI5

LLM（Large Language Model）

Large Language Model / 大規模言語モデル

数十億〜数兆のパラメータを持つ大規模なニューラルネットワークで構築された言語モデル。テキスト生成・翻訳・要約・コード生成など幅広いタスクをこなす現代AIの基盤技術。

LoRA（Low-Rank Adaptation）

LoRA / Low-Rank Adaptation / 低ランク適応

大規模モデルのパラメータを固定し、低ランク行列のみを追加学習するパラメータ効率的なファインチューニング手法。学習コストを大幅に削減しつつ高い性能を維持する。

複数の専門化したサブネットワーク（エキスパート）を持ち、各トークンの処理に一部のエキスパートだけを選択的に活用するモデルアーキテクチャ。パラメータ数を増やしながら計算量を抑えられる。

MoE（Mixture of Experts）

MoE / Mixture of Experts / 混合エキスパート

テキスト・画像・音声・動画など複数の入出力モダリティを扱えるAIモデルまたはシステム。GPT-4oやGeminiのようにテキストと画像を同時に処理できるモデルが代表例。

Multimodal（マルチモーダル）

Multimodal AI / マルチモーダルAI / Multimodal Model

事前学習後に行うすべての追加学習フェーズの総称。SFT（教師あり微調整）・RLHF・DPOなどのアラインメント学習を含み、モデルをより有用で安全なアシスタントに仕上げる。

Post-training（事後学習）

Post-training / ポストトレーニング / 事後学習

LLMが膨大な量のテキストデータで次トークン予測などの汎用タスクを学習する最初の大規模学習フェーズ。後続のファインチューニングやアラインメントの基盤となる。

Pre-training（事前学習）

Pre-training / 事前学習 / プレトレーニング

Prompt Engineering（プロンプトエンジニアリング）

Prompt Engineering / プロンプトエンジニアリング / プロンプト設計

LLMへの入力テキスト（プロンプト）を最適化し、望ましい出力を安定して引き出すための技術・知識体系。指示の構造化・Few-shot例示・役割付与などの手法が含まれる。

LoRAと量子化（4bit精度）を組み合わせ、さらにメモリ効率を高めたファインチューニング手法。単一コンシューマーGPUで65Bクラスのモデルをファインチューニング可能にした。

QLoRA（Quantized LoRA）

QLoRA / Quantized Low-Rank Adaptation / 量子化LoRA

モデルの重みを32bit/16bit浮動小数点から8bit・4bitなどの低精度表現に変換し、モデルサイズとメモリ消費を削減する手法。推論速度の向上とローカル実行を可能にする。

Quantization（量子化）

Quantization / 量子化 / モデル量子化

AI5

RAG（Retrieval-Augmented Generation）

Retrieval-Augmented Generation / 検索拡張生成

LLMの推論（Reasoning）とツール呼び出し等の行動（Acting）を交互に繰り返すエージェントフレームワーク。外部情報の取得・計算・コード実行と思考を組み合わせた問題解決を実現する。

ReAct（推論と行動）

ReAct / Reasoning and Acting / 推論と行動

AIモデルに対して意図的に有害・不正・危険なプロンプトを試み、脆弱性・安全性の問題を発見する評価手法。モデルのリリース前に行われる安全性テストの重要な要素。

Red Teaming（レッドチーミング）

Red Teaming / AI Red Teaming / レッドチーミング

RLHF（Reinforcement Learning from Human Feedback）

RLHF / Reinforcement Learning from Human Feedback / 人間のフィードバックからの強化学習

人間の評価者が複数の回答を比較・評価し、その好みデータを用いて報酬モデルを学習、さらに強化学習でLLMを人間の意図に沿わせる手法。ChatGPTの品質向上に用いられた技術。

同一プロンプトに対して複数回の推論経路を生成し、最も多く得られた回答を最終解として採用することでLLMの精度を向上させる手法。CoTと組み合わせて使われる。

Self-Consistency（自己整合性）

Self-Consistency / 自己整合性

Semantic Search（セマンティック検索）

Semantic Search / 意味検索 / セマンティック検索

キーワードの完全一致ではなく、クエリと文書の意味的な類似度に基づいて検索結果を返す手法。Embeddingとベクトルデータベースを用いることで実現する。

AI5

SLM（Small Language Model）

Small Language Model / 小規模言語モデル

数億〜数十億パラメータ規模の比較的小さな言語モデル。ローカル実行・低コスト・低レイテンシが特長で、エッジデバイスや特定ドメインでの用途に適する。

Speculative Decoding（投機的デコーディング）

Speculative Decoding / 投機的デコーディング / スペキュレイティブデコーディング

小型の下書きモデルが複数トークンを先行生成し、大型モデルが一括で検証・採用または修正することで推論速度を大幅に向上させる手法。出力品質を損なわずに3〜4倍の高速化が可能。

ユーザーの会話が始まる前にLLMへ与える初期指示。モデルの役割・トーン・制約・出力形式を定義し、アプリケーション全体の振る舞いを制御する重要なコンポーネント。

System Prompt（システムプロンプト）

System Prompt / システムプロンプト / システム指示

LLMのテキスト生成時のランダム性を制御するハイパーパラメータ。0に近いほど決定論的・一貫した出力に、高いほど多様・創造的な出力になる。

Temperature（温度パラメータ）

Temperature / 温度パラメータ / サンプリング温度

テキストをLLMが処理可能なトークン（単語・部分語・記号の単位）に分割する前処理ステップ。どのように分割するかがモデルの性能・コスト・多言語対応に影響する。

Tokenization（トークン化）

Tokenization / トークン化 / トークナイゼーション

次のトークン選択時に確率上位k件のトークンのみを候補とするデコード手法。シンプルだが、kを固定するため状況によってサンプリング幅が不均一になる。

Top-k（上位Kサンプリング）

Top-k / Top-k Sampling / 上位Kサンプリング

AI1

Top-p（核サンプリング）

Top-p / Nucleus Sampling / 核サンプリング

累積確率がp以上となる最小トークン集合（核）の中からサンプリングするデコード手法。Top-kより動的にサンプリング幅を調整でき、品質と多様性のバランスが取れる。

データからパターンを学習し、モデルのパラメータを最適化するプロセス。LLMの文脈では事前学習・ファインチューニング・アラインメント学習などのフェーズを含む。

Training（学習）

Training / 学習 / モデル学習

複数の推論経路を木構造で探索し、各ノードを評価・枝刈りしながら最良の解を見つけるプロンプト・推論フレームワーク。Chain-of-Thoughtの拡張版。

Tree-of-Thought（思考の木）

Tree-of-Thought / ToT / 思考の木

Vector Database（ベクトルデータベース）

Vector Database / ベクトルデータベース / Vector DB

高次元のEmbeddingベクトルを格納し、近似最近傍探索（ANN）によって高速な類似検索を提供する専用データベース。RAGシステムの中核コンポーネントとして広く使われる。