Top-p（核サンプリング）

概要

Top-p（Nucleus Sampling）は、確率の高いトークンから順に累積確率を計算し、合計がpを超えた時点でそれ以下のトークンを除外した部分集合から次トークンをサンプリングします。例えばp=0.9の場合、上位90%の確率質量を持つトークン集合のみを考慮します。固定数のTop-kより状況に応じてサンプリング幅が柔軟に変化します。

Temperatureとの使い分け

多くのLLM APIはTemperatureとTop-pを同時に設定できますが、通常はどちらか一方を調整します。OpenAI公式ドキュメントではどちらか一方だけを変更することを推奨しています。p=0.95前後が一般的なデフォルト値です。