株式会社オブライト
AI2026-05-17

Top-k(上位Kサンプリング)

別名: Top-k / Top-k Sampling / 上位Kサンプリング

次のトークン選択時に確率上位k件のトークンのみを候補とするデコード手法。シンプルだが、kを固定するため状況によってサンプリング幅が不均一になる。


概要

Top-kサンプリングは、次トークンの確率分布から上位k件だけを抽出し、その中から確率に比例してサンプリングします。k=1はgreedy decoding(最確トークンを選ぶ)と等価です。実装がシンプルで計算コストが低いためローカルモデルでよく使われます。

Top-pとの比較

kが固定値なため、確率が均一に分散している場合は過度に広く、特定トークンに集中している場合は過度に狭くなる問題があります。Top-pはこれを動的に解決します。実用上はTop-pがTop-kより広く採用されています。

関連コラム

関連用語

お気軽にご相談ください

お問い合わせ