Tokenization（トークン化）

概要

トークン化はテキストを数値列（トークンID）に変換する処理で、LLMへの入力の基本単位を決定します。英語では1トークン≒4文字ですが、日本語・中国語では1文字が複数トークンになることが多く、コンテキストウィンドウの実効容量や処理コストに直接影響します。主流のアルゴリズムはBPE（Byte Pair Encoding）です。

実務上の注意

APIの料金はトークン数で課金されるため、日本語コンテンツは英語に比べてトークン消費が多い傾向があります。長い日本語文書をRAGで扱う際は、チャンクサイズをトークン単位で設定することが重要です。