LoRA（Low-Rank Adaptation）

概要

LoRA（Low-Rank Adaptation）は2022年にMicrosoftが提案した手法で、モデルの重み行列の更新量を低ランク行列の積で近似することにより、全パラメータの0.1〜1%程度のアダプタだけを学習します。元のモデルパラメータは固定されるため、同一ベースモデルに複数のLoRAアダプタを差し替えながら使うことも可能です。

実用上のメリット

フルファインチューニングに比べてGPUメモリ消費が大幅に少なく、コンシューマーGPU（RTX 3090等）でもLlama 70BクラスのLoRAが可能です。アダプタのサイズが小さい（数十〜数百MB）ため、顧客ごとのカスタムLoRAをサーバー上で管理する用途にも適しています。