Training（学習）

概要

学習（Training）は、データセットを用いてモデルのパラメータ（重み）をバックプロパゲーションで更新し、損失関数を最小化するプロセスです。LLMの場合、数兆トークンのテキストで行うPretraining（事前学習）と、その後のFine-tuning（微調整）・RLHF/DPOによるアラインメント学習の3フェーズに大別されます。

コストと規模

GPT-4クラスのフロンティアモデルの事前学習には数百億円規模の計算コストがかかります。一方、LoRA・QLoRAなどのParameter-Efficient Fine-Tuningはコンシューマーハードウェアで実施可能で、中小企業でも業務特化モデルの作成が現実的です。