CodespaceでのLLMのファインチューニングとデプロイ¶
このアクセラレーターでは、Hugging Face、Weights and Biases (W&B)、DataRobotの機能を使ってLLMをファインチューニングし、デプロイするためのエンドツーエンドのワークフローを示します。
具体的には、このアクセラレーターでは以下の手順を実行します。
- Hugging Face HubからLLMをダウンロードする。
- Hugging Faceからデータセットを取得する。
- DataRobotのcodespace、ノートブック、GPUリソースを活用して、Hugging FaceとW&Bによるファインチューニングを容易にする。
- DataRobot MLOpsを活用して、推論エンドポイントとしてモデルを登録およびデプロイする。
- DataRobotのLLMプレイグラウンドを活用し、ファインチューニングしたLLMを利用可能なLLMと比較して評価する。
アクセラレーターでは、一般的な例としてHugging Faceを使用しており、必要に応じて変更できます。 また、エクスペリメントの追跡を容易にするため、Weights and Biasesを使用しています。 トレーニングの損失をリアルタイムで視覚化し、ファインチューニング中に確認できるようにプロンプトの結果をログに記録すると便利です。 また、ハイパーパラメーターのチューニングを行う場合は、W&B Sweepsを使用できます。
注意事項¶
このアクセラレーターは、GPUリソースバンドルを備えたDataRobot codespaceでテストされています。 requirement.txtには、必要なライブラリがピン留めされています。
DataRobotのノートブックイメージは、書き込み可能な容量に制限があります（約20GB）。 そのため、ファインチューニング中にモデルにチェックポイントを設定することは推奨されません。チェックポイントを設定する場合は、制限する必要があります。 このアクセラレーターは、サイズが小さいllama-3.2-1Bをファインチューニングすることを選択しています。
Weights and Biasesを使用してエクスペリメントを追跡する。 W&BのAPIキーは.env.で使用できます。W&Bのアカウントをお持ちでない場合は、W&Bのサインアップページで取得してください。