Gemma 2を微調整し、ローカルで使用します

このチュートリアルでは、患者ドクターの会話データセットでGoogleのGemma 2モデルを微調整し、オフラインで使用するために展開していることを示しています。 モデルの準備、LORAでの微調整、モデルの合併、量子化、およびJANアプリケーションでのローカル展開について説明します。

ジェマ2

の理解 Googleの最新のオープンソースラージモデル（LLM）であるGemma 2は、許容ライセンスの下で9Bおよび27Bのパラメーターバージョンを提供しています。その改良されたアーキテクチャは、さまざまなハードウェアにわたってより速い推論を提供し、フェイストランス、Jax、Pytorch、Tensorflowの抱き合ったものとシームレスに統合します。 強化された安全機能と倫理的AI展開ツールも含まれています。

gemma 2

にアクセスして実行します

このセクションでは、4ビットの量子化（消費者ハードウェアのメモリ効率に必要）のダウンロードと実行の推論の詳細。

パッケージをインストール：

インストール

、
1. 、および

   。 bitsandbytes transformersaccelerate顔の認証の抱きしめ：

   ハグの顔トークン（抱きしめる顔アカウントから取得）を使用して認証します。

2. ロードモデルとトークンザー： 4ビット量子化と適切なデバイスマッピングを使用して

   モデルをロードします。

3. 推論：プロンプトを作成し、それをトークン化し、応答を生成し、デコードします。 google/gemma-2-9b-it

lora

を備えた微調整gemma 2 このセクションでは、効率的なトレーニングのためにLORA（低ランク適応）を使用して、ヘルスケアデータセットで微調整されたGemma 2をガイドします。

のセットアップ：

必要なパッケージをインストールします（、、

、

、

、

、
1. ）。 抱きしめる顔と重量とバイアスで認証。

   transformersdatasetsモデルとトークネイザーの負荷：accelerate4ビット量子化、調整データタイプ、およびGPU機能に基づいた注意実装を備えたgemma 2（9b-it）をロードします。 LORAパラメーターを構成します peft trl bitsandbyteswandbデータセットの読み込み：

   モデルに適したチャット形式を作成します。

2. トレーニング：トレーニング引数を設定し（必要に応じてハイパーパラメーターを調整します）、SFTTrainerを使用してモデルをトレーニングします。 重量とバイアスでトレーニングの進捗状況を監視します。

5. 評価：重みとバイアスを終了して、評価レポートを生成します。

6. モデルの保存：微調整されたロラアダプターをローカルに保存し、ハグのフェイスハブに押します。

アダプターとベースモデルのマージ

このステップは、微調整されたLORAアダプターと、単一の展開可能なモデルのベースGEMMA 2モデルとマージします。 これは、メモリの制約を管理するためにCPUで行われます。

のセットアップ：

新しいノートブック（CPUベース）を作成し、必要なパッケージをインストールし、抱きしめる顔で認証します。

1. ロードアンドマージ：

   ベースモデルと保存されたアダプターをロードしてから、
。
2. を使用してマージします。

   PeftModel.merge_and_unload()保存とプッシュ：

   マージされたモデルとトークン剤を局所的に保存し、それらを抱きしめる顔のハブに押します。
顔の空間を抱きしめながら量子化

gguf私のリポジトリを使用して、最適なローカル展開のために、モデルをGGUF形式に簡単に変換して定量化します。

jan

で微調整されたモデルをローカルに使用します

JANアプリケーションをダウンロードしてインストールします

hugging hugging face hubから量子化されたモデルをダウンロードします

1. 1月にモデルをロードし、パラメーター（停止シーケンス、ペナルティ、最大トークン、指示）を調整し、微調整されたモデルと対話します。

結論

3. このチュートリアルは、Gemma 2を微調整および展開するための包括的なガイドを提供します。ハードウェアとデータセットに基づいて、ハイパーパラメーターと設定を調整することを忘れないでください。 潜在的により速いトレーニングと推論については、Keras 3を探索することを検討してください。

以上がGemma 2を微調整し、ローカルで使用しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。