微調整Google Gemma：カスタマイズされた手順でLLMを強化します-AI-php.cn

微調整Google Gemma：カスタマイズされた手順でLLMを強化します

Lisa Kudrow

リリース： 2025-03-07 10:01:10

オリジナル

225 人が閲覧しました

Google Deepmind's Gemma：オープンソースLLMS

に深く潜ります

AIの風景は、特にオープンソースの大手言語モデル（LLMS）に関して、アクティビティで賑わっています。 Google、Meta、Twitterなどのハイテク大手は、オープンソースの開発をますます受け入れています。 Google Deepmindは最近、GoogleのGeminiモデルと同じ基礎的な研究と技術を使用して構築された軽量でオープンソースLLMのファミリーであるGemmaを発表しました。この記事では、クラウドGPUとTPUを介したアクセシビリティをGemmaモデルで説明し、ロールプレイングデータセットでGemma 7B-ITモデルを微調整するための段階的なガイドを提供します。

GoogleのGemmaを理解してください

gemma（ラテン語の「貴重な石」を意味する）は、主にGoogle Deepmindによって開発されたデコーダーのみのテキストからテキストのオープンモデルのファミリーです。 Geminiモデルに触発されたGemmaは、軽量操作と幅広いフレームワークの互換性のために設計されています。 Googleは、2つのGemmaサイズのモデル重量をリリースしました：2Bと7Bは、それぞれが事前に訓練された命令チューニングされたバリアント（Gemma 2B-ITおよびGemma 7B-ITなど）で利用できます。 Gemmaのパフォーマンスは他のオープンモデルに匹敵します。

画像ソース Fine Tuning Google Gemma: Enhancing LLMs with Customized Instructions Gemmaの汎用性は、複数のフレームワーク（Keras 3.0、Pytorch、Jax、Hugging Face Transformers）および多様なハードウェア（ラップトップ、デスクトップ、IoTデバイス、モバイル、クラウド）のサポートにまで及びます。人気のある機械学習フレームワークを使用して、推論と監視付き微調整（SFT）は、無料のクラウドTPUで可能です。さらに、GoogleはGemmaと一緒に責任ある生成AIツールキットを提供し、開発者がより安全なAIアプリケーションを作成するためのガイダンスとツールを提供します。 AIおよびLLMSの初心者は、基礎知識のためにAIの基礎スキルトラックを探ることをお勧めします。 GoogleのGemmaモデルへのアクセス

ジェマへのアクセスは簡単です。無料アクセスは、HuggingchatとPoeから入手できます。また、顔を抱きしめ、GPT4allまたはLMStudioを利用してモデルの重みをダウンロードすることで、ローカルの使用も可能です。このガイドは、推論のためにKaggleの無料GPUとTPUを使用することに焦点を当てています。 tpusでgemmaの推論を実行している

Kerasを使用してTPUでGemma推論を実行するには、次の手順に従ってください。

keras/gemmaに移動し、「gemma_instruct_2b_en」モデルバリアントを選択し、「新しいノート」をクリックします。
必要なPythonライブラリをインストールする：

!pip install -q tensorflow-cpu
!pip install -q -U keras-nlp tensorflow-hub
!pip install -q -U keras>=3
!pip install -q -U tensorflow-text

ログイン後にコピー

を使用してTPUの可用性を確認します jax.devices()kerasバックエンドとして
jax os.environ["KERAS_BACKEND"] = "jax"
関数を使用してテキストを生成します。keras_nlp generate

画像ソース Fine Tuning Google Gemma: Enhancing LLMs with Customized Instructions GPUでgemma推論を実行している

変圧器を使用したGPU推論については、次の手順に従います

Google/Gemmaに移動し、「トランス」を選択し、「7B-IT」バリアントを選択し、新しいノートを作成します。

AcceleratorとしてGPT T4 X2を選択します

必要なパッケージをインストールする：

VRAM管理用のbitsandBytesを使用して4ビット量子化を使用してモデルをロードします。

%%capture
%pip install -U bitsandbytes
%pip install -U transformers
%pip install -U accelerate

ログイン後にコピー

画像ソース
このセクションでは、Kaggle P100 GPUを使用して、

セットアップ

Fine Tuning Google Gemma: Enhancing LLMs with Customized Instructions 必要なパッケージをインストール：

必要なライブラリをインポートします。

hieunguyenminh/roleplayベースモデル、データセット、および微調整されたモデル名の変数を定義します。

APIキーを使用してFace CLIを抱き締めるためにログインします。

ウェイトとバイアス（W＆B）ワークスペースを初期化します。

データセットの読み込み

ロールプレイングデータセットの最初の1000行をロードします。

%%capture 
%pip install -U bitsandbytes 
%pip install -U transformers 
%pip install -U peft 
%pip install -U accelerate 
%pip install -U trl
%pip install -U datasets

ログイン後にコピー

アダプターレイヤーの追加
ロラアダプターレイヤーを追加して、モデルを効率的に微調整します。

。

を使用してモデルをトレーニングします

モデルの保存

微調整されたモデルをローカルに保存し、抱きしめる顔のハブに押し込みます。

モデル推論

微調整されたモデルを使用して応答を生成しますロールプレイアダプターを備えた

gemma 7b推論

このセクションでは、ベースモデルと訓練されたアダプターをロードし、それらをマージし、応答を生成する方法を示しています。

最終的な考え

GoogleのGemmaのリリースは、AIでのオープンソースコラボレーションへのシフトを意味します。このチュートリアルは、オープンソースの開発とクラウドコンピューティングリソースの力を強調した、Gemmaモデルを使用および微調整するための包括的なガイドを提供しました。次のステップは、Langchainなどのフレームワークを使用して独自のLLMベースのアプリケーションを構築することです。

以上が微調整Google Gemma：カスタマイズされた手順でLLMを強化しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。