近年、Hugging Face [https://huggingface.co/] は機械学習コミュニティで最も影響力のあるプラットフォームの 1 つとして台頭しており、開発者や研究者に幅広いツールとリソースを提供しています。その最も注目すべき製品の 1 つは Transformers ライブラリ で、これにより最先端のモデル、データセット、アプリケーションを簡単に活用できるようになります。このライブラリを使用すると、ユーザーは事前トレーニングされたモデルをプロジェクトにシームレスに統合し、機械学習ワークフローを加速できます。
この記事では、Transformers ライブラリとそのインストール方法について説明し、感情分析、テキスト生成、ゼロショット分類などのタスクにパイプラインを使用した実際の使用例をいくつか紹介します。
Transformers ライブラリ は、自然言語処理 (NLP)、コンピューター ビジョンなど、さまざまなタスク向けに微調整された最先端の事前トレーニング済みモデルをダウンロードしてトレーニングするための API とツールを提供します。 、マルチモーダル アプリケーション。事前トレーニングされたモデルを使用すると、コンピューティング コスト、二酸化炭素排出量、モデルを最初からトレーニングするのにかかる時間を大幅に削減できます。これは、開発サイクルを短縮し、機械学習の最新の進歩を活用するための優れた方法です。
ライブラリは Python 3.6 をサポートし、PyTorch、TensorFlow、Flax などの深層学習フレームワークとシームレスに連携します。これにより、Hugging Face モデル ハブからモデルを直接ダウンロードし、わずか数行のコードで推論に使用できます。
Transformers ライブラリの使用を開始する前に、開発環境をセットアップすることが不可欠です。インストール方法は次のとおりです:
まず、プロジェクト ディレクトリに仮想環境を作成します。
python -m venv .myenv
仮想環境をアクティブ化します:
source .myenv/bin/activate
正しいバージョンの Python を使用していることを確認してください:
python -V
Python 3.6 (例: Python 3.10.10) を使用していることを確認してください。
pip を最新バージョンにアップグレードします:
pip install --upgrade pip
これで、Transformers をインストールする準備ができました。 PyTorch を使用している場合は、次のコマンドを使用してライブラリとともに PyTorch をインストールします:
pip install 'transformers[torch]'
TensorFlow 2.0 の場合:
pip install 'transformers[tf-cpu]'
Flax (研究環境で使用):
python -m venv .myenv
M Mac または ARM ベースのアーキテクチャを使用している場合は、追加の依存関係が必要になる場合があります。
source .myenv/bin/activate
すべてのセットアップが完了したら、次の Python コマンドを実行して、インストールが成功したかどうかを確認します。
python -V
成功すると、次のような出力が表示されるはずです。
pip install --upgrade pip
Hugging Face の Transformers ライブラリの パイプライン API を使用すると、基礎となるコードやモデルの詳細を深く掘り下げることなく、複雑な機械学習タスクを簡単に実行できます。パイプラインは、前処理、モデル推論、後処理を自動的に処理します。
パイプライン API でいくつかの一般的なタスクを使用する方法を見てみましょう。
感情分析には、テキストが肯定的であるか否定的であるかなど、テキストの背後にある感情的な調子を判断することが含まれます。パイプライン API を使用して感情分析を実行する方法は次のとおりです:
pip install 'transformers[torch]'
出力:
pip install 'transformers[tf-cpu]'
パイプラインは最初にテキストを前処理 (トークン化) し、それをモデルに渡し、最後に結果を後処理します。この場合、モデルは入力を POSITIVE として分類し、スコアは 0.999 です。
Transformers は、GPT-2 のような事前トレーニングされた言語モデルを使用してテキストを生成する簡単な方法も提供します。以下はテキスト生成パイプラインを使用した例です:
pip install 'transformers[flax]'
出力:
brew install cmake brew install pkg-config
モデルは、「愛しています」というプロンプトに基づいて、3 つの異なるバリエーションのテキストを生成します。これは、クリエイティブなコンテンツを生成したり、特定の文を完成させるのに役立ちます。
ゼロショット分類 は、カテゴリに基づいてモデルを明示的にトレーニングすることなく、テキストをカテゴリに分類できる強力な機能です。たとえば、特定のデータセットでモデルをトレーニングしていない場合でも、テキストを事前定義されたラベルに分類できます。
これが例です:
python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('we love you'))"
出力:
[{'label': 'POSITIVE', 'score': 0.9998704791069031}]
モデルは、テキストが信頼スコア 0.51 で ニュース として分類される可能性が高いことを示唆しています。
円グラフで結果を視覚化して、分布をよりよく把握することもできます。
from transformers import pipeline
classifier = pipeline("sentiment-analysis", model="distilbert/distilbert-base-uncased-finetuned-sst-2-english")
res = classifier("I love you! I love you! I love you!")
print(res)
これにより、各ラベルの確率を表す円グラフが表示され、モデルがテキストをどのように解釈するかを視覚化するのに役立ちます。
Hugging Face の Transformers ライブラリは、最先端のモデルにアクセスし、それらをさまざまな機械学習タスクに使用するための便利で強力な方法を提供します。センチメント分析、テキスト生成、ゼロショット分類のいずれに取り組んでいる場合でも、パイプライン API を使用すると、これらの高度なモデルをプロジェクトに統合するプロセスが簡素化されます。
わかりやすいインストール手順と実践的な例により、わずか数ステップで Transformers の活用を開始できます。 Hugging Face モデル ハブには、事前トレーニングされたモデルの広範なコレクションも用意されており、機械学習の最新の進歩を迅速に実装できます。
以上がハグ顔トランスフォーマーの力を機械学習に利用するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
