ChatGPT と Bard は高価すぎるため、8 つの無料のオープンソースの大規模モデル ソリューションを紹介します。

1.LLaMA

LLaMA プロジェクトには、70 億から 650 億のパラメーターのサイズの基本的な言語モデルのセットが含まれています。これらのモデルは数百万のトークンでトレーニングされ、すべて公開されているデータセットでトレーニングされます。その結果、LLaMA-13B は GPT-3 (175B) を上回りましたが、LLaMA-65B は Chinchilla-70B や PaLM-540B などの最高のモデルと同様のパフォーマンスを示しました。

LLaMA からの画像

出典:

• 研究論文: 「LLaMA: オープンで効率的な基盤言語モデル (arxiv. org)" [https://arxiv.org/abs/2302.13971]
• GitHub: facebookresearch/llama [https://github.com/facebookresearch/llama]
• デモ: Baize Lora 7B [https://huggingface.co/spaces/project-baize/Baize-7B]

2.Alpaca

スタンフォード大学の Alpaca は、ChatGPT と競合でき、誰でも 600 ドル未満でコピーできると主張しています。 Alpaca 7B は、52K 命令フォロー デモンストレーションで LLaMA 7B モデルから微調整されています。

トレーニング コンテンツ | スタンフォード大学 CRFM の写真

リソース:

• ブログ: スタンフォード大学 CRFM。 [https://crfm.stanford.edu/2023/03/13/alpaca.html]
• GitHub：tatsu-lab/stanford_alpaca [https://github.com/tatsu-lab/stanford_alpaca]
• デモ: Alpaca-LoRA (公式デモは失われています。これは Alpaca モデルのレンダリングです) [https://huggingface.co/spaces/tloen/alpaca-lora]

3.Vicuna

#Vicuna は、ShareGPT から収集されたユーザー共有会話の LLaMA モデルに基づいて微調整されています。 Vicuna-13B モデルは、OpenAI ChatGPT および Google Bard の品質の 90% 以上に達しています。また、90% の確率で LLaMA モデルと Stanford Alpaca モデルを上回りました。ビクーニャの訓練にかかる費用は約 300 ドルです。

Vicuna からの画像

出典:

• ブログ投稿: 「Vicuna: GPT-4 を印象付けるオープンソースのチャットボット」 90%* ChatGPT 品質」 [https://vicuna.lmsys.org/]
• GitHub: lm-sys/FastChat [https://github.com/lm-sys/FastChat#fine-tuning ]
• デモ: FastChat (lmsys.org) [https://chat.lmsys.org/]

4.OpenChatKit

OpenChatKit: ChatGPT に代わるオープン ソースの代替ツールであり、チャットボットを作成するための完全なツールキットです。ユーザー自身の指示調整をトレーニングするための大規模な言語モデル、微調整されたモデル、ボットの応答を更新するためのスケーラブルな検索システム、質問のボット レビューをフィルタリングするための指示が提供されます。

一緒に撮った写真

GPT-NeoXT-Chat-Base-20B モデルは、Basic モードの GPT-NoeX よりも優れたパフォーマンスを発揮していることがわかります。

リソース:

• ブログ投稿:「OpenChatKit の発表」—TOGETHER [https://www.together.xyz/blog/openchatkit]
• GitHub: togethercomputer /OpenChatKit [https://github.com/togethercomputer/OpenChatKit]
• デモ: OpenChatKit [https://huggingface.co/spaces/togethercomputer/OpenChatKit]
• モデル カード: togethercomputer/ GPT-NeoXT-Chat-Base-20B [https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B]

#5.GPT4ALL

GPT4ALL はコミュニティ主導のプロジェクトであり、コード、ストーリー、説明、複数回の対話を含む補助インタラクションの大規模なコーパスでトレーニングされています。チームは、オープンソースを促進するために、データセット、モデルの重み、データ管理プロセス、トレーニング コードを提供しました。さらに、ラップトップで実行できるモデルの量子化 4 ビット バージョンもリリースしました。 Python クライアントを使用してモデル推論を実行することもできます。

GPT4ALL の写真

リソース:

• 技術レポート: GPT4All [https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf]
• GitHub: nomic-ai/gpt4al [https:/ /github.com/nomic-ai/gpt4all]
• デモ: GPT4All (非公式)。 [https://huggingface.co/spaces/rishiraj/GPT4All]
• モデルカード: nomic-ai/gpt4all-lora · ハグフェイス [https://huggingface.co/nomic-ai/gpt4all-lora] ]

6.Raven RWKV

Raven RWKV 7B は、RWKV 言語モデルによって駆動されるオープンソースのチャット ロボットです。結果は ChatGPT と同様です。このモデルは RNN を使用しており、品質とスケーラビリティの点でトランスに匹敵すると同時に、より高速で VRAM を節約できます。 Raven は、Stanford Alpaca、code-alpaca、その他のデータセットに基づいて微調整されています。

Raven RWKV 7Bからの画像

出典:

• GitHub: BlinkDL/ChatRWKV [https://github.com] /BlinkDL/ChatRWKV]
• デモ: Raven RWKV 7B [https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B]
• モデル カード: BlinkDL/rwkv-4-レイブン [https://huggingface.co/BlinkDL/rwkv-4-raven]

7.OPT

OPT： Open Pre-trained Transformer 言語モデルは、ChatGPT ほど強力ではありませんが、ゼロショット学習および少数ショット学習とステレオタイプ バイアス分析において優れた機能を示します。より良い結果を得るために、Alpa、Colossal-AI、CTranslate2、FasterTransformer と統合することもできます。 注: このリストに載っている理由は、テキスト生成カテゴリで月間 624,710 ダウンロードされているため、その人気が理由です。

(arxiv.org) からの画像

出典:

• 研究論文: 「OPT: Open Pre-trained Transformer」言語モデル (arxiv.org)」 [https://arxiv.org/abs/2205.01068]
• GitHub: facebookresearch/metaseq [https://github.com/facebookresearch/metaseq]
# #デモ: LLM 用のウォーターマーク [https://huggingface.co/spaces/tomg-group-umd/lm-watermarking]
• モデル カード: facebook/opt-1.3b [https://huggingface. co/facebook/opt-1.3b]

##8.Flan-T5-XXLFlan-T5-XXL T5 モデル命令の形で表現されたデータセットに基づいて微調整されます。命令の微調整により、PaLM、T5、U-PaLM などのさまざまなモデル クラスのパフォーマンスが大幅に向上しました。 Flan-T5-XXL モデルは、1,000 を超える追加タスクで微調整され、より多くの言語をカバーします。

Flan-T5-XXL

からの画像出典:

研究論文: 「スケーリング命令 - 微調整された言語モデル」 [https://arxiv.org/pdf/2210.11416.pdf]

• GitHub: google-research/t5x [https://github.com/google-research/t5x]
• デモ: Chat Llm ストリーミング [https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming]
• モデル カード: google/flan-t5-xxl [https://huggingface.co/google /flan-t5-xxl?text=Q: ( False or not False or False ) は? A: ステップごとに考えてみましょう]

概要##オープンソースの大規模モデルの中から選択できるものは数多くあります。この記事では、最も人気のある 8 つの大規模モデルについて説明します。

以上がChatGPT と Bard は高価すぎるため、8 つの無料のオープンソースの大規模モデル ソリューションを紹介します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。