Google PaLM 2のトレーニングに使用されるテキストデータの量は、元の世代のほぼ5倍です

5 月 17 日のニュースによると、Google は先週の 2023 I/O Developer Conference で最新の大規模言語モデル PaLM 2 を発表しました。社内文書によると、2022 年以降の新しいモデルのトレーニングに使用されるテキスト データの量は、前世代のほぼ 5 倍になっています。

Google が新たにリリースした PaLM 2 は、より高度なプログラミング、コンピューティング、クリエイティブ ライティングのタスクを実行できると報告されています。内部文書によると、PaLM 2 のトレーニングに使用されたトークンの数は 3 兆 6,000 億であることが明らかになりました。

いわゆるトークンは文字列です。モデルのトレーニングに使用されるテキスト内の文と段落をセグメント化します。各文字列は通常、トークンと呼ばれます。これは大規模な言語モデルをトレーニングする際の重要な部分であり、シーケンス内で次にどの単語が来るかを予測するように学習します。

Google が 2022 年にリリースした前世代の大規模言語モデル PaLM では、トレーニングに 7,800 億のトークンが使用されました。

Google は、人工知能テクノロジーを検索エンジン、電子メール、ワードプロセッサ、スプレッドシートにどのように組み込むことができるかを示し、人工知能テクノロジーにおける優れた能力を実証することに熱心でしたが、トレーニング データの規模を公開することには消極的でした。その他の情報。 Microsoft が支援する OpenAI も、新しくリリースされた GPT-4 大規模言語モデルの詳細を秘密にしています。

両社は、この情報を開示しない理由は人工知能業界の熾烈な競争であると述べています。 Google と OpenAI はどちらも、情報を検索するために従来の検索エンジンの代わりにチャットボットを使用したいユーザーを引き付けたいと考えています。

しかし、人工知能分野での競争が激化するにつれ、研究コミュニティはさらなる透明性を求めています。

PaLM 2の発表以来、Googleは、新しいモデルは以前の大規模な言語モデルよりも小さい、つまり同社のテクノロジーはより複雑なタスクをより効率的に実行できると述べてきた。パラメーターは、言語モデルの複雑さを説明するためによく使用されます。内部文書によると、PaLM 2 は 3,400 億のパラメータでトレーニングされ、オリジナルの PaLM は 5,400 億のパラメータでトレーニングされました。

Googleからは現時点でコメントは得られていない。

PaLM 2に関するブログ投稿の中で、Googleは、新しいモデルは「コンピューティング最適化スケーリング」(コンピューティング最適化スケーリング)と呼ばれる「新技術」を使用しており、これによりPaLM 2の効率が向上すると述べた。推論の高速化、サービス パラメータの減少、サービス コストの削減など、全体的なパフォーマンスの向上。」

PaLM 2 をリリースする際、Google は、新しいモデルが 100 の言語でトレーニングされ、さまざまな機能を実行できることを明らかにしました。タスク。 PaLM 2 は、Google の実験的なチャットボット Bard を含む 25 の機能と製品で使用されています。 PaLM 2 には、パラメーター スケールに応じて、小さいものから大きいものまで、Gecko、Otter、Bison、Unicorn の 4 つの異なるバージョンがあります。

Google が公開した情報によると、PaLM 2 は既存のどのモデルよりも強力です。 Facebookは今年2月、トレーニングに1兆4000億トークンを使用したLLaMAと呼ばれる大規模言語モデルの立ち上げを発表した。 OpenAI は GPT-3 のリリース時に関連するトレーニング スケールを明らかにし、その際、同社はモデルが 3,000 億トークンでトレーニングされたと述べました。今年3月、OpenAIは新モデルGPT-4をリリースし、多くの専門的なテストで「人間レベル」の性能を発揮したと発表した。

最新の文書によると、Google が 2 年前に発表した言語モデルは 1 兆 5,000 億のトークンでトレーニングされました。

新しい生成 AI アプリケーションがテクノロジー業界で急速に主流になるにつれて、基盤となるテクノロジーをめぐる論争はますます激化しています。

今年 2 月、Google の研究部門の上級科学者であるエル・マハディ・エル・マムディ氏は、同社の透明性の欠如を理由に辞任しました。 OpenAIの最高経営責任者（CEO）サム・アルトマン氏は火曜日、プライバシーとテクノロジーに関する米上院司法小委員会の公聴会で証言し、人工知能に対処するための新たなシステムに同意した。

「非常に新しいテクノロジーには、新しいフレームワークが必要です。もちろん、当社のような企業は、自社が提供するツールに対して多くの責任を負っています。」

以上がGoogle PaLM 2のトレーニングに使用されるテキストデータの量は、元の世代のほぼ5倍ですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。