BLOOM は AI 研究の新しい文化を生み出すことができますが、課題はまだ残っています
翻訳者|Li Rui
レビュアー|Sun Shujuan
BigScience 研究プロジェクトは最近、大規模言語モデル BLOOM をリリースしました。一見すると OpenAI のコピーのように見えますが、別の試みですGPT-3で。
しかし、BLOOM が他の大規模自然言語モデル (LLM) と異なる点は、機械学習モデルの研究、開発、トレーニング、公開における取り組みです。
近年、大手テクノロジー企業は大規模な自然言語モデル (LLM) を厳格な企業秘密のように隠してきましたが、BigScience チームはプロジェクトの当初から透明性とオープン性を BLOOM の中心に据えてきました。
結果として、研究や学習にすぐに使用でき、誰でも利用できる大規模な言語モデルが得られます。 BLOOM によって確立されたオープンソースとオープンコラボレーションの例は、大規模自然言語モデル (LLM) や人工知能の他の分野における将来の研究に非常に有益です。しかし、大規模な言語モデルに固有の、対処する必要のある課題がまだいくつかあります。
BLOOMとは
BLOOMとは「BigScience Large-Scale Open Science Open Access Multilingual Model」の略称です。データの観点からは、GPT-3 や OPT-175B と大きな違いはありません。これは、自然言語やソフトウェア ソース コードを含む 1.6 TB のデータを使用してトレーニングされた、1,760 億個のパラメーターを備えた非常に大規模な Transformer モデルです。
GPT-3 と同様に、テキスト生成、要約、質問応答、プログラミングなど、ゼロショットまたは数ショット学習を通じて多くのタスクを実行できます。
しかし、BLOOM の重要性は、その背後にある組織と構築プロセスにあります。
BigScienceは、機械学習モデルセンター「Hugging Face」が2021年に開始した研究プロジェクトです。ウェブサイトによると、このプロジェクトは「AI/NLP 研究コミュニティ内で大規模な言語モデルと大規模な研究成果物を作成、学習、共有するための代替方法を実証することを目的としています。」
この点で、ビッグサイエンスはインスピレーションを得ています。これは、CERN や大型ハドロン衝突型加速器 (LHC) などの科学創造イニシアチブからのものであり、そこではオープンな科学コラボレーションが創造の研究コミュニティ全体に役立つ大規模な成果物を推進しています。
2021 年 5 月からのこの 1 年間で、60 か国、250 以上の機関からの 1,000 人以上の研究者が BigScience で BLOOM を共同開発しました。
透明性、オープン性、包括性
ほとんどの主要な大規模自然言語モデル (LLM) は英語のテキストのみでトレーニングされますが、BLOOM のトレーニング コーパスには 46 の自然言語と 13 のプログラミング言語が含まれています。これは、主言語が英語ではない多くの地域で役立ちます。
BLOOM はまた、大手テクノロジー トレーニング会社のモデルへの実際の依存を打ち破ります。大規模な自然言語モデル (LLM) の主な問題の 1 つは、トレーニングとチューニングのコストが高いことです。この障壁により、1,000 億のパラメータを持つ大規模な自然言語モデル (LLM) は、豊富な資金を持つ大手テクノロジー企業の独占的な領域となっています。近年、人工知能研究所は、助成金付きのクラウド コンピューティング リソースを獲得し、研究に資金を提供するために、大手テクノロジー企業からの誘致を受けてきました。
対照的に、BigScience 研究チームは、スーパーコンピューター Jean Zay 上で BLOOM をトレーニングするために、フランス国立科学研究センターから 300 万ユーロの助成金を受けました。このテクノロジーの独占的ライセンスを営利企業に与える契約はなく、モデルを商業化して収益性の高い製品に変えるという約束もありません。
さらに、BigScience チームは、モデル トレーニング プロセス全体について完全に透明性を保っています。データセット、会議記録、ディスカッション、コードに加えて、トレーニング モデルのログや技術的な詳細も公開しています。
研究者たちはモデルのデータとメタデータを研究し、興味深い発見を発表しています。
たとえば、研究者の David McClure 氏は 2022 年 7 月 12 日にツイートしました、「私は Bigscience と Hugging Face の本当にクールな BLOOM モデルの背後にあるトレーニング データセットを調べてきました。英語コーパスには 1,000 万のサンプルがあります」 、全体の約 1.25%、「all-distilroberta-v1」でエンコードされ、その後 UMAP で 2D に変換されます。」
もちろん、トレーニングされたモデル自体は Hugging Face のプラットフォームで使用できるため、研究者は次のような作業から解放されます。トレーニングに何百万ドルも費やす苦痛。
Facebook は先月、一部の制限の下で大規模自然言語モデル (LLM) の 1 つをオープンソース化しました。しかし、BLOOM によってもたらされる透明性は前例のないものであり、業界に新たな標準を確立することが約束されています。
BLOOM トレーニング共同リーダーの Teven LeScao 氏は、「産業用 AI 研究ラボの秘密主義とは対照的に、BLOOM は最も強力な AI モデルがより広範な研究コミュニティによって責任を持ってオープンに開発できることを実証しています。
課題は残る
人工知能研究と大規模言語モデルにオープン性と透明性をもたらす BigScience の取り組みは賞賛に値しますが、この分野には固有の課題があります。
大規模自然言語モデル (LLM) 研究はますます大規模なモデルに移行しており、トレーニングとランニングのコストはさらに増加します。 BLOOM は、トレーニングに 384 個の Nvidia Tesla A100 GPU (価格はそれぞれ約 32,000 ドル) を使用します。また、モデルが大きくなると、より大きなコンピューティング クラスターが必要になります。 BigScience チームは、他のオープンソースの大規模自然言語モデル (LLM) の作成を継続すると発表しましたが、チームがますます高価になる研究にどのように資金を提供するのかはまだ不明です。たとえば、OpenAI は非営利組織としてスタートしましたが、後に Microsoft からの資金に依存して製品を販売する営利組織になりました。
解決すべきもう 1 つの問題は、これらのモデルの実行にかかる莫大なコストです。圧縮された BLOOM モデルのサイズは 227 GB で、これを実行するには数百 GB のメモリを備えた特殊なハードウェアが必要です。比較のために、GPT-3 には Nvidia DGX 2 と同等のコンピューティング クラスターが必要で、そのコストは約 40 万ドルです。 Hugging Face は、研究者が 1 時間あたり約 40 ドルでモデルを使用できる API プラットフォームを立ち上げる予定ですが、これはかなりのコストです。
BLOOM の実行コストは、応用機械学習コミュニティ、スタートアップ企業、大規模な自然言語モデル (LLM) を活用した製品の構築を検討している組織にも影響を与えます。現在、OpenAI が提供する GPT-3 API の方が製品開発に適しています。開発者が貴重な研究に基づいて製品を構築できるようにするために、BigScience と Hugging Face がどのような方向に進むのかを見るのは興味深いでしょう。
これに関して、BigScience が将来のリリースでそのモデルのより小さなバージョンを用意することが期待されています。メディアでよく描かれている内容とは異なり、大規模自然言語モデル (LLM) は依然として「フリーランチなし」の原則を遵守しています。これは、機械学習を適用する場合、多くのタスクで平均的なパフォーマンスを発揮する非常に大規模なモデルよりも、特定のタスクに合わせて微調整されたよりコンパクトなモデルの方が効果的であることを意味します。たとえば、Codex は GPT-3 の修正バージョンであり、GPT-3 の数分の 1 のサイズとコストでプログラミングに優れた支援を提供します。 GitHub は現在、Codex ベースの製品 Copilot を月額 10 ドルで提供しています。
BLOOM が新しい文化を確立したいと考えているため、学術的および応用 AI が将来どこに向かうのかを調べるのは興味深いでしょう。
原題: BLOOM は AI 研究に新しい文化を築くことができますが、課題はまだ残っています 、著者:ベン・ディクソン
以上がBLOOM は AI 研究の新しい文化を生み出すことができますが、課題はまだ残っていますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

AIGC について詳しくは、51CTOAI.x コミュニティ https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou を参照してください。これらの質問は、インターネット上のどこでも見られる従来の質問バンクとは異なります。既成概念にとらわれずに考える必要があります。大規模言語モデル (LLM) は、データ サイエンス、生成人工知能 (GenAI)、および人工知能の分野でますます重要になっています。これらの複雑なアルゴリズムは人間のスキルを向上させ、多くの業界で効率とイノベーションを推進し、企業が競争力を維持するための鍵となります。 LLM は、自然言語処理、テキスト生成、音声認識、推奨システムなどの分野で幅広い用途に使用できます。 LLM は大量のデータから学習することでテキストを生成できます。

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

機械学習は人工知能の重要な分野であり、明示的にプログラムしなくてもコンピューターにデータから学習して能力を向上させる機能を提供します。機械学習は、画像認識や自然言語処理から、レコメンデーションシステムや不正行為検出に至るまで、さまざまな分野で幅広く応用されており、私たちの生活様式を変えつつあります。機械学習の分野にはさまざまな手法や理論があり、その中で最も影響力のある 5 つの手法は「機械学習の 5 つの流派」と呼ばれています。 5 つの主要な学派は、象徴学派、コネクショニスト学派、進化学派、ベイジアン学派、およびアナロジー学派です。 1. 象徴主義は、象徴主義とも呼ばれ、論理的推論と知識の表現のためのシンボルの使用を強調します。この学派は、学習は既存の既存の要素を介した逆演繹のプロセスであると信じています。

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性を実証しています。 「S」で始まる関連研究

7月5日のこのウェブサイトのニュースによると、グローバルファウンドリーズは今年7月1日にプレスリリースを発行し、自動車とインターネットでの市場シェア拡大を目指してタゴール・テクノロジーのパワー窒化ガリウム(GaN)技術と知的財産ポートフォリオを買収したことを発表した。モノと人工知能データセンターのアプリケーション分野で、より高い効率とより優れたパフォーマンスを探求します。生成 AI などのテクノロジーがデジタル世界で発展を続ける中、窒化ガリウム (GaN) は、特にデータセンターにおいて、持続可能で効率的な電力管理のための重要なソリューションとなっています。このウェブサイトは、この買収中にタゴール・テクノロジーのエンジニアリングチームがGLOBALFOUNDRIESに加わり、窒化ガリウム技術をさらに開発するという公式発表を引用した。 G
