2022年のディープラーニングの開発動向と課題

私たちは、人工知能 (AI) ディープラーニングにおけるエキサイティングな開発の 1 年を今年も終えました。この 1 年は、注目に値する進歩、論争、そしてもちろん論争に満ちた年でした。 2022 年を終えて 2023 年を迎える準備をするにあたり、今年のディープラーニングにおける最も注目すべき全体的な傾向を以下に示します。

#1. スケールは依然として重要な要素です

過去数年間、ディープ ラーニングにおいて一貫して続いているテーマの 1 つは次のとおりです。より大規模なニューラル ネットワークの原動力となります。コンピューター リソースが利用できるため、スケーラブルなニューラル ネットワークだけでなく、特殊な AI ハードウェア、大規模なデータ セット、トランスフォーマー モデルなどのスケールに適したアーキテクチャの開発が可能になります。

現在、企業はニューラル ネットワークをより大規模に拡張することで、より良い結果を得ています。昨年、DeepMind は 2,800 億のパラメータを持つ大規模言語モデル (LLM) である Gopher をリリースし、Google は 5,400 億のパラメータを持つ Pathways 言語モデル (PaLM) と最大 1 兆 2,000 億のパラメータを持つ一般言語モデル (GLaM) をリリースしました。 ; Microsoft と NVIDIA は、5,300 億パラメータの LLM、Megatron-Turing NLG をリリースしました。

スケールの興味深い側面の 1 つは、小規模なモデルでは不可能なタスクをより大きなモデルが首尾よく達成できるという出現能力です。この現象は LLM で特に興味深いもので、スケールが大きくなるにつれて、モデルはより広範囲のタスクとベンチマークで有望な結果を示します。

ただし、最大規模のモデルであっても、深層学習のいくつかの基本的な問題が未解決のままであることは注目に値します (これについては後で詳しく説明します)。

2. 教師なし学習は引き続き提供されます

成功した深層学習アプリケーションの多くでは、人間がトレーニング サンプルにラベルを付ける必要があります (教師あり学習とも呼ばれます)。しかし、インターネット上で入手可能なほとんどのデータには、教師あり学習に必要なクリーンなラベルが付いていません。データの注釈は高価で時間がかかるため、ボトルネックが生じます。だからこそ研究者たちは、人間が注釈を付けたデータなしで深層学習モデルをトレーニングする教師なし学習の進歩を長い間模索してきました。

この分野は、特にインターネットから収集された大規模な生データ セットでほとんどのトレーニングが行われる LLM の分野で、近年大幅な進歩を遂げています。 LL.M. は 2022 年も引き続き勢いを増していますが、教師なし学習テクニックの人気が高まっている他の傾向も見られます。

たとえば、テキストから画像へのモデルは今年、驚くべき進歩を遂げました。 OpenAI の DALL-E 2、Google の Imagen、Stability AI の Stable Diffusion などのモデルは、教師なし学習の力を実証しています。適切な注釈が付けられた画像と説明のペアを必要とする古いテキストから画像へのモデルとは異なり、これらのモデルは、インターネット上にすでに存在する、大まかにキャプションが付けられた画像の大規模なデータセットを使用します。トレーニング データセットの巨大なサイズ (手動のラベル付けが必要ないためにのみ可能です) と字幕スキームの多様性により、これらのモデルはテキスト情報と視覚情報の間のさまざまな複雑なパターンを見つけることができます。したがって、さまざまな説明用の画像をより柔軟に生成できます。

3. マルチモーダリティは大きな進歩を遂げます

テキストから画像へのジェネレーターには、もう 1 つの興味深い機能があります。それは、複数のデータ型を 1 つのモデルに結合することです。複数のパターンを処理できるため、深層学習モデルはより複雑なタスクを実行できるようになります。

マルチモダリティは人間と動物の知能にとって非常に重要です。たとえば、木を見て、風が枝を揺らす音を聞くと、脳はそれらをすぐに結び付けることができます。同様に、「木」という単語を見ると、すぐに木のイメージを思い起こしたり、雨が降った後の松の木の香りを思い出したり、以前に経験した他の経験を思い出したりすることができます。

明らかに、マルチモーダリティは深層学習システムをより柔軟にする上で重要な役割を果たします。これはおそらく、画像、テキスト、固有受容データなどのさまざまなデータ型でトレーニングされた深層学習モデルである DeepMind の Gato によって最もよく実証されています。 Gato は、画像キャプション、インタラクティブな対話、ロボット アームの制御、ゲームのプレイなど、複数のタスクに優れています。これは、単一のタスクを実行するように設計された従来の深層学習モデルとは対照的です。

一部の研究者は、人工知能 (AGI) を実装するには Gato のようなシステムのみが必要であるという概念を推進しています。多くの科学者はこの見解に同意しませんが、マルチモダリティが深層学習に重要な成果をもたらしたことは確かです。

4. ディープラーニングの基本的な問題は依然として残っている

ディープラーニングの目覚ましい成果にも関わらず、この分野におけるいくつかの問題は未解決のままです。これらには、因果関係、構成性、常識、推論、計画、直感的な物理学、抽象化と類推が含まれます。

これらは、さまざまな分野の科学者によって今も研究されている知性の謎の一部です。純粋にスケールベースおよびデータベースの深層学習アプローチは、これらの問題の一部について段階的に進歩するのに役立ちましたが、明確な解決策を提供することはできませんでした。

たとえば、LLM が大規模であれば、長いテキスト全体にわたって一貫性と一貫性を維持できます。しかし、彼らは、慎重な段階的な推論と計画を必要とするタスクでは失敗しました。

同様に、テキストから画像へのジェネレーターは、見事なグラフィックを作成しますが、構成が必要な画像や複雑な説明を含む画像を描画するように求められた場合、基本的な間違いを犯します。

これらの課題は、深層学習の先駆者を含むさまざまな科学者によって議論され、研究されています。これらの中で最も有名なのは、チューリング賞を受賞した畳み込みニューラル ネットワーク (CNN) の発明者であるヤン ルカンです。彼は最近、テキストのみから学習する LLM の限界について長い記事を書きました。 LeCun は、世界のモデルを学習でき、現在この分野が直面している課題のいくつかを解決できる深層学習アーキテクチャに取り組んでいます。

ディープラーニングは大きな進歩を遂げました。しかし、進歩が進めば進むほど、真にインテリジェントなシステムを作成することの課題がより認識されるようになります。来年も今年と同じくらいエキサイティングな年になることは間違いありません。

以上が2022年のディープラーニングの開発動向と課題の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。