SenseTime 共同創設者、Yang Fan 氏: 大型モデルの波がもたらす AI 業界発展の新たなチャンス

＃＃＃＃３６ クリプトン社は５月２３日に「ディスラプション・AIGC」と呼ばれる産業開発サミットを主催しました。このサミットでは業界関係者が一堂に会し、変化に直面した際の企業や業界の対応戦略について共同で議論し、考えを共有し、業界で最も可能性のある企業と最も価値のある技術を探索・発見し、激動の環境で進むべき道を模索します。

カンファレンスでは、SenseTimeの共同創設者で大型デバイスビジネスグループの社長であるYang Fan氏が「大型モデルの波がもたらすAI産業発展の新たな機会」と題した基調講演を行った。 Yang Fan 氏は、AI の新しい波には 2 つの特徴があると考えています: 1 つ目は、技術的なブレークスルーからビジネス モデルの革新までのサイクルが短くなり、技術的成果がより迅速に商業および産業の探索と実践に活用されること、2 つ目は、過去 10 年間と比較して、 、現在の人工知能の産業化により、技術的な利点がデータ障壁や規模の利点に変換されやすくなっています。

ヤン・ファン氏はまた、自身の見解を提示し、人工知能技術の画期的な進歩の理由を説明しました。彼は、大規模モデルの成功は依然として人工知能の「データ、計算能力、アルゴリズム」の暴力的な美学を裏付けていますが、これら 3 つの要素の背後には実際には包括的なシステム エンジニアリングがあると信じています。 OpenAI を例に挙げて、Yang Fan 氏は、データ エンジニアリングで優れた仕事をする方法、チップのリソースの有効利用を改善する方法、低コストでありながら適切に構造化されたアルゴリズムを設計する方法など、すべてのリンクで次のことが必要であると指摘しました。専門家の経験と知識、システムエンジニアリング能力をサポートします。彼は、これがモデル層企業の中核となる技術能力の最終的な現れであるだけでなく、AI インフラストラクチャ サービスを提供するために必要な主要な能力でもあると信じています。

以下はヤン・ファン氏のスピーチの転写です(36クリプトンが企画・編集):

＃＃＃こんにちは、みんな！本日の 36 クリプトン イベントで、大型モデルの業界トレンドを皆さんと共有できることを光栄に思います。

業界におけるこのような極端な変化の時期に、いくつかの見解を共有したいと思います。まず、今日大規模モデルについて話すとき、正確な定義はありませんが、それは数千億を超えるものですか、それとも数百億を超えるものですか?私の考えでは、2012年から現在までのこの10年くらいで、人工知能のモデル構造はどんどん大きくなり、パラメータの数も増えてきているのに、なぜ今になって急にみんなが概念を思いついたように見えるのか、さらなる注目のホットスポットを引き起こす? 2016 年の AlphaGo に代表される新しいアプリケーションと個人の消費者の間には強い相関関係があることがわかります。過去 2 年間で、人工知能技術は新たな進歩と画期的な進歩を遂げました。まず第一に、これらの進歩と画期的な進歩はすべての人に関係します。」 「それはより直接的な関係であり、誰もがそれを直接感じることができます。第二に、これらのブレークスルーは確かに大きな影響を与えています。人工知能は、生物学、物理学、科学研究分野の他の分野でも革新的な研究を完了できると思います」化学、または今日誰もが注目している ChatGPT モデルなどのその他の分野は、基盤となるテクノロジー全体を推進し、新たな進歩を生み出す可能性があるため、非常に有意義です。このような新たな進歩は、将来的に人類にさらなる進歩をもたらす可能性があります。

2021 年から、さらに多くの技術的ブレークスルーが発生し続けます。同時に、非常に興味深い現象も見られました。この一連の技術的ブレークスルーが技術分野で一定の成果を達成した後、私たちは産業とビジネスの分野での探索と探索を開始しました。 . 実際には、このサイクルは以前よりも短くなります。その後、国内外で革新的な企業が多数設立され、教授や学者が起業するなど、かつては市場にもそうした道筋があったのではないかと思い、投資家への認知度も高まってきました。その後、人々はすぐに小紅書でインターネットの有名人になろうとし始めました。

技術的なブレークスルーから商業的革新に至るまで、多くのトレンドが見られますが、このサイクルは短くなるように思われます。私が最近参加したいくつかのフォーラムでは、ほとんどの人が、どのような大きなモデルを作りたいのか、そのモデルはどのくらい大きくて強力なのか、このモデルで何をしたいのか、そしてそれをどのように構築するのかについて話していることがわかりました。特定の特定のシナリオ、超新しいアプリなど中国ではまだ政府監督から正式なAPIライセンスを取得した主要モデルはないが、過去2カ月でこれほど大きな拡大の変化があった。

したがって、これはもっと注目に値する現象だと思います。このラウンドの大型モデルの商品化プロセスがより速くなっていることがわかります。なぜこれがそのような影響を与えるのでしょうか?非常に重要な点は、より多くの C サイド アプリケーションを実行できる新しいテクノロジーが数多く登場していることですが、同時にそれらはデータ蓄積の閉ループを自然に形成できるため、これまでの技術的な起業家精神よりもビジネス上の障壁を確立しやすくなっているということです。 。これはここ数カ月間、業界で見られた傾向だと思います。

Yang Fan 氏、SenseTime の共同創設者、大型デバイス ビジネス グループの社長

第二に、これは私たちが今日行っている大型モデル技術の背後にあるものです。大規模なモデルであれ、過去 10 年を振り返っても、人工知能業界全体の発展と変化は基本的に、人工知能の伝統的な 3 要素であるデータ、計算能力とアルゴリズム。アルゴリズムはモデル構造として理解できます。今日、私たちはこれらを大規模モデル、またはより新しい技術的成果を達成したモデルと呼んでいます。データセットの規模に使用される計算能力の規模や、データセットの規模に関係なく、ほぼすべてのモデルがあらゆる分野で使用されています。アルゴリズム自体です. モデルの構造とパラメータの数は実際に非常に高い成長率を維持しています. Transformer モデルは非常に安定していて非常に効果的です. 多くの分野の問題を解決し, 良い結果を得ることができます.データの量が非常に一般化可能な結果を​​得るのに十分な量であることが判明すると、ある意味、人工知能テクノロジーの進歩の一般的な方向性が暴力を使って奇跡を生み出すことであり、より多くのリソースを統合できることがさらに証明されます。より良い結果が得られます。

しかし、実際には、そのようなリソースがあるだけでは十分ではありません。対応する 3 つの要素を見てみましょう。それぞれの要素が良い結果を生み出す前に、各分野で専門的なエンジニアリングの実践を大量に行う必要があります。

実は、先ほどのゲストの講演では、コンピューティングパワーの分野で大きなコンピューティングパワーが必要な理由が説明されていましたが、これらの大きなコンピューティングパワーはどのように接続できるのでしょうか?現在 1,000 枚のカードがあるとして、コスト効率を高め、有効利用率 60%、80%、さらには 90% を達成できるでしょうか?あるいは、今日 1,000 枚、2,000 枚、または 4,000 枚のカードを接続した場合、どのような効果が得られるでしょうか? OpenAI は以前、10,000 枚の V100 カードを接続していました。現在、中国では 10,000 枚のカードを接続して同じトレーニング タスクを実行し、50% または 60% を超える有効リソース利用率を達成できる人は誰もいません。現在はそれを行っている人もいるかもしれません。まだそのような結果は出ていないのですが、なぜですか?その背後には、非常に複雑なエンジニアリングイベントがあります。例: 数千億のパラメータを持つモデルでは、トレーニング中に大量のデータ インタラクションと中間勾配情報インタラクションが必要になります。大量のデータ送信と数千枚の GPU カードでの演算結果の送信を組み合わせると、効果的なバランスが得られます。多くの場合、モデルはポイントツーポイント間で実行され、ネットワーク構造では 2 対 2 の伝送が必要になります。何千枚ものカードをつなぎ合わせたとき、その効果はどのような状態であれば許容されますか? 実際にはまったく複雑ではありません。エンジニアリングの練習が必要なだけです。これを実行できれば、十分なステップを踏んだことになるのと同じです。この問題は非常に重要な経験の問題です。

同様のことがアルゴリズムにも当てはまります。今日のアルゴリズム構造設計は、元のアルゴリズムよりも安価になる可能性があります。構造が適切に設計されていれば、より少ないパラメータとより小さなデータを使用するだけで、特別な最適化を行わずに設計と同様の最終的なアルゴリズム効果を達成できますが、データはもちろんのこと、多くの専門知識も必要となります。

OpenAI が ChatGPT4 を実行していたとき、最終的には、収集されたデータのごく一部 (おそらく 10% 未満) のみがトレーニングに使用されました。これは、リソースの節約と完全なトレーニングの間には大きな隔たりがありました。データが非常に大きかったので、どのデータがより効果的で、どのデータに埋め込み価値が高いでしょうか?トレーニングを行うとき、実際にはどのデータを最初に捨てるべきか、どのメソッドを後で捨てるべきかの間で多くの試行錯誤が発生します。なぜこれほどコンピューティング能力が不足しており、誰もがより多くのコンピューティング能力を必要としているのでしょうか?大規模なモデルを作成する多くの人が試行錯誤しているため、同時に 3 つまたは 4 つのグループに分かれて異なる方向に試行錯誤し、徐々に最適化を繰り返します。今日の AI テクノロジーと AI アルゴリズムを可能にしているのが、継続的な買収の理由です。

包括的なシステム エンジニアリングには、あらゆるリンクにおける専門家の経験とシステム エンジニアリング能力が必要です。これは、OpenAI によって、最高の科学者がアルゴリズムの代わりにデータ エンジニアリングを行えることも示しています。これは、この分野に関するこれまでの理解を大幅に上回っています。将来的には、これが重要な閾値になる可能性があり、市場にサービスを提供するための当社の中核的な能力にもなるでしょう。

新しい人工知能技術の出現後、産業の波が非常に急速に続いたのはなぜですか。モデル サービスは当然多くの分野に適していることがわかります。インターネット界の人々は非常に興奮しており、投資家はそれが同じくらい急速に成長すると考えていますインターネット。商業化のしきい値と障壁の変化は、大規模モデルにいくつかの新しい機会をもたらすでしょうが、これらの機会にアクセスできるかどうかは、個人のさまざまな違いと専門知識に依存します。いずれにせよ、過去 10 年間と比較して、今日の人工知能の産業化には非常に大きな利点があると考えられます。多くの産業用途に使用できます。

SenseTime は、2019 年に初期の大規模モデルの作成を開始しました。私たちの意見では、AI モデル全体がますます大きくなっているため、一部の CV モデルや NLP モデルを自社開発するなど、多くの内部機能を蓄積してきました。 SenseTimeは、今年4月に業界パートナー向けに一部の大規模な言語モデルを含む一部モデルのAPIを試用公開しましたが、これはコアとなる基礎技術力の蓄積の究極の現れであると私たちは考えています。

当社は今年、一連のモデルをリリースしました。市場のサービスをサポートする背後には、当社の大型デバイスがあります。人工知能業界全体が前進するにつれて、誰かがこのような大規模で効率的なインフラストラクチャを提供する必要があると感じています。これは基本的には避けられない道です。将来的に AI 技術の波全体が、より多くのリソースを消費し、専門家の経験を蓄積するゲームになった場合、その敷居は実際には非常に高く、業界での AI の急速な適用には役立たないため、当社では差別化を図ることができると判断しています。モデル API を呼び出す、これに基づいて小さなモデルを作成する、またはその他の方法でインフラストラクチャ サービスを提供すると、敷居が低く、低コストで基本的な AI リソースと機能をすぐに使用できます。コストがかかるため、独自のクローズドループ ビジネス モデルを迅速に改善できます。

SenseTime の位置づけは、AI インフラストラクチャ プロバイダーであることです。現在、当社はアジア最大の人工知能コンピューティング ノードを持っています。当社には 5000P 以上のリソース コンピューティング能力があり、パートナーが私たちをサポートできるよう、多くの業界協力も提供しています。これは、SenseTime の深い蓄積を反映しており、リソース レベルであっても、専門家エンジニアリングの認知レベルであっても、当社の機能の一部を標準化してソフトウェアやサービスに変えることができます。標準化された部分については、専門的な分類サービスに変えることができ、これらの機能をパッケージ化して業界全体に提供し、顧客が独自のドメイン モデルやモデル アプリケーションを作成できるようにしたいと考えています。

大型の SenseTime デバイスを使用して AI の大規模モデルをトレーニングします。

出典: 36氪

以上がSenseTime 共同創設者、Yang Fan 氏: 大型モデルの波がもたらす AI 業界発展の新たなチャンスの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。