なぜWeiboは中毒性があるのでしょうか？舞台裏の推奨アルゴリズムの解読

2021 年 7 月 13 日、一日を一生懸命働いた若者たちが、横になって携帯電話を取り出し、おなじみの Xiaopozhan アプリを開いて、お気に入りのアップ ホストの最新動画に接続しようとしていました。ワンクリックで。

その結果、突然視界が暗くなったことに気づきました。

1 年後、 B局 ついに明かされるその秘密、「陰謀0」。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃しかし、このWeiboが、なぜ猛烈なユーザーの流入を経験したにもかかわらず崩壊しなかったのかについて考えたことはありますか？

#AI と Weibo の関係は何ですか?

この謎を解明する前に、人工知能の開発から始める必要があります。

7月27日、中国インターネット協会が主導し、微博と新浪ニュースが主催する2022年新賢人会議「エコロジーの統合と価値の共創」が成功裡に開催された。 。

「インテリジェンスがすべてを推進する: AI はすべてのインターネットの加速的な到来を促進する」というテーマで、Weibo COO、Sina Mobile CEO、Sina AI Media Research Institute 所長の Wang Wei 氏が講演しました。 「クラウドはデジタルとインテリジェントテクノロジーの統合アプリケーションのためのWeiboの複雑なビジネスシナリオを強化する」と題された基調講演。

Wang Wei 氏は、機械学習の発展の歴史を振り返ってみると次のように述べています。 AI の全体的な開発傾向は、トレーニング データの大規模な定量化と多様化、AI モデルの複雑化と一般化、コンピューティング能力の効率と規模であることがわかります。

#1 つ目は、マルチモーダル データの融合です。

#5G の急速な発展に伴い、オンライン コンテンツに占める画像およびビデオ タイプのモーダル コンテンツの割合が増加しているため、モーダルの融合が非常に必要です。

Weibo の場合、テキスト、写真、ビデオを同時にマルチモーダルに融合できれば、この Weibo の内容をより深く理解できるようになります。

2 つ目は、超大規模グラフ コンピューティングです。

他の機械学習モデルと比較して、超大規模グラフ コンピューティングには特別な利点があります。それは、情報の送信を通じて情報の流れ、集約、統合を促進します。ネットワーク。

たとえば、行動がほとんどないコールド スタート ユーザーの場合、フォロー リスト内の人々による情報拡散や、その人々が投稿したコンテンツからユーザーの興味を推測できます。

3つ目はAIが開発したダンベルモードです。

現在、AIの研究開発の焦点は、スーパーモデルの大型化と、モデルの小型化技術です。

モデル パラメーターのスケールがますます大きくなるにつれて、モデルの効果がますます良くなり、高精度のモデルが依然として増加していることは誰もが知っています。 2018 年に Google の Bert just が登場したとき、モデル パラメータのサイズは 3 億で、それほど大きくはありませんでしたが、それ以来、この数は急速に増加しています。

OpenAI によって開発された GPT-2 モデルのパラメータ サイズは 15 億、GPT-3 モデルのパラメータ サイズは 1750 億、Google によってリリースされた Switch Transformer によるものです。 2021 年、パラメータのサイズは 1 兆 6,000 億に達しました。

#一方、モデルが大きいほど効果は高くなりますが、モデルが大きすぎるため、効果が得られない場合があります。実際のアプリケーションを実装することは不可能です。したがって、研究開発のもう 1 つの焦点は、モデル蒸留、モデル枝刈り、その他の技術など、これらの大型モデルの小型化と軽量化です。

第四に、AI モデルは特殊なモデルから一般的なモデルに移行しています。

Google は、2021 年後半に Pathways モデル フレームワークを公開しました。Google は最初にこのアイデアを提案し、以下を構築することで「1 つのモデルで数千万のタスクを実行できる」ことを実現したいと考えていました。一般的な大型モデル「モノ」の目標。

具体的なアイデアは、さまざまなタスク データが入力された後、モデル出力層に到達するためにルーティング アルゴリズムを通じてニューラル ネットワークのパスの一部が選択されるということです。異なるタスクには、パラメーター共有とタスク固有のモデル パラメーターの両方があります。

10 億のノードと 100 億のエッジを持つ超大規模グラフ

なぜこれほどまでに機械学習の話をしているのか長さ？なぜなら次に来るのは「Weibo注目レコメンドシステム」だからです。

ご存知のとおり、中国最大のソーシャル メディア ネットワークである Weibo の現在の月間アクティブ ユーザー数は 5 億 8,200 万人に達しています。このようにユーザー規模が大きいと、Weibo 上のネットワーク環境は必然的に非常に複雑になります。

コンテンツの高いタイムリーさと多様性と相まって、今日の主要なインターネット イベントは Weibo 上ですぐに爆発的に増加します。

また、Weibo が直面するシナリオは依然として非常に多様化しており、人間関係の流れ、ホットスポットフロー、ビデオフローなどの「コンテンツ」。

#指がなくても生きていけますが、携帯電話なしでは生きていけません

Face 複雑なビジネス シナリオにおいて、Weibo は AI とビッグ データをどのように使用して、変化する状況に適応できるレコメンデーション システムを作成しますか?

Wang Wei 氏は、Weibo のレコメンデーション システムがコンテンツ理解、ユーザー理解、レコメンデーション システムの 3 つの部分で構成されていることを紹介しました。

#まずは内容の理解です。

Weibo が何を言っているかを理解したい場合は、テキストの内容を理解するだけでは十分ではなく、マルチモーダル理解テクノロジーを使用してブログ投稿を統合する必要があります。写真、ビデオ、その他のメディア情報。

この目的のために、Weibo は独自の Weibo マルチモーダル事前トレーニング モデルをトレーニングしました。「対照学習」を通じて、この自己教師あり学習手法を使用してマルチモーダル事前トレーニングを実施します。 -トレーニング。 。

以下の例は、Weibo が独自の「トピック」を使用してトレーニング データを自動的に構築する方法を示しています。

たとえば、どちらも「トレーニング中のラッシュフォード」という 2 つの Weibo 投稿を肯定的な例として取り上げ、異なるトピックのマイクロブログをランダムに選択して使用します。これにより、トレーニング データが自動的に構築されます。

特定の Weibo では、テキスト コンテンツは Bert によってエンコードされ、画像とビデオ コンテンツは ViT によってエンコードされ、その後、情報が融合サブネットワークを通じて融合されて、 Weibo の埋め込みエンコーディング。これは事前トレーニングのプロセスです。

事前トレーニング後、十分に学習された Weibo エンコーダーを使用して、新しい Weibo コンテンツをマルチモーダルにエンコードして埋め込みを形成し、レコメンデーションなどの下流タスクで使用できます。

第二に、ユーザー理解の観点から、Weibo は超大規模グラフ コンピューティングを使用して、ユーザーの読書の興味をよりよく理解しています。 結局のところ、Weibo には独自のソーシャル メディア属性があり、それが大規模なグラフ コンピューティングと自然によく適合します。

ユーザーとブログ投稿をグラフ内のノードとして使用し、ユーザー間の注意関係に基づいてグラフ内のエッジを構築し、ユーザーとブログ投稿の閲覧、再コメントやいいね、その他のインタラクティブな操作を行います。 Weibo は、10 億のノードと 100 億のエッジを含む非常に大きなグラフを作成しました。

大規模なグラフ コンピューティングにおける情報の配布、集約、統合を通じて、ユーザーの関心を表す埋め込みベクトルを形成して、ユーザーの関心をより深く理解することができます。

これにより、以下のようなユーザー間の関係、ユーザーとブログ記事間のリコメントやいいねなどを同時に扱うことが可能となります。

ユーザーが話している内容を理解し、Weibo ユーザーの興味を理解した後、Weibo レコメンデーション システムは、興味のあるユーザーにパーソナライズされた方法で高品質の Weibo 投稿を配信します。

#では、このような複雑なシナリオで効率的なレコメンデーション システムを構築するにはどうすればよいでしょうか?

Weibo はマルチシナリオ モデリング アプローチを採用しています。理想的な状況は、推奨モデルを 1 つだけ構築し、それを使用して複数のシナリオに対応することです。

では、シーン間の共通性と個性をどのように表現するのでしょうか?ネットワーク パラメータはシーン間で共有できます。また、シーンの共通性と個別性を反映するために、シーンに専用のプライベート ネットワーク パラメータを持たせることもできます。

#たとえば、このモデル図では、モデルの基礎となる特徴入力層と「エキスパート サブネットワーク」の一部にあります。ネットワークの中央では、これらのネットワーク パラメータは各シーンで共有されますが、他のサブネットワーク パラメータは特定のシーンに固有です

このようにして、1 つのモデルで複数のシーンに対応できますモデルのリソースを節約します。

唐山事件: 交通量が2倍になったらどうすればいいですか?

さて、話を元の「サスペンス」に戻しましょう。

Weibo にとって、完全に保護されていないと「爆発」してしまうこのホットスポットは、常に非常に大きな課題でした。

たとえば、最近広く注目を集めている「唐山事件」では、事件当日の混雑した交通量は、1日の交通量のピークを倍増させました。

これに関して、Wang Wei 氏は、Weibo はマイクロサービス Docker コンテナ化テクノロジーを非常に早くから適用しており、これによりサービスの運用と保守の効率が向上するだけでなく、だけでなく、サービスの動的な拡張および縮小機能も実現します。現在、Weibo には 10 分間に 10,000 台を超えるサーバーをスケジュールする能力があり、ホット トラフィックを処理するのに十分なサーバーがあります。

さらに、Weibo はホットスポット監視メカニズムとホットスポット連携システムも確立しており、Weibo が独自に開発した Weibo Mesh テクノロジーを通じて、異なるサービス間で効率的な言語間通話を実現し、サービス全体のパフォーマンスと連携拡張効率が向上します。

最後に、Weibo はオフライン リアルタイム ハイブリッド展開テクノロジーを採用しています。 CPU リアルタイム プリエンプティブ スケジューリング テクノロジとコンテナ化テクノロジの組み合わせを使用して、Weibo サービスのオフライン リアルタイム ハイブリッド展開機能を実現します。

上記の操作を組み合わせると、ホット トラフィックが来たときに、数秒でコア サービスのホット トラフィックを引き継ぐことができます。最後に、インターネットの発展の歴史を振り返ってみましょう。

PC インターネットがオンライン世界の始まりだとすれば、モバイル インターネットの台頭により、この目に見えない情報空間をポケットに入れることができるようになります。ビッグデータ、クラウド コンピューティング、人工知能、その他のテクノロジーとモバイル インターネットのオーバーレイと統合により、私たちはインテリジェント情報の時代に入りました。

今、最もホットなトピックはマルチバースです。昨年以来、メタバースは、デジタルツイン、デジタルピープル、XR、ブロックチェーンテクノロジーなどの広範な議論を引き起こしました。

Wang Wei 氏は、AI、ブロックチェーン、XR などの最先端テクノロジーに基づく現在のアプリケーション シナリオは、メタバースのプロトタイプの一部をすでに反映していると考えています。ゲームやソーシャル ネットワーキングなどの分野はメタバースにとって非常に優れたアプリケーション シナリオであり、メタバースへの参加に対する全員の熱意を刺激するでしょう。

以上がなぜWeiboは中毒性があるのでしょうか？舞台裏の推奨アルゴリズムの解読の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。