ICLR 2024 口頭: 長いビデオでのノイズ相関学習、シングルカードのトレーニングにかかる時間はわずか 1 日
論文タイトル: 長期間のノイズの多いビデオからの多粒度通信学習 論文アドレス: https://openreview.net/pdf?id=9Cu8MRmhq2 プロジェクトアドレス: https://lin-yijie.github.io/projects/Norton コード アドレス: https://github.com/XLearning-SCU/2024-ICLR-Norton
長いビデオは通常、自動言語認識 (ASR) を使用して対応するテキスト字幕を取得するため、ビデオ全体に対応するテキスト段落 (Paragraph) は、 ASR テキスト タイムスタンプは複数の短いテキスト タイトル (Caption) に分割され、長いビデオ (Video) はそれに応じて複数のビデオ クリップ (Clip) に分割できます。ビデオ クリップとタイトルの後期段階での融合または位置合わせの戦略は、ビデオ全体を直接エンコードするより効率的であり、長期的な時間的関連学習に最適なソリューションです。
ただし、
-
粗粒度 NC (クリップとキャプションの間)。粗粒度 NC には、非同期 (Asynchronous) と無関係 (Irrelevant) の 2 つのカテゴリがあり、その違いは、ビデオ クリップまたはタイトルが既存のタイトルまたはビデオ クリップに対応できるかどうかにあります。 「非同期」とは、図 2 の t1 など、ビデオ クリップとタイトルの間のタイミングのずれを指します。これにより、アクションが実際に実行される前後でナレーターが説明するため、一連のステートメントとアクションの間に不一致が生じます。 「無関係」とは、ビデオクリップと一致しない意味のないタイトル(t2 や t6 など)、または無関係なビデオクリップを指します。 Oxford Visual Geometry Group [5] による関連調査によると、HowTo100M データセット内のビデオ クリップとタイトルの約 30% のみが視覚的に位置合わせされており、15% のみが元々位置合わせされています。 ##ファイングレイン NC (フレームワード) 。ビデオ クリップの場合、テキスト説明の一部のみがそれに関連する場合があります。図 2 では、タイトル t5「砂糖をふりかける」はビジュアル コンテンツ v5 と強く関連していますが、アクション「釉薬の剥がれを観察する」はビジュアル コンテンツと関連していません。無関係な単語やビデオ フレームは重要な情報の抽出を妨げ、セグメントとタイトル間の位置合わせに影響を与える可能性があります。
# 図 3 ビデオ - 段落比較アルゴリズムの図。
粒度の細かい NC
-
粗粒度の非同期 NC の場合。研究者らは、ビデオクリップとタイトル間の距離の指標として最適な伝送距離を使用しました。ビデオ クリップとテキストのタイトルの類似性行列 ( - はクリップとタイトルの数を表します) が与えられた場合、最適な送信目標は、全体的な配置の類似性を最大化することです。これにより、タイミングを非同期または 1 対多で自然に処理できます ( t3 など、v4、v5) の複雑なアライメント状況に対応します。
ここで、 は各セグメントとタイトルに等しい重みを与える一様分布であり、
は送信割り当てまたは再調整の瞬間であり、Sinkhorn アルゴリズムによって解決できます。
粗粒度で無関係な NC を対象としています。特徴マッチングにおける SuperGlue [6] からインスピレーションを得て、無関係なセグメントやタイトルをフィルタリングするために、適応性のある位置合わせ可能なヒント バケットを設計しました。プロンプトバケットは、類似度行列 上で結合された 1 行 1 列の同じ値のベクトルであり、その値は位置合わせできるかどうかの類似度のしきい値を表します。チップ バケットは、Optimal Transport Sinkhorn ソルバーにシームレスに統合されます。
長いビデオを直接モデリングするのではなく、最適な伝送を通じてシーケンス距離を測定すると、計算量を大幅に削減できます。最終的なビデオ段落の損失関数は次のとおりです。ここで、 は、
番目の長いビデオと
番目のテキスト段落の間の類似性行列を表します。
#2) スニペット - タイトルと 。この損失により、ビデオ段落の比較におけるセグメントとタイトルの位置合わせの精度が保証されます。自己教師あり対比学習では、意味的に類似したサンプルが誤って陰性サンプルとして最適化されるため、最適転送を使用して、潜在的な偽陰性サンプルを特定して修正します。 は、トレーニング バッチ内のすべてのビデオ クリップとタイトルの数、単位行列
は対比学習クロスエントロピー損失における標準的なアライメント ターゲットを表し、
は最適な送信補正ターゲット
を組み込んだ後の再アライメント ターゲットを表します。
は重み係数です。
実験 この記事は、ノイズ相関を克服してモデルの精度を向上させることを目的としています。長いビデオの理解。ビデオ検索、質疑応答、アクション分割などの具体的なタスクを通じて検証したところ、以下のような実験結果が得られました。 1) 長いビデオの取得 このタスクの目標は、指定されたテキストです。段落、対応する長いビデオを取得します。研究者らは、YouCookII データセットで、テキストに依存しないビデオ クリップを保持するかどうかに応じて、背景保持と背景削除の 2 つのシナリオをテストしました。彼らは、Caption Average、DTW、OTAM という 3 つの類似性測定基準を使用します。 Caption Average は、テキスト段落内のタイトルごとに最適なビデオ クリップを照合し、最後に一致数が最も多い長いビデオを呼び出します。 DTW と OTAM は、ビデオとテキストの段落間の距離を時系列に累積します。結果を以下の表1および表2に示す。 表1、2 YouCookIIデータセットで見られる長時間ビデオ検索パフォーマンスの比較 # #2) ノイズ相関ロバストネス分析 Oxford Visual Geometry Group は、HowTo100M のビデオに手動で再注釈を付け、各テキスト タイトルに正しいタイムスタンプを再注釈付けしました。結果として得られる HTM-Align データセット [5] には、80 個のビデオと 49K のテキストが含まれています。このデータセットのビデオ検索では、主にモデルがノイズ相関を過適合するかどうかを検証します。結果を以下の表 9 に示します。## 9 9 ノイズ関連性の HTM-Align データセット分析に関する表 9 概要と展望 この記事はノイズ相関学習 [3][4] - データの不一致/エラー 相関関係を徹底的に継続し、マルチモーダルビデオテキスト事前トレーニングが直面する多粒度ノイズ相関問題を研究することで、提案された長時間ビデオ学習方法を、より低いリソースオーバーヘッドでより広範囲のビデオデータに拡張できます。 将来に目を向けると、研究者は複数のモダリティ間の相関関係をさらに調査できます。たとえば、ビデオには視覚信号、テキスト信号、音声信号が含まれることが多く、外部の大きな信号を組み合わせることを試みることができます。言語モデル (LLM) またはマルチモーダル モデル (BLIP-2) を使用してテキスト コーパスをクリーンアップおよび再構成し、ノイズの悪影響を抑制するだけでなく、モデル トレーニングのプラスの刺激としてノイズを使用する可能性を探ります。参考文献: 1. このサイト「Yann LeCun :生成モデルはビデオの処理には適していません。AI は抽象空間で予測を行う必要があります。」、2024-01-23. 2.Sun, Y., Xue , H.、Song, R.、Liu, B.、Yang, H.、& Fu, J. (2022). マルチモーダル時間対比学習による長編ビデオ言語の事前トレーニング. 神経情報処理システムの進歩、35、38032-38045。 3.Huang、Z.、Niu、G.、Liu、X.、Ding、W.、Xiao、X . , Wu, H., & Peng, X. (2021). クロスモーダル マッチングのためのノイズを含む対応による学習. Advances in Neural Information Processing Systems, 34, 29406-29419. ##4.Lin, Y., Yang, M., Yu, J., Hu, P., Zhang, C., & Peng, X. (2023). バイレベルノイズ対応によるグラフマッチング. コンピュータ ビジョンに関する IEEE/CVF 国際会議議事録. ##5. Han, T.、Xie, W.、Zisserman, A. ( 2022 ). 長期ビデオ用の時間的アラインメント ネットワーク. コンピューター ビジョンとパターン認識に関する IEEE/CVF 会議議事録 (pp. 2906-2916).6.Sarlin, P. E.、DeTone, D.、Malisiewicz, T.、& Rabinovich, A. (2020). スーパーグルー: グラフ ニューラル ネットワークによる学習特徴マッチング. コンピューター ビジョンとパターン認識に関する IEEE/CVF 会議の議事録(pp. 4938-4947).
以上がICLR 2024 口頭: 長いビデオでのノイズ相関学習、シングルカードのトレーニングにかかる時間はわずか 1 日の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

Machine Power Report 編集者: Yang Wen 大型モデルや AIGC に代表される人工知能の波は、私たちの生活や働き方を静かに変えていますが、ほとんどの人はまだその使い方を知りません。そこで、直感的で興味深く簡潔な人工知能のユースケースを通じてAIの活用方法を詳しく紹介し、皆様の思考を刺激するコラム「AI in Use」を立ち上げました。また、読者が革新的な実践的な使用例を提出することも歓迎します。なんと、AIは本当に天才になってしまったのです。最近、AIが生成した写真の真贋を見分けるのが難しいと話題になっています。 (詳しくはこちら:AI活用中 | 3ステップでAI美女になり、1秒でAIに元に戻される) インターネット上で人気のAI Google ladyのほかにも、さまざまなFLUXジェネレーターが登場しています。ソーシャルプラットフォーム上に出現した
