T5 に基づく 2 段階マルチタスク Text-to-SQL 事前トレーニング モデル MIGA
事前トレーニング済み言語モデル (PLM) には豊富な知識が含まれていることが、ますます多くの研究で証明されています。さまざまなタスクに対して、適切なトレーニング方法を使用して PLM を活用することで、モデルのパフォーマンスをより向上させることができます。 Text-to-SQL タスクでは、現在の主流のジェネレーターは構文ツリーに基づいており、SQL 構文用に設計する必要があります。
最近、NetEase Interactive Entertainment AI Lab は、広東外国語大学およびコロンビア大学と協力して、事前トレーニングに基づいた 2 段階のマルチタスク事前トレーニング モデル MIGA を提案しました。事前トレーニング済み言語モデル T5 のメソッド。 MIGA は、事前トレーニング段階で 3 つの補助タスクを導入し、それらを統合生成タスク パラダイムに編成し、すべての Text-to-SQL データ セットを均一にトレーニングできるようにします。同時に、微調整段階では、MIGA は次のエラーをターゲットにします。複数回の対話 転送問題は SQL 摂動に使用され、モデル生成の堅牢性が向上します。
現在の Text-to-SQL 研究では、主に SQL 構文ツリーに基づくエンコーダ/デコーダ モデルが主流です。これにより、生成された結果が SQL 構文に準拠していることが保証されます。ただし、SQL 構文が特別に設計されているため、ターゲットを絞る必要があります。最近では、生成言語モデルに基づいた Text-to-SQL に関する研究も行われており、事前にトレーニングされた言語モデルの知識と機能を簡単に継承できます。
構文ツリーへの依存を軽減し、事前トレーニングされた言語モデルの機能をより適切に活用するために、この研究では、事前トレーニングの枠組みの下で 2 段階の多言語モデルを提案しました。トレーニングされた T5 モデル タスク Text-to-SQL 事前トレーニング モデル MIGA (MMultI-タスク G世代 frAmework)。
MIGA は、トレーニング プロセスの 2 つの段階に分かれています。
- MIGA は、事前トレーニング段階では、同じ事前トレーニング プロセスを使用します。 T5 としてのトレーニング パラダイムでは、事前トレーニングされた言語モデルの知識をより良く刺激するために、Text-to-SQL に関連する 3 つの追加の補助タスクが提案されています。このトレーニング方法では、すべての Text-to-SQL データ セットを統合し、トレーニング データの規模を拡張できます。また、より効果的な補助タスクを柔軟に設計して、事前トレーニングされた言語モデルの潜在的な知識をさらに探索することもできます。
- 微調整フェーズでは、MIGA は、複数ラウンドの会話や SQL で発生しやすいエラー伝達の問題をターゲットにします。これにより、トレーニング プロセス中に履歴 SQL が混乱し、 SQL の現在のラウンドの生成がより効率的になります。
MIGA モデルは、2 つのマルチターン ダイアログ Text-to-SQL 公開データ セットで、最良の構文ツリー ベースのモデルよりも優れたパフォーマンスを発揮します。関連する研究は AAAI によって実施されています。 2023 年に承認されました。
文書アドレス: https://arxiv.org/abs/2212.09278
MIGAモデルの詳細図 1 MIGA モデル図。
#マルチタスク事前トレーニングフェーズ
この研究では主に事前トレーニング方法について言及します。トレーニングされた T5 モデルは、次の 4 つの事前トレーニング タスクで設計されています。- Text-to-SQL 主なタスク: 上の図の黄色の部分では、プロンプトを「ダイアログをシステム クエリに変換する」ように設計し、いくつかの特別なトークンを使用して履歴ダイアログとデータベースを結合します。情報と SQL ステートメントは結合されて T5 エンコーダーに入力され、デコーダーは対応する SQL ステートメントを直接出力します;
- 関連情報の予測: 上図の緑色の部分について、設計プロンプトは「ダイアログを関連する列に変換する」であり、T5 エンコーダーの入力もメイン タスクと一致しており、デコーダーはモデルの理解を高めるために、現在の問題に関連するデータ テーブルと列を出力する必要があります。 Text-to-SQL;
- 今回のラウンドの動作予測: 上図の灰色の部分は「ダイアログを翻訳してスイッチを回す」タスクです。複数ラウンドのダイアログでコンテキストを理解し、前のラウンドのダイアログと SQL を比較すると、デコーダーは現在のダイアログの目的にどのような変更が加えられたかを出力する必要があります。たとえば、図の例では、where 条件が変更されました。変更;
- 最終対話予測: 上の図の青い部分、デザイン プロンプト 「対話を最終発話に変換する」の目的は、モデルが文脈に沿った対話をよりよく理解できるようにすることです。デコーダは、マルチラウンドのダイアログ全体と、SQL に対応する完全な問題の説明を最後の瞬間に出力する必要があります。
このような統合されたトレーニング方法の設計により、MIGA は多用途かつ柔軟になり、より多くの追加のタスク関連タスクを処理できるようになり、次の利点もあります。
- 人間が SQL を記述する手順を参照すると、SQL タスクへの会話テキストは複数のサブタスクに分解され、メイン タスクがそれらから学習できるようになります。 トレーニング サンプルの構築形式は T5 と一致しており、ターゲット タスクに対して事前トレーニングされた T5 モデルの可能性を最大化できます。
- ##統合されたフレームワークにより、複数のタスクの柔軟なスケジューリングが可能になります。補助的なタスク。特定のタスクに適用する場合、上記の事前トレーニング済みモデルは、特定のタスクのラベル付きデータ内の同じトレーニング目標を使用して微調整するだけで済みます。
- この調査では、トレーニング前の段階で、Text-to-SQL データセット Spider と会話型 Text-to-SQL データセット SparC および CoSQL のデータを統合して、 T5モデル。
微調整段階
事前トレーニング段階の後、この研究では単純に Text-to- SQL タスクを実行してモデルをさらに微調整します。本研究では,SQL の現ラウンドを予測する際に,前ラウンドの予測 SQL をつなぎ合わせることで,複数ラウンドの対話と生成によって生じるエラー伝達問題を克服するために,SQL 摂動スキームを提案する. . 、入力データ内の SQL の履歴ラウンドを α の確率で摂動させます。 SQL ステートメントの摂動は主に、対応するトークンを β の確率でサンプリングし、次の摂動のいずれかを実行します。
同じデータ テーブル内の列を使用してランダムに実行します。変更または新規 SELECT 部分に列を追加します;
- 2 つのテーブルの位置を交換するなど、JOIN 条件内の構造をランダムに変更します;
- Modify"* " すべての列は他の列です。
- 「asc」と「desc」を入れ替えてください。
- 上記の摂動は、実験で統計的に見つかったエラー伝達によって引き起こされる最も一般的な SQL 生成エラーです。したがって、モデルの負荷を軽減するために、これらの状況に対して摂動が実行されます。この側面に依存します。
実験的評価
マルチターン会話 Text-to-SQL の評価データセット: SparC および CoSQL。評価指標は次のとおりです:
QM: 質問の一致。これは、1 回の質問で生成された SQL が完全に一致したことを意味します。割合;
- IM: インタラクション マッチ、マルチラウンド ダイアログの完全なラウンド全体で生成されたすべての SQL のうち、アノテーション出力と完全に一致する割合を示します。
- 表 1 の比較実験では、MIGA は、2 つのデータ セットの IM スコアと CoSQL の QM スコアの点で、現在の最高のマルチターン ダイアログを上回りました。 -SQLモデル。また、同じタイプの T5 ベースのソリューションと比較して、MIGA は IM を 7.0%、QM を 5.8% それぞれ改善しました。
#表 1 実験解析の比較。最初の部分はツリー モデル、2 番目の部分は事前トレーニングに基づく生成モデルです。
表 2 のアブレーション実験では、この研究では MIGA の 2 段階のトレーニング プロセスにおけるいくつかのタスクを調査し、同時にこれらのタスクがそれぞれに影響を与えることを証明しました。タスクはさまざまな程度に改善されました。
#表 2 SparC タスクの場合、各タスクまたはデータがそれぞれ削除されると、インジケーターが減少します。
実際のケース分析結果では、MIGA 生成の安定性と正確性は、T5-3B トレーニング モデルに基づくものより優れていることがわかります。 MIGA は生成において優れています。複数テーブルの結合操作や列とテーブルのマッピングにおいては、他のモデルよりも優れています。 Case#1 の質問 #2 では、T5-3B モデルは比較的複雑な JOIN 構造 (2 つのテーブルの接続) に対して効果的な SQL を生成できません。これにより、質問のより複雑な JOIN 構造 (3 つのテーブルの接続) に対する予測が不正確になります。 #3. 。 MIGA は JOIN 構造を正確に予測し、以前の条件 t1.sex="f" を適切に維持します。ケース #2 では、T5-3B が異なるテーブルの複数の列を混同し、people テーブルの列の収益を間違えますが、MIGA はその列を poker_player テーブルに属するものとして正しく識別し、それを t1 にリンクします。
結論
NetEase Interactive Entertainment AI Lab は、Text-to-SQL の T5 に基づく 2 段階のマルチタスク事前トレーニング モデルを提案しました: MIGA 。事前トレーニング段階では、MIGA は Text-to-SQL タスクを 3 つの追加のサブタスクに分解し、それらをシーケンスからシーケンスの生成パラダイムに統合して、事前トレーニングされた T5 モデルの動機を高めます。また、複数回の Text-to-SQL 生成シナリオにおけるエラー送信の影響を軽減するために、微調整段階で SQL 摂動メカニズムが導入されています。
研究チームは今後、非常に大規模な言語モデルの機能を活用するためのより効果的な戦略をさらに検討し、誤った送信によって引き起こされる問題をさらに克服するためのより洗練された効果的な方法を検討します。 . 効果減少問題。
以上がT5 に基づく 2 段階マルチタスク Text-to-SQL 事前トレーニング モデル MIGAの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック

0.この記事は何をするのですか?私たちは、多用途かつ高速な最先端の生成単眼深度推定モデルである DepthFM を提案します。従来の深度推定タスクに加えて、DepthFM は深度修復などの下流タスクでも最先端の機能を実証します。 DepthFM は効率的で、いくつかの推論ステップ内で深度マップを合成できます。この作品について一緒に読みましょう〜 1. 論文情報タイトル: DepthFM: FastMonocularDepthEstimationwithFlowMatching 著者: MingGui、JohannesS.Fischer、UlrichPrestel、PingchuanMa、Dmytr

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

世界は狂ったように大きなモデルを構築していますが、インターネット上のデータだけではまったく不十分です。このトレーニング モデルは「ハンガー ゲーム」のようであり、世界中の AI 研究者は、データを貪欲に食べる人たちにどのように餌を与えるかを心配しています。この問題は、マルチモーダル タスクで特に顕著です。何もできなかった当時、中国人民大学学部のスタートアップチームは、独自の新しいモデルを使用して、中国で初めて「モデル生成データフィード自体」を実現しました。さらに、これは理解側と生成側の 2 つの側面からのアプローチであり、両方の側で高品質のマルチモーダルな新しいデータを生成し、モデル自体にデータのフィードバックを提供できます。モデルとは何ですか? Awaker 1.0 は、中関村フォーラムに登場したばかりの大型マルチモーダル モデルです。チームは誰ですか?ソフォンエンジン。人民大学ヒルハウス人工知能大学院の博士課程学生、ガオ・イージャオ氏によって設立されました。

何?ズートピアは国産AIによって実現するのか?ビデオとともに公開されたのは、「Keling」と呼ばれる新しい大規模な国産ビデオ生成モデルです。 Sora も同様の技術的ルートを使用し、自社開発の技術革新を多数組み合わせて、大きく合理的な動きをするだけでなく、物理世界の特性をシミュレートし、強力な概念的結合能力と想像力を備えたビデオを制作します。データによると、Keling は、最大 1080p の解像度で 30fps で最大 2 分の超長時間ビデオの生成をサポートし、複数のアスペクト比をサポートします。もう 1 つの重要な点は、Keling は研究所が公開したデモやビデオ結果のデモンストレーションではなく、ショートビデオ分野のリーダーである Kuaishou が立ち上げた製品レベルのアプリケーションであるということです。さらに、主な焦点は実用的であり、白紙小切手を書かず、リリースされたらすぐにオンラインに移行することです。Ke Ling の大型モデルは Kuaiying でリリースされました。

最近、軍事界は、米軍戦闘機が AI を使用して完全自動空戦を完了できるようになったというニュースに圧倒されました。そう、つい最近、米軍のAI戦闘機が初めて公開され、その謎が明らかになりました。この戦闘機の正式名称は可変安定性飛行シミュレーター試験機(VISTA)で、アメリカ空軍長官が自ら飛行させ、一対一の空戦をシミュレートした。 5 月 2 日、フランク ケンダル米国空軍長官は X-62AVISTA でエドワーズ空軍基地を離陸しました。1 時間の飛行中、すべての飛行動作が AI によって自律的に完了されたことに注目してください。ケンダル氏は「過去数十年にわたり、私たちは自律型空対空戦闘の無限の可能性について考えてきたが、それは常に手の届かないものだと思われてきた」と語った。しかし今では、
