会話型セマンティック解析 SParC および CoSQL の国際的な権威リストのトップ、新しいマルチラウンド対話テーブル知識事前トレーニング モデル STAR 解釈

現在急速に発展しているインターネット時代では、さまざまな種類のデータが次々と登場しています。その中でも最もよく使われているのがテーブルデータです。テーブルは一般的な構造化データの一種です。ニーズに応じて SQL クエリを設計できます。 . 表の知識を取得するためのステートメントですが、多くの場合、より高い設計コストと学習コストが必要になります。現時点では、Text-to-SQL 解析タスクが特に重要です。さまざまな対話シナリオに応じて、シングルラウンド Text-to-SQL 解析とマルチラウンド Text-to-SQL 解析に分けられます。この記事では主に現実世界のアプリケーション向けに、Text-to-SQL 解析タスクを複数回繰り返して、より困難でより詳細な研究を行います。

最近、アリババ DAMO アカデミーと中国科学院深セン先端技術研究所は、複数ラウンドの Text-to- SQL セマンティック解析。現在のところ、STAR は 10 か月連続で SParC および CoSQL リストの 1 位を占めています。この研究論文は、自然言語処理分野の国際会議であるEMNLP 2022 Findingsに採択されました。

• 論文アドレス: https://arxiv.org/abs/2210.11888
• コードアドレス: https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/star

STAR は、斬新で効果的なマルチターン ダイアログ テーブル知識事前トレーニング言語モデルです。このモデルは、主に 2 つの事前トレーニング目標を使用して、マルチターン ダイアログにおける複雑な文脈セマンティクスとデータベース パターンを追跡します。状態トレースは、会話フローにおける自然言語クエリとデータベース スキーマのエンコード表現を強化することを目的としてモデル化されています。

研究は、会話型セマンティック解析の権威あるリストである SParC と CoSQL で評価されました。公平な下流モデルの比較の下で、STAR は以前の最良のマルチラウンド テーブル前処理と比較されました。トレーニング モデルの場合SCoRe、QM/IM は SParC データ セットで 4.6%/3.3% 改善され、QM/IM は CoSQL データ セットで 7.4%/8.5% 大幅に改善されました。特に、CoSQL には SParC データセットよりも多くのコンテキスト変更があり、この研究で提案された事前トレーニング タスクの有効性が検証されています。

背景の紹介

ユーザーが SQL 構文に詳しくなくても、自然言語対話を通じてデータベースと対話できるようにするために、複数回の Text-to -SQL 解析 このタスクは、ユーザーとデータベースの間のブリッジとして機能し、対話内の自然言語の質問を実行可能な SQL クエリ ステートメントに変換します。

事前トレーニング済みモデルは、近年さまざまな NLP タスクで活躍していますが、テーブルと自然言語の間には固有の違いがあるため、通常の事前トレーニング済み言語モデル (BERT、 RoBERTa) はこのタスクで最適なパフォーマンスを達成できないため、事前トレーニング済み表形式モデル (TaLM) [1-5] が登場しました。一般に、事前トレーニング済み表形式モデル (TaLM) は、コンテキスト クエリ間の複雑な依存関係 (参照、インテント オフセット) をモデル化する方法と、履歴的に生成された SQL 結果を効果的に利用する方法を含む 2 つの中心的な問題に対処する必要があります。上記の 2 つの主要な問題に対応して、既存の事前トレーニング済みテーブル モデルには次の欠陥があります。

図 1コンテキスト依存のマルチラウンド Text-to-SQL 解析の例。

第一に、既存のテーブル事前トレーニング モデルは、履歴 SQL クエリ ステートメントに含まれる相互作用を考慮せず、自然言語クエリのコンテキスト情報のみを調査します。これにより、多くの場合、ユーザーの意図がより正確かつコンパクトな形で要約されます。したがって、履歴 SQL 情報をモデル化して追跡すると、現在のクエリの意図をより適切に捉えることができ、対応する SQL クエリ ステートメントをより正確に生成できます。図 1 に示すように、テーブル名「Compuses」は SQL クエリの最初のラウンドで言及されているため、そのテーブルは SQL クエリの 2 ラウンド目でも再び選択される可能性が高く、そのため、テーブルのステータスを追跡することが特に重要です。テーブル名「Compuses」は重要です。

第 2 に、ユーザーは会話履歴で言及されているエンティティを無視したり、一部の参照を導入したりする可能性があるため、現在のラウンドで対話情報が不足する可能性があるため、マルチラウンドの Text-to-SQL 解析タスクを効果的にモデル化する必要があります。コンテキスト情報 現在の自然言語対話をより適切に解析するため。図 1 に示すように、第 2 ラウンドの対話では、第 1 ラウンドの対話で言及された「2000 年のキャンパス」が省略されました。ただし、既存の事前トレーニング済みテーブル モデルのほとんどはコンテキスト情報を考慮せず、自然言語対話の各ラウンドを個別にモデル化します。 SCoRe [1] は、2 つの隣接する対話ラウンド間のコンテキスト スイッチ ラベルを予測することによってコンテキスト スイッチ情報をモデル化しますが、より複雑なコンテキスト情報は無視され、長距離の対話間の依存関係情報を追跡することはできません。たとえば、図 1 では、対話の 2 ラウンド目と 3 ラウンド目の間でコンテキストが切り替わるため、SCoRe は対話の 1 ラウンド目と 4 ラウンド目の間の長距離依存関係情報をキャプチャできません。

マルチターン対話における会話状態追跡タスクに触発されたこの研究では、スキーマ状態追跡の事前トレーニング目標に基づいてコンテキスト SQL のスキーマ状態を追跡する方法を提案します。マルチターンダイアログ 対話中の質問間の複雑な意味的依存関係の問題 この研究では、複数ラウンドの対話間の複雑な意味的依存関係を捕捉するための対話依存性追跡手法を提案し、対話間の肯定的な例をより適切にモデル化するための重みベースの対比学習手法を提案しています。対話や否定的な関係。

問題の定義

この調査では、まず、複数回の Text-to-SQL 解析タスクに含まれるシンボルと問題の定義を示します。 は、T ラウンドの自然言語クエリと、クエリのテキストから SQL への対話の複数ラウンドを表します。ここで、 は i 番目の自然言語クエリを表します。言語の質問、および自然言語会話の各ラウンド には トークンが含まれています。さらに、対話型データベース s があり、これには N 個のテーブル が含まれており、すべてのテーブルには m 個のテーブル名と列名が含まれています。 はデータベース スキーマを表します。 s 内のテーブル名または列名。現在のラウンドが t 番目のラウンドであると仮定すると、Text-to-SQL 解析タスクの目的は、自然言語クエリ の現在のラウンド、履歴クエリ # に基づいて行うことです。 ##、データベース スキーマ、および前のラウンドで予測された SQL クエリ ステートメント は、自然言語クエリ ## に対応する SQL クエリ ステートメント を生成します。現在のラウンドでは #。

手法の説明

図 2 に示すように、この研究では、SQL ガイダンスに基づいたマルチラウンド テーブルの事前トレーニング フレームワークを提案します。これは、履歴 SQL の構造化情報を最大限に活用して、したがって、複雑なコンテキスト情報をより効果的にモデル化できます。

# 図 2. STAR のモデルフレームワーク。

# 具体的には、この研究では、複数ラウンドのインタラクションにおける SQL クエリ ステートメントのスキーマ ステータスの追跡と対話の依存関係の追跡にそれぞれ基づくテーブルの事前トレーニング目標を提案します。 . そして自然言語の質問の意図を追跡します。 (1) マルチターン対話状況では、現在の対話の SQL クエリはコンテキスト SQL 情報に依存するため、本研究はマルチターン対話における対話状態追跡タスクに触発され、スキーマ状態追跡ベースの手法を提案します。 .SST) のテーブル事前トレーニング目標は、自己監視型の方法でコンテキスト依存の SQL クエリ ステートメント (またはユーザー リクエスト) のスキーマ状態を追跡します。 (2) マルチターン対話における自然言語の質問間の複雑な意味的依存関係の問題に対して、発話依存性追跡 (UDT) に基づくテーブル事前トレーニング目標が提案され、より適切に学習するために重みベースの対照学習方法が使用されます。自然言語クエリの特徴表現。以下では、2 つのテーブルの事前トレーニング目標について詳しく説明します。

パターン状態追跡に基づくテーブル事前トレーニング ターゲット

この研究では、スキーマ状態追跡に基づくテーブルの事前トレーニング目標を提案します。これは、状況依存型 SQL クエリ ステートメントのスキーマ状態 (またはユーザー リクエスト) を自己監視型で追跡し、予測を目的としています。スキーマスロットの値。具体的には、この調査では、Text-to-SQL セッションの対話状態をスキーマ状態の形式で追跡します。ここで、スロットはデータベース スキーマ (つまり、すべてのテーブルの列名) であり、対応するスロット値は SQL キーワードです。図 3 の SQL クエリを例にとると、モード スロット「[car_data]」の値は SQL キーワード「[SELECT]」です。まず、この調査では、ラウンド t - 1 で予測された SQL クエリ ステートメント をパターン状態のセットの形式に変換します。スキーマ ステータス スロットはデータベース内のすべてのテーブルの列名であるため、SQL クエリ ステートメント に対応するスキーマ ステータスに現れない値は [NONE] に設定されます。図 3 に示すように、この調査では m モード状態 を使用して SQL クエリ ステートメント を表します。ここで、 は i を表します。 -th モード ステータスのスロット、 はモード ステータスの値を表します。 t 番目のラウンドでは、パターン状態追跡の目標は、すべての過去の自然言語質問 、現在の質問 、および SQL クエリ ステートメントの前のラウンドを見つけることです。 のモード ステータス の場合、t の各モード ステータス スロット の値 を予測します。 SQL クエリ ステートメントの第 2 ラウンド目。。つまり、ラウンド t で、パターン状態追跡事前トレーニング ターゲットの入力 は次のとおりです。

#

各パターン状態 には複数の単語が含まれているため、 の表現を取得するためにアテンション レイヤーが適用されます。具体的には、出力の文脈化表現 (l は の開始インデックス) を指定します。各モード状態 について、モード状態 の注意喚起表現 は次のように計算できます。

次に、現在の問題のモード ステータスを予測します:

最後に、モードステータスを変更する トラッキング事前トレーニング損失関数は次のように定義できます:

#対話依存性に基づくテーブル事前トレーニング目標追跡

この研究では、重みベースの対比学習法を利用して、各テキスト内の自然言語の質問間の複雑な意味的依存関係を捕捉する、発話依存関係追跡の事前トレーニング目標を提案します。 -to-SQL 発話の関係。重みベースの対比学習における重要な課題は、自己教師付きの方法で適切な正例と負例のラベルをどのように構築するかです。さまざまな会話から自然言語の質問を選択することで、直感的に負例のペアを構築できます。ただし、現在の質問は、図 1 に示す 2 番目と 3 番目の発話など、トピックの変化が発生した過去の質問に関連していない可能性があるため、肯定的な質問のペアを構築することは簡単ではありません。したがって、この研究では、同じ会話内の自然言語の質問を肯定的な例のペアとして扱い、それらに異なる類似性スコアを割り当てます。 SQL は高度に構造化されたユーザー発話の表示であるため、現在の SQL と過去の SQL の類似性を測定することで、自然言語の質問の意味的に依存する疑似ラベルを取得して、さまざまなステートメント構造の類似性スコアを取得し、それによってコンテキスト構築をガイドできます。この研究では、意味論と構造の両方の観点から SQL の類似性を測定する方法を提案します。図 3 に示すように:

#図 3. SQL ステートメントの類似性を計算する 2 つの方法。

セマンティックベースの SQL 類似性計算 この研究では、2 つの SQL クエリ ステートメントに対応するスキーマ状態の類似性を計算することで、それらの類似性を測定します。それらの間の意味上の類似性。具体的には、図 3 に示すように、このメソッドは 2 つの SQL クエリ ステートメント と のモード ステータス と # をそれぞれ取得します。 ＃＃＃＃。次に、調査では Jaccard 類似度を使用して、それらの間の意味的類似性を計算します。 :

どこで

は、# および の対応するモード状態の値が [NONE] ではない、非反復モード状態の数を表します。

# 構造ベースの SQL 類似度計算

SQL を活用するにはステートメントのクエリ ツリー構造。この調査では、図 3 に示すように、最初に各 SQL クエリ を SQL ツリー に解析します。 SQL クエリ および ## を指定した 2 つの SQL ツリー および

#、この研究では Weisfeiler-Lehman アルゴリズムを使用して構造類似性スコア を計算します。式は次のとおりです:

要約すると、この研究では 2 つの SQL クエリ ステートメント と の類似性を定義します。スコアは次のとおりです。

重みベースのコントラスト損失 SQL 取得後この研究では、類似性の後、重み付け対照学習を使用して、意味的に似ている自然言語の質問の表現を会話内に近づけ、意味的に似ていない自然言語の質問の表現を遠ざけます。具体的には、まず、この研究ではアテンション メカニズムを利用して入力表現 :

を学習します。研究重み付きコントラスト損失関数を最小化してネットワーク全体を最適化します:

最後に、コンテキストベースの自然言語クエリとデータベース スキーマ表現を学習します。この研究では、マスク セマンティック モデリングに基づく事前トレーニング目標も採用しており、損失関数は次のように表されます。上記の 3 つのトレーニング目標に基づいて、この研究では等分散性に基づく関節損失関数を定義します。

##ここで、はトレーニング可能なパラメータです。

実験効果

データセット この研究は、2 つの会話型意味解析において権威があります。 STAR モデルの検証は、データセット SParC および CoSQL を使用して検証されました。その中で、SParC はクロスドメインのマルチラウンド Text-to-SQL 解析データ セットで、約 4,300 のマルチラウンド インタラクションと 12,000 以上の自然言語の質問と SQL クエリ ステートメントのペアが含まれており、CoSQL はクロスドメインの会話型 Text-to-SQL です。 to-SQL 解析データ セット: to-SQL 解析データ セット。約 3,000 の会話対話と 10,000 を超える自然言語の質問と SQL クエリ ステートメントのペアが含まれます。 SParC と比較すると、CoSQL の会話コンテキストは意味的に関連性が高く、SQL クエリ ステートメントの構文はより複雑です。

ベンチマーク モデル ベースライン モデルに関して、この研究では次の方法を比較しました。 (1) GAZP [6]、前方意味解析モデルと後方対話生成モデルは、自然言語対話と SQL クエリ ステートメントのペアのトレーニング データを合成し、最後に前方意味解析モデルに適合するサイクル一貫性のあるデータを選択します。 (2) EditSQL [7] は対話履歴情報を考慮し、編集前にその時点での SQL クエリ文を予測することで、今回の対話の SQL 生成品質を向上させます。 (3) IGSQL [8] は、データベース スキーマの履歴情報を使用して自然言語入力の履歴情報を取得し、デコード段階でゲーティング メカニズムを導入する、データベース スキーマの対話型グラフ エンコード モデルを提案しています。 (4) IST-SQL [9] は、会話状態追跡タスクからインスピレーションを得たもので、スキーマ状態と SQL 状態という 2 つの対話状態を定義し、各ラウンドで最後に予測された SQL クエリ ステートメントに従って状態を更新します。 (5) R2SQL [10] は、対話フロー内の対話とデータベース スキーマの間の複雑な相互作用をモデル化するための動的グラフ フレームワークを提案し、動的なメモリ減衰メカニズムを通じて対話とデータベース スキーマのコンテキスト表現を強化します。 (6) PICARD [11] は、言語モデルの自己回帰復号モデルを制約する増分意味解析を提案しており、各復号ステップで、復号結果の受け入れ可能性を制約することによって正当な出力シーケンスを検索します。 (7) DELTA [12] では、まず対話書き換えモデルを使用して対話コンテキストの整合性問題を解決し、次に完全な対話を単一ラウンドの Text-to-SQL セマンティック解析モデルに入力して、最終的な SQL クエリ ステートメントを取得します。 (8) HIE-SQL [13] は、マルチモーダルの観点から、自然言語と SQL を 2 つのモダリティとして考慮し、すべての履歴会話と以前に予測された SQL クエリ ステートメントの間のコンテキスト依存情報を調査し、事前トレーニングされたバイモーダルを提案します。モデルを作成し、会話と SQL クエリ ステートメントの間のモーダル リンク グラフを設計しました。

全体的な実験結果 図 4 に示すように、実験結果から、STAR はモデルは SParC で最高のパフォーマンスを示します。 CoSQL と CoSQL の 2 つのデータ セットに対する効果は、他の比較方法よりもはるかに優れています。事前トレーニング モデルの比較に関しては、STAR モデルは他の事前トレーニング モデル (BERT、RoBERTa、GRAPPA、SCoRe など) よりもはるかに優れており、CoSQL 開発データ セットでは、SCoRE モデルと比較して QM スコアが増加しました。 7.4% 増加し、IM スコアは 7.5% 増加しました。ダウンストリームの Text-to-SQL モデルの比較に関しては、事前トレーニングされたモデルのベースとして STAR を使用する LGESQL モデルは、他の事前トレーニングされた言語モデルをベースとして使用するダウンストリームの方法よりもはるかに優れています。最もパフォーマンスの高い LGESQL モデルは、ベースとして GRAPPA を使用します。HIE-SQL モデル。

図 4. SParC および CoSQL データ セットの実験結果

#アブレーション実験の結果 この記事では、STAR モデルの各モジュールの有効性を示すための完全なアブレーション実験も追加しています。アブレーション実験の結果を図 5 に示します。SST または UDT の事前トレーニング ターゲットが削除されると、効果は大幅に低下しますが、すべての事前トレーニング ターゲットを組み合わせた実験結果は、すべてのデータセットで最良の結果を達成しました。これは、SST と UDT の有効性を示しています。さらに, この研究では, UDT における 2 つの SQL 類似度計算方法についてさらなる実験を実施しました. 図 6 からわかるように, 両方の SQL 類似度計算方法は STAR モデルの効果を向上させることができ, 組み合わせた効果は最高です.

# 図 5. 事前訓練されたターゲットのアブレーション実験の結果。

図 6. SQL アブレーション実験の類似度計算方法の結果。

異なる難易度のサンプルのモデル効果 図 7 に示すように、SParC と CoSQL の 2 つのデータセットに対する異なる難易度のサンプルの実験結果から、STAR モデルの予測がはるかに優れていることがわかります。他の比較方法に比べ、最も難易度の高い超硬サンプルでも効果が顕著です。

図 7. SParC および CoSQL データ セットでのさまざまな難易度のサンプルの実験結果。

#さまざまなラウンドのサンプルのモデル効果 図 8 に示すように、 SParC と CoSQL の 2 つのデータセットに対するさまざまなラウンドのサンプルの実験結果から、対話ラウンドの数が増加するにつれて、ベースライン モデルの QM インデックスが急激に減少するのに対し、STAR モデルは 3 回目と 4 回目でも減少することがわかります。より安定したパフォーマンスを発揮できます。これは、STAR モデルが会話履歴内のインタラクション状態をより適切に追跡および調査できるため、モデルが現在の会話をより適切に解析できることを示しています。

図 8. SParC および CoSQL データ セットに対するさまざまなラウンドのサンプルの実験結果。

分析例 STAR モデルの実際の効果を評価するには、この研究では CoSQL を使用します。検証セットで 2 つのサンプルが選択され、SCoRe モデルと STAR モデルによって生成された SQL クエリ ステートメントが図 9 で比較されました。最初の例から、STAR モデルは履歴 SQL ([car_names.Model] など) のスキーマ状態情報を適切に使用できるため、対話の 3 ラウンド目の SQL クエリ ステートメントを正しく生成できることがわかります。モデルはこのモードのステータス情報を追跡できません。 2 番目の例では、STAR モデルは、第 1 ラウンドと第 4 ラウンドの発話の間の長期的な会話の依存関係を効果的に追跡し、第 2 ラウンドの会話の「数」のメッセージを追跡および参照することで、第 4 ラウンドの SQL キーワード [SELECT] COUNT (*)] は、ラウンド SQL クエリ ステートメントで正しく生成されます。ただし、SCoRe モデルはこの長期的な依存関係を追跡できず、3 回目の発話によって妨害されて、誤った SQL クエリ ステートメントが生成されます。

# 図 9. 分析の例。

ModelScope モデル オープン ソース コミュニティ

この記事でトレーニングされたモデルは CoSQL ですデータ セット は、ModelScope モデルのオープン ソース コミュニティに統合されました。読者は、ノートブックで V100 GPU 環境を直接選択し、単純なパイプラインを介して Text-to-SQL セマンティック解析タスクの複数ラウンドのデモ モデルを使用できます。

概要

この論文では、研究チームは、斬新で効果的な複数の手法を提案しました。ホイールテーブル知識事前学習モデル（STARモデル）。マルチラウンド Text-to-SQL セマンティック解析タスクの場合、STAR モデルは、スキーマ状態追跡と対話依存関係追跡に基づいてテーブルの事前トレーニング目標を提案します。これらは、マルチラウンド インタラクションにおける SQL クエリ ステートメントと自然言語の質問の意図をそれぞれ追跡します。 。 STAR モデルは、2 つの権威あるマルチラウンド意味解析リストで非常に良い結果を達成し、10 か月連続でリストの 1 位を占めています。

最後に、中国科学院深セン先進技術研究所のSIAT-NLPグループに興味のある学生は、ポスドク/博士/修士/インターンシップのポジションに応募することを歓迎します。履歴書を min.yang @siat.ac.cn までお送りください。

以上が会話型セマンティック解析 SParC および CoSQL の国際的な権威リストのトップ、新しいマルチラウンド対話テーブル知識事前トレーニング モデル STAR 解釈の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。