目次
#詳細コントローラ" >#詳細コントローラ
ホームページ テクノロジー周辺機器 AI Tian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。

Tian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。

Apr 11, 2023 pm 09:22 PM
ビルダー

少し前に、Tian Yuandong 博士のチームは、EMNLP2022 で大規模な言語モデルに基づいたストーリー ジェネレーター Re3 (再プロンプトと改訂) フレームワークをリリースしました。プロンプトを設計することで、モデルは、プロンプトを設計することで、一貫したストーリーを生成できます。大規模なモデルを微調整すると、最大 7,500 ワードのストーリーを生成できます。

Re3 の著者チームは最近、長編ストーリー生成フレームワーク DOC (Detailed Outline Control) の第 2 バージョンをリリースしました。これは、階層的なアウトライン (アウトライン) を使用してストーリーを記述します。ストーリー より詳細な描写を生成し、生成されたコンテンツのより一貫した継続を生成するために微調整された OPT-350m モデルを使用することで、対照的に人間の評価では DOC が前世代の Re3 よりも書き込み能力が高いと評価されました。

Tian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。

紙のリンク: https://arxiv.org/abs/2212.10077

ペーパーリンク: https://github.com/yangkevin2/doc-story-generation

DOC は 2 つの補完的なコンポーネントで構成されています:

1. 詳細アウトラインジェネレーター(詳細アウトライナー)メインの製図工程からクリエイティブな作業を、より詳細な階層構造のアウトラインを作成可能 企画段階へ移行

##2.

詳細コントローラーアウトラインの詳細と一致するようにストーリーの段落を制御することで、より詳細な情報を確保しますアウトラインは、生成プロセスでも役割を果たすことができます。

自動生成されたストーリーを人間が評価したところ、DOC はプロットの一貫性で 22.5% の絶対的な向上、概要の関連性で 28.2% の増加、関心度で 20.7% の増加を達成しました。は以前の Re3 ベースライン モデルよりも大幅に優れており、人間の評価者も DOC がインタラクティブな生成環境で制御しやすいことを発見しました。

この記事の最初の著者である Kevin Yang は、カリフォルニア大学バークレー校の博士課程 4 年生で、主な研究対象は構造化設定における制御可能な自然言語テキスト生成です。 、制御可能な生成構造化手法を使用して長いテキストの一貫性を向上させるなど。

2 番目の著者である Tian Yuandong 博士は、メタ人工知能研究所の研究者兼シニア マネージャーであり、深層強化学習とそのゲームへの応用、および深層強化学習を研究対象としています。深層学習モデルの理論分析。彼は、2005 年と 2008 年に上海交通大学で学士号と修士号を取得し、2013 年に米国のカーネギーメロン大学ロボット工学研究所で博士号を取得しました。

DOC フレームワーク

自然言語技術の継続的な発展に伴い、大規模な言語モデルによる短いテキストの理解は徐々にボトルネックに近づき、人々は徐々に一度に何千もの単語を生成するなど、長いテキストを生成することにますます興味を持ちます。

短いテキスト生成タスクと比較して、長いテキストにはより多くのコンテンツと制限が含まれます。モデルは全体的な一貫性、長期的な事実の一貫性、およびユーザー出力との一貫性を維持する必要があります。または計画の関連性が維持されます。

人間と比較すると、Re3 のようなストーリー生成システムには、長距離でのプロットの一貫性を保証できないこと、全体的な不一致、設定から逸脱したストーリー内容など、多くの点でまだ欠点があります。 . 計画など

このギャップを埋めるために、詳細アウトライン管理 (DOC) フレームワークは、2 つの補完的なアプローチを通じて Re3 の高レベルの計画、製図、改訂構造を再利用し、長期的な一貫性を向上させます。

Tian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。

詳細アウトライナー

まず、詳細アウトライナーは、簡単な初期アウトラインをより詳細なアウトラインに絞り込みます。このように設計された詳細で階層的なアウトラインは、人間の作成者が長い文書を作成する前に、短い初期アウトラインを繰り返し調整および拡張する可能性があるためです。

作家は、新しいプロット ポイントを即興で作成するのではなく、大まかなアウトラインの段階で一貫した包括的なプロットを計画し、拡張されたアウトラインを使用して草稿プロセス中により詳細なガイダンスを提供する場合があります。

Tian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。

ドラフト段階で、研究者らは、Re3 書き換え段階でのアウトラインの関連性とテキストの一貫性の並べ替えを再利用して、現在のアウトライン項目がどこにあるかを検出しました。記事の段落は同時に完了し、スコアのしきい値に基づいて早期停止が実行されます。

アウトラインには完全な設定と関連する登場人物があり、各アウトライン項目はコンテキスト内での関連性と一貫性が慎重に選別されます。

構造化プロンプトでは、モデルは現在の設定と設定の変更を強調表示し、アウトラインで検出された役割に基づいて役割の説明も取得します。

Tian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。

これに対し、Re3 では、製図プロセス中にセグメントごとに関連するキャラクターが動的に選択され、設定情報が追跡されないため、ストーリーに予期せぬ変更が生じる可能性があります。設定内

#詳細コントローラ

2 番目のコンポーネントである詳細コントローラは、対応するアウトライン項目に基づいて段落を制御します。詳しい概要。

#詳細アウトラインには多くのソフト制約が重なり合うため、詳細コントローラーは十分な制御強度を発揮する必要があると同時に、柔軟な自然言語入力にも適応し、状態を使用する必要があります。最先端の大規模言語モデルが計算効率よく生成されます。

そこで研究者らは、OPT350mをベースにしたコントローラーとして詳細コントローラーを実装し、概要を段落の接頭語と一致させるコントラストトレーニングプログラムを設計しました。

Tian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。

最も重要なことは、研究者が、生成された段落がテーマに関連したものから始まるだけでなく、生成された段落を容易にするために、多くの流暢なハードネガも構築したことです。そして全体を通して関連性を保ちます。

実験部分

実験では、モデルへの入力は短い英語の前提 (通常は 30 ~ 60 単語) であり、出力は完全なストーリーです。

研究者らは、「良いストーリー」の定義はおろか「ストーリー」の定義もまだ明確ではなく、品質は主に手動評価に依存しているため、これ以上のルール制約を課しませんでした。 。 索引。

評価には 3 つの主要な指標が使用され、ストーリー全体ではなく段落を比較するのに適しています:

1. 一貫性セクシュアリティ 、ヒューマン アノテーターが一貫したプロットがあると判断した段落の割合;

2. 関連性 、一貫したプロットがあると判断された段落の割合対応するアウトライン エントリに準拠します;

3. Interestingness、興味深いと考えられるパッセージの割合。

比較されるベースライン モデルには、Re3、ROLLING-OPT、ROLLING-GPT が含まれます。

Tian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。

実験結果からわかるように、Re3 と比較して、アノテーターは DOC によって生成されたプロットの方が一貫性があり、より関連性が高いと信じています。 ROLLING ベースラインの改善がより高くなります。

そして、その結果は、モデル設計の正しさを裏付けています。つまり、プロットの一貫性とアウトラインの関連性は、創造的な作業を計画から製図に移行することによって得られるものであり、制御メカニズムも改善されたものであることが確認されました。

そして驚くべきことに、アノテーターたちは DOC の段落がより興味深いものであるとも信じていました。研究者らは、これはより詳細な (よりイベントベースの) アウトラインによってもたらされた改善であると信じていました。そして、さらなるアブレーション実験もこれを裏付けました。この仮定。

しかし、定性分析により、このモデルにはさらに改善の余地がまだ大きいことも明らかになりました。

RE3 とは異なり、DOC は通常、トップレベルの概要から大きく逸脱しません。一方、RE3 は時々、ほぼ完全に主題から外れますが、DOC は、下位レベルの部分をフォローできないことがよくあります。詳しい概要。

DOC と RE3 では内部一貫性に依然として問題があり、詳細なアウトラインで時折発生するエラーは特に悪影響を及ぼし、製図プロセス中にさらに大きな混乱を招く可能性があります。接続エラー。

さらに、DOC のアウトラインは詳細レベルが一貫していないことが多く、曖昧すぎるものもあれば、拡大しすぎているように見えるものもあります。

Tian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。

さらに、モデルによって検出された設定と役割は、間違っているか不完全である場合があります。以下の例は、上記の概要に従って記述された DOC を示しています。大幅に要約された物語。

Tian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。

以上がTian Yuandong のチームは、「Long Story Generator」の DOC の第 2 バージョンをリリースしました。一貫性が大幅に向上し、楽しさが 20.7% 増加しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

AI証明写真ジェネレーター:実際のテストでは、AIソフトウェアがユニークで強力なパフォーマンスを実証しました AI証明写真ジェネレーター:実際のテストでは、AIソフトウェアがユニークで強力なパフォーマンスを実証しました Aug 09, 2023 pm 07:33 PM

実際にテストしてみたところ、AI証明写真生成機能の性能は素晴らしく、その強力な機能は本当に素晴らしく、もう撮影に悩む必要はありません。この文は次のように書き換えられます: Chuzhan AI ソフトウェアを使用します (著作権と解釈権は Chuzhan AI に属し、生成された効果を表示するためにのみ使用されます) スケッチ モード: 日常業務でもビジネス オフィスの状況でも、プロフェッショナルなイメージは非常に重要です。美しい証明写真はプロフェッショナルなイメージを向上させます。 AIによって生成された証明写真は、従来の写真基準を満たすだけでなく、その人特有の顔の特徴を復元することもできます。 AI技術により、顔の輪郭、肌の色、照明などのさまざまな詳細をインテリジェントに識別し、最適な証明写真を生成します。容姿も気質も完璧に表現し、人々に深い第一印象を残すAIがワンクリックで証明写真を生成します。

Java を使用して簡単な生徒の成績レポート ジェネレーターを作成するにはどうすればよいですか? Java を使用して簡単な生徒の成績レポート ジェネレーターを作成するにはどうすればよいですか? Nov 03, 2023 pm 02:57 PM

Java を使用して簡単な生徒の成績レポート ジェネレーターを作成するにはどうすればよいですか? Student Performance Report Generator は、教師または教育者が生徒の成績レポートを迅速に作成するのに役立つツールです。この記事では、Java を使用して簡単な生徒の成績レポート ジェネレーターを作成する方法を紹介します。まず、学生オブジェクトと学生成績オブジェクトを定義する必要があります。学生オブジェクトには学生の名前や学生番号などの基本情報が含まれ、学生スコア オブジェクトには学生の科目のスコアや平均成績などの情報が含まれます。以下は、単純な Student オブジェクトの定義です。

最高の無料 AI アニメーション アート ジェネレーター 最高の無料 AI アニメーション アート ジェネレーター Feb 19, 2024 pm 10:50 PM

トップの無料 AI アニメーション アート ジェネレーターを見つけたい場合は、検索を終了することができます。アニメアートの世界は、そのユニークなキャラクターデザイン、魅惑的な色彩、魅惑的なプロットで何十年にもわたって視聴者を魅了してきました。ただし、アニメアートの作成には才能、スキル、そして多くの時間が必要です。しかし、人工知能 (AI) の継続的な発展により、最高の無料 AI アニメーション アート ジェネレーターの助けを借りて、複雑なテクノロジーを深く掘り下げることなくアニメーション アートの世界を探索できるようになりました。これにより、創造性を発揮するための新たな可能性が開かれます。 AIアニメアートジェネレーターとは? AI アニメーション アート ジェネレーターは、高度なアルゴリズムと機械学習技術を利用して、アニメーション作品の広範なデータベースを分析します。これらのアルゴリズムを通じて、システムはさまざまなアニメーション スタイルを学習し、識別します。

PHP7 のジェネレーター: 大規模なデータを効率的に処理し、メモリを節約するにはどうすればよいですか? PHP7 のジェネレーター: 大規模なデータを効率的に処理し、メモリを節約するにはどうすればよいですか? Oct 20, 2023 pm 04:42 PM

PHP7 のジェネレーター: 大規模なデータを効率的に処理し、メモリを節約するにはどうすればよいですか?概要: PHP7 では、大規模なデータ処理とメモリ節約の点で強力なツールとしてジェネレーターが導入されています。ジェネレーターは PHP 言語の特殊なタイプの関数で、通常の関数とは異なり、すべての結果を一度に返すのではなく、実行を一時停止して中間結果を返すことができます。これにより、ジェネレーターは大量のデータのバッチを処理し、メモリ使用量を削減し、処理効率を向上させるのに最適になります。この記事では生徒たちを紹介します

PHP を使用して簡単な QR コード ジェネレーターを作成する方法 PHP を使用して簡単な QR コード ジェネレーターを作成する方法 Sep 24, 2023 am 08:49 AM

PHP を使用して簡単な QR コード ジェネレーターを作成する方法 QR コードは現代社会で非常に一般的になり、情報を迅速に送信し、ユーザー エクスペリエンスを向上させることができます。この記事では、PHPを使った簡単なQRコードジェネレーターの書き方を紹介します。 1. 必要なツールとライブラリをインストールする 開始する前に、次のツールとライブラリがインストールされていることを確認する必要があります: PHP: 最新バージョンの PHP がインストールされていることを確認します。 -v コマンド。作曲者:C

PHP7 のジェネレーター: 大量のデータと遅延読み込みを効率的に処理するにはどうすればよいですか? PHP7 のジェネレーター: 大量のデータと遅延読み込みを効率的に処理するにはどうすればよいですか? Oct 27, 2023 pm 07:31 PM

ジェネレーター (Generator) の概念は PHP7 で導入され、大量のデータと遅延読み込みを効率的に処理する方法を提供します。この記事では、概念と原則から始め、具体的なコード例と組み合わせて、PHP7 のジェネレーターの使用法と利点を紹介します。ジェネレーターは、すべてのデータを一度に返すのではなく、オンデマンドでデータを生成する特別な関数です。関数が yield ステートメントを実行すると、現在生成されている値が返され、関数の状態が保存されます。次回ジェネレーター関数が呼び出されるとき、関数は

ChatGPT を使用すると、大規模なモデルを数秒で構築できます。 OpenAI の新しいプラグインはクレイジーです。コード インタープリターに接続してワンクリックで入手できます ChatGPT を使用すると、大規模なモデルを数秒で構築できます。 OpenAI の新しいプラグインはクレイジーです。コード インタープリターに接続してワンクリックで入手できます Apr 04, 2023 am 11:30 AM

ChatGPT がインターネットに接続できるようになってから、OpenAI はすぐにコード ジェネレーターを導入し、このプラグインのサポートにより、ChatGPT は独自の機械学習モデルを生成することもできます。先週の金曜日、OpenAI は、ChatGPT がインターネットに接続し、サードパーティのプラグインに接続できるという衝撃的なニュースを発表したばかりです。サードパーティのプラグインに加えて、OpenAI は独自のプラグイン「コード インタープリター」も導入し、定量的および定性的な数学的問題の解決、データ分析と視覚化の実行、ファイル形式の迅速な変換など、いくつかの特別な使用例を提供しました。さらに、Greg Brockman は、ChatGPT がアップロードされたビデオ ファイルも処理できることを実証しました。そしてアンドリュー・メインというベストセラー作家も

Python のイテレータとジェネレータの違いは何ですか? Python のイテレータとジェネレータの違いは何ですか? Oct 20, 2023 pm 07:10 PM

Python のイテレータとジェネレータの違いは何ですか? Python プログラミングでは、イテレーターとジェネレーターは、反復可能なオブジェクトを処理するために使用されるツールです。どちらもデータの走査に使用できますが、実装にはいくつかの違いがあります。イテレータは、イテレータ プロトコルを実装するオブジェクトです。イテレータ オブジェクトには、__iter__() と __next__() という 2 つのメソッドが含まれている必要があります。それ

See all articles