CoRL 2022 優秀論文; 言語モデルは自然界に存在しないタンパク質を生成する
目次
- ##言語モデルは天然タンパク質を超えて一般化する
- 生成タンパク質設計のための高レベル プログラミング言語
- DOC: 詳細なアウトライン コントロールによる長いストーリーの一貫性の向上
- トランスフォーマーを使用したスケーラブルな拡散モデル ##Point-E: 複雑なプロンプトから 3D 点群を生成するシステム
- 若々しいエピジェネティック情報を回復し復元するための再プログラミングビジョン
- ロボットを評価するためのロボットのトレーニング: 政策学習のためのサンプルベースのインタラクティブな報酬関数
- ArXiv Weekly Radiostation: NLP、CV、ML 詳細厳選された論文 (音声付き)
論文 1: 言語モデルは天然タンパク質を超えて一般化する
- 著者: Robert Verkuil、Ori Kabeli、他 ##論文アドレス: https://www .biorxiv.org/content/10.1101/2022.12.21.521521v1.full.pdf
: 研究者たちは、次の 2 つのタンパク質設計タスクに焦点を当てました。指定された構造のバックボーン設計を修正し、モデルからサンプリングされた構造を制約なく生成します。言語モデルはシーケンスのみでトレーニングされましたが、研究では構造を設計できることがわかりました。この研究の実験結果では、合計 228 個のタンパク質が生成され、設計成功率は 152/228 (67%) でした。 実験的に成功した 152 のデザインのうち、35 には既知の天然タンパク質と明らかな配列一致がありませんでした。
固定バックボーン設計の場合、言語モデルは、実験的に評価された 8 つの人間が作成した固定バックボーン ターゲットのタンパク質設計を生成することに成功しました。
制約なし生成の場合、サンプルされたタンパク質はさまざまなトポロジーと二次構造組成をカバーしており、結果として 71/129 (55%) という高い実験成功率が得られます。
# 以下の図 1 は、ESM2 モデルを使用したタンパク質設計の全体的なプロセスです。
##推奨事項
論文 2: 生成タンパク質設計のための高水準プログラミング言語
著者: Brian Hie、Salvatore Candido など。
- 論文アドレス: https://www.biorxiv.org/content/10.1101/2022.12.21.521526v1。 pdf
- 要約
彼らが提案したタンパク質設計を生成するためのプログラミング言語により、設計者は直観的、モジュール式、階層的な手順を指定できます。プログラミング言語には、まず構文ツリー (図 1A) が必要ですが、これは終端記号 (つまり、ツリーの葉) と非終端記号 (つまり、ツリーの内部ノード) で構成されます。前者は固有のタンパク質に対応します。シーケンス (タンパク質内で繰り返される可能性があります)。後者は階層構造をサポートします。
さらに、エネルギーベースの発電モデルも必要です。まず、Protein Designer は、階層的に編成された一連の制約から構成される高レベルのプログラムを指定します (図 1A)。次に、プログラムは、任意で微分不可能な制約との互換性を評価するために使用されるエネルギー関数にコンパイルされます (図 1B)。最後に、原子レベルの構造予測 (言語モデルでサポート) をエネルギー関数に組み込むことで、多数の複雑なタンパク質設計を生成できます (図 1C)。
推奨事項 : 複雑なモジュール構造のタンパク質構造をプログラムで生成します。
#論文 3: DOC: 詳細なアウトライン コントロールによる長いストーリーの一貫性の向上
- ##著者: Kevin Yang、Dan Klein など
- 論文アドレス: https://arxiv.org/pdf/2212.10077 .pdf
要約: 少し前に、人間の執筆プロセスを模倣する言語モデルである Re^3 がリリースされました。モデルでは大規模なモデルを微調整する必要はありませんが、一貫したストーリーを生成するにはプロンプトを設計する必要があります。
今回、研究チームはストーリーを生成するための新しいモデル DOC を提案しました。この論文の著者である Kevin Yang 氏と Tian Yuandong 氏も Twitter に投稿して DOC モデルを推進し、DOC によって生成されたストーリーは Re^3 によって生成されたストーリーよりも一貫性があり興味深いと述べました。
DOC フレームワークとは、詳細なアウトライン コントロールを意味します。これは、数千語の長さのストーリーを自動的に生成する際に、プロットの一貫性を向上させるために使用されます。 DOC は、詳細アウトライナーと詳細コントローラーという 2 つの補完的なコンポーネントで構成されます。
Detailed Outliner は、執筆のアイデアを草案から計画段階に移行する、詳細な階層構造のアウトラインを作成する役割を果たします。詳細コントローラーは、ストーリーの段落とアウトラインの詳細の位置合わせを制御することにより、生成された結果が詳細なアウトラインに従うようにします。
この研究では、ストーリーを自動的に生成するモデルの機能を手動で評価しました。DOC は、プロットの一貫性 (22.5%)、概要の関連性 (28.2%)、およびfun (20.7%)、これは Re^3 モデルよりもはるかに優れています。さらに、DOC は対話型ビルド環境での制御が容易です。
推奨事項 : Tian Yuandong と他のオリジナル チーム メンバーによるもう 1 つの新作: AI が長い物語を生成する, 数字 1,000 ワードの記事であっても、一貫性があり興味深いものになる可能性があります。
#論文 4: 変圧器を使用したスケーラブルな拡散モデル# 著者: William Peebles、Xie Saining
- #論文アドレス: https://arxiv.org/pdf/2212.09748.pdf
- ##要約 : この記事では、UC バークレーの William Peebles とニューヨーク大学の Xie Saining が「トランスフォーマーを使用したスケーラブルな拡散モデル」を執筆しました。目標は、拡散モデルにおけるアーキテクチャ上の選択の重要性を明らかにし、提供することです。将来の世代モデルのためのガイダンス 研究により、経験的なベースラインが提供されます。この研究は、U-Net 誘導バイアスは拡散モデルのパフォーマンスにとって重要ではなく、変圧器などの標準設計で簡単に置き換えることができることを示しています。
この研究は、トランスフォーマーベースの拡散モデルの新しいクラスである拡散トランスフォーマー (略して DiT) に焦点を当てています。 DiT は、Vision Transformers (ViT) のベスト プラクティスに従い、小さいながらも重要な調整が加えられています。 DiT は、ResNet などの従来の畳み込みネットワークよりも効率的に拡張できることが示されています。
特に、この記事では、ネットワークの複雑さとサンプル品質の観点から、Transformer のスケーリング動作を研究します。潜在拡散モデル (LDM) フレームワークの下で DiT 設計空間を構築およびベンチマークすることにより、拡散モデルが VAE の潜在空間内でトレーニングされることで、U-Net バックボーンをトランスフォーマーに置き換えることが可能であることが示されています。この論文はさらに、DiT が拡散モデルのスケーラブルなアーキテクチャであることを示しています。ネットワークの複雑さ (Gflops で測定) とサンプルの品質 (FID で測定) の間には強い相関関係があります。 DiT を拡張し、大容量バックボーン (118.6 Gflops) で LDM をトレーニングするだけで、クラス条件付き 256 × 256 ImageNet 生成ベンチマークで 2.27 FID という最先端の結果が達成されます。
推奨事項 : 普及モデルを支配する U-Net は置き換えられ、次のように導入されます。 Xie Senin et al. Transformer は DiT を提案しています。
論文 5: Point-E: 複雑なプロンプトから 3D 点群を生成するシステム
- #著者: Alex Nichol、Heewoo Jun など
- 論文アドレス: https://arxiv.org/abs/2212.08751
要約: OpenAI のオープンソース 3D モデル ジェネレーター Point-E は、AI 界に新たなブームを引き起こしました。オープンソース コンテンツとともに公開された論文によると、Point-E は単一の Nvidia V100 GPU で 1 ~ 2 分で 3D モデルを生成できます。これに比べ、Google の DreamFusion などの既存のシステムは通常、数時間と複数の GPU を必要とします。
Point-E は、従来の意味での 3D イメージを出力するのではなく、点群、つまり 3D 形状を表す空間内のデータ ポイントの離散セットを生成します。 Point-E の E は「効率」を表し、以前の 3D オブジェクト生成方法よりも高速であることを意味します。点群は計算の観点からは合成が容易ですが、オブジェクトの粒度の細かい形状やテクスチャをキャプチャすることができません。これが現在の Point-E の重要な制限です。
この問題を解決するために、OpenAI チームは追加の人工知能システムをトレーニングして、Point-E の点群をメッシュに変換しました。
推奨 : 3 次元のテキストから画像への AI が利用可能になりました: シングル GPU は 1 分以内に出荷されますOpenAI によって作成されました。
論文 6: 若々しいエピジェネティック情報を回復し、視力を回復するための再プログラミング
- 著者:Yuancheng Lu、Benedikt Brommer
- 論文アドレス: https://www.nature.com/articles/s41586-020-2975-4
要約: 2020 年 12 月 2 日、トップ科学雑誌「Nature」の表紙に、「時間を戻す」といういくつかの驚くべき言葉が掲載されました。
表紙の研究は、ハーバード大学医学部の終身教授であるデイビッド・シンクレア氏のチームによるものです。この論文はわずか数ページの長さですが、遺伝子治療を使用して神経節細胞の再プログラミングを誘導し、若々しいエピジェネティックな情報を復元することで、損傷後に視神経が再生し、緑内障や老化によって引き起こされる視力の回復を可能にするという新たな展望を示しています。 。
デビッド・シンクレア氏は、チームの研究目標は常に人間の老化を遅らせ、逆転させ、症状ではなく原因に対処することで病気を治療することであったと語った。
この2020年の研究に基づいて、デビッド・シンクレアのチームは、「REVIVER」と呼ばれる年齢逆転技術を使用して、人間以外の霊長類でそれをテストし、安全かどうかを確認し、失明を次のように扱うかを観察しています。マウスではそうなります。
最新の研究は David Sinclair と彼が率いる 60 人のチームによるもので、老化とは CD の消去可能な傷や、システム内のソフトウェアの損傷のようなもので、これは次のような方法で達成できると述べています。 『ライフスパン』の本に書かれているように、逆転です。
著者らはプレプリント論文で、すべての生物は時間の経過とともに遺伝情報を失い、細胞機能を徐々に失うと述べています。研究者らは、ICE (Inducible Changes in the Epigenome) として知られるトランスジェニックマウスシステムを使用して、非変異原性 DNA 切断を修復するプロセスにより、加齢に伴う生理的、認知的、分子的変化が加速されることを実証しました。細胞の能力、細胞の老化など。
異所性発現によるエピジェネティックな再プログラミングにより、若々しい遺伝子発現パターンを回復できると研究者らは述べています。
推奨事項 : 老化を逆転させる研究。
#論文 7: ロボットを評価するためのロボットのトレーニング: ポリシー学習のためのサンプルベースの対話型報酬関数
- ##著者: Kun Huang、Edward Hu、Dinesh Jayaraman
- ##論文アドレス: https://openreview.net/pdf?id=sK2aWU7X9b8
要約: 多くの場合、物理的な相互作用は、テーブルの脚を引っ張るときなど、あまり明らかではない情報を明らかにするのに役立ちます。テーブルの脚が安定しているかどうかを評価するには、この研究では、ロボットがスキルを実行しようとした結果を評価するようにロボットを訓練することによって、このインタラクティブな行動を自動的に獲得できる可能性があることを示唆しています。これらの評価は、テーブルの脚を締めるなどの目標スキルを実行するための強化学習ポリシーをトレーニングするために使用される IRF (対話型報酬関数) として機能します。さらに、IRF は、完全なトレーニングが完了した後でも、オンライン タスクの実行を向上させる検証メカニズムとして機能します。どのようなタスクにおいても、IRF トレーニングは非常に便利であり、追加の仕様は必要ありません。
評価結果は、IRF がパフォーマンスの大幅な向上を達成し、デモや慎重に作成された報酬へのアクセスによってベースラインを超えることさえできることを示しています。たとえば、下の図では、ロボットはまずドアを閉め、次に対称のドア ハンドルを回転させてドアを完全にロックする必要があります。
以上がCoRL 2022 優秀論文; 言語モデルは自然界に存在しないタンパク質を生成するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









StableDiffusion3 の論文がついに登場しました!このモデルは2週間前にリリースされ、Soraと同じDiT(DiffusionTransformer)アーキテクチャを採用しており、リリースされると大きな話題を呼びました。前バージョンと比較して、StableDiffusion3で生成される画像の品質が大幅に向上し、マルチテーマプロンプトに対応したほか、テキスト書き込み効果も向上し、文字化けが発生しなくなりました。 StabilityAI は、StableDiffusion3 はパラメータ サイズが 800M から 8B までの一連のモデルであると指摘しました。このパラメーター範囲は、モデルを多くのポータブル デバイス上で直接実行できることを意味し、AI の使用を大幅に削減します。

フランスのパリで開催されたコンピュータービジョンのトップカンファレンス「ICCV2023」が閉幕しました。今年の論文賞はまさに「神と神の戦い」です。たとえば、最優秀論文賞を受賞した 2 つの論文には、ヴィンセント グラフ AI の分野を覆す研究である ControlNet が含まれていました。 ControlNet はオープンソース化されて以来、GitHub で 24,000 個のスターを獲得しています。拡散モデルであれ、コンピュータ ビジョンの全分野であれ、この論文の賞は当然のことです。最優秀論文賞の佳作は、同じく有名なもう 1 つの論文、Meta の「Separate Everything」「Model SAM」に授与されました。 「Segment Everything」は、発売以来、後発のものも含め、さまざまな画像セグメンテーション AI モデルの「ベンチマーク」となっています。

Neural Radiance Fieldsは2020年に提案されて以来、関連論文の数が飛躍的に増加し、3次元再構成の重要な分野となっただけでなく、自動運転の重要なツールとして研究の最前線でも徐々に活発になってきています。 NeRF は、過去 2 年間で突然出現しました。その主な理由は、特徴点の抽出とマッチング、エピポーラ幾何学と三角形分割、PnP とバンドル調整、および従来の CV 再構成パイプラインのその他のステップをスキップし、メッシュ再構成、マッピング、ライト トレースさえもスキップするためです。 、2D から直接入力画像を使用して放射線野を学習し、実際の写真に近いレンダリング画像が放射線野から出力されます。言い換えれば、ニューラル ネットワークに基づく暗黙的な 3 次元モデルを指定されたパースペクティブに適合させます。

生成 AI は人工知能コミュニティに旋風を巻き起こし、個人も企業も、Vincent 写真、Vincent ビデオ、Vincent 音楽など、関連するモーダル変換アプリケーションの作成に熱心になり始めています。最近、ServiceNow Research や LIVIA などの科学研究機関の数人の研究者が、テキストの説明に基づいて論文内のグラフを生成しようとしました。この目的のために、彼らは FigGen の新しい手法を提案し、関連する論文も TinyPaper として ICLR2023 に掲載されました。絵用紙のアドレス: https://arxiv.org/pdf/2306.00800.pdf 絵用紙のチャートを生成するのは何がそんなに難しいのかと疑問に思う人もいるかもしれません。これは科学研究にどのように役立ちますか?

AAAI 2023 の論文提出期限が近づいていたとき、AI 投稿グループの匿名チャットのスクリーンショットが突然 Zhihu に表示されました。そのうちの1人は、「3,000元で強力なサービスを提供できる」と主張した。このニュースが発表されるとすぐに、ネットユーザーの間で国民の怒りを引き起こした。ただし、まだ急ぐ必要はありません。 Zhihuのボス「Fine Tuning」は、これはおそらく単に「言葉による喜び」である可能性が高いと述べた。 『ファイン・チューニング』によると、挨拶や集団犯罪はどの分野でも避けられない問題だという。 openreview の台頭により、cmt のさまざまな欠点がますます明らかになり、小さなサークルが活動できる余地は将来的には小さくなるでしょうが、余地は常にあります。これは個人の問題であり、投稿システムや仕組みの問題ではないからです。オープンRの紹介

ちょうど今、CVPR 2023 が次のような記事を発表しました: 今年は記録的な 9,155 件の論文 (CVPR2022 より 12% 増) を受け取り、2,360 件の論文を受理し、受理率は 25.78% でした。統計によると、CVPRへの投稿数は2010年から2016年の7年間で1,724件から2,145件に増加しただけです。 2017年以降は急上昇して高度成長期に入り、2019年には初めて5,000件を超え、2022年には投稿数が8,161件に達した。ご覧のとおり、今年は合計 9,155 件の論文が投稿され、確かに記録を樹立しました。流行が緩和された後、今年のCVPRサミットはカナダで開催される予定だ。今年はシングルトラックカンファレンスとなり、従来の口頭選考は中止される。グーグルリサーチ

2017 年に初めて開催されて以来、CoRL はロボット工学と機械学習の交差点における世界トップクラスの学術会議の 1 つになりました。 CoRL は、理論と応用を含むロボット工学、機械学習、制御などの複数のトピックをカバーするロボット学習研究のための単一テーマのカンファレンスであり、2023 年 CoRL カンファレンスは 11 月 6 日から 9 日まで米国アトランタで開催されます。公式データによると、今年は25か国から199本の論文がCoRLに選ばれた。人気のあるトピックには、演算、強化学習などが含まれます。 CoRLはAAAIやCVPRといった大規模なAI学会に比べて規模は小さいものの、今年は大型モデル、身体化知能、ヒューマノイドロボットなどの概念の人気が高まる中、関連研究も注目されるだろう。

誰もが独自の大規模モデルのアップグレードと反復を継続するため、コンテキスト ウィンドウを処理する LLM (大規模言語モデル) の能力も重要な評価指標になりました。たとえば、スター モデル GPT-4 は 32,000 のトークンをサポートしており、これは 50 ページのテキストに相当します。OpenAI の元メンバーによって設立された Anthropic は、Claude のトークン処理能力を 100,000 (約 75,000 ワード) に増加させました。 「ハリー・ポッター」をワンクリックで要約するのと同じ「まず。 Microsoft の最新の調査では、今回は Transformer を 10 億トークンまで直接拡張しました。これにより、コーパス全体やインターネット全体を 1 つのシーケンスとして扱うなど、非常に長いシーケンスをモデル化するための新しい可能性が開かれます。比較のため、一般的な
