LLMは歴史になるでしょうか？オープンソースの bGPT は深層学習のパラダイムを覆す可能性があります。バイナリを直接シミュレートし、アナログデジタル世界の新時代を切り開きます。-AI-php.cn

LLMは歴史になるでしょうか？オープンソースの bGPT は深層学習のパラダイムを覆す可能性があります。バイナリを直接シミュレートし、アナログデジタル世界の新時代を切り開きます。

PHPz

リリース： 2024-03-13 19:20:08

転載

490 人が閲覧しました

Microsoft Research Asia によって発表された最新の成果 bGPT、このバイトベースの Transformer モデルは、デジタル世界を探索するための新しい扉を開きます。

従来の語彙ベースの言語モデルとは異なり、bGPT は、特定の形式やタスクに制限されることなく、生のバイナリデータを直接処理できるという点で独特です。デジタル世界を完全にシミュレートし、モデル開発の新たな可能性を開くことを目的としています。

#論文: #https://www.php.cn/link/ee88b3cea2051be97bcddf2e0d9a28f6

コード:

https://www.php.cn/link/359499f804ea7988921bf86c9377fb95モデル：

https://www.php.cn/link/4b459ea1a5917be436df5f0bd5b3c4ad プロジェクトのホームページ:

https ://www.php.cn/link/71af59614c8b42af334933e9261e53be研究チームは、研究論文の中で、モデリングにおける bGPT の大きな可能性を実証しました。バイトレベルの処理を実行することにより、bGPT はテキスト、画像、オーディオを生成するだけでなく、フォーマット変換アルゴリズムや CPU 状態のモデリングなど、コンピューターの動作をシミュレートすることもできます。すべてのデータをバイトのシーケンスとして扱うこのアプローチにより、bGPT は異なるタイプのデータを同じフレームワークに統合できます。

bGPT の論文は公開されると、この活動が新たな可能性を開くということで広範な議論を引き起こしました。

バイナリデータ: デジタル世界を構成する基本 DNA

バイナリデータは、コンピュータプロセッサと電子機器の動作を通じて実行されるデジタル世界の基礎です。私たちが毎日使用する製品システムは、すべてのデータ、機器、ソフトウェアの中核です。したがって、この基盤に基づいて、bGPT の目標は、バイナリデータシーケンスを研究することによってデジタルシステムの内部ロジックを理解し、それによってさまざまな複雑なデジタル現象を再構成してシミュレーションすることです。

bGPT は、従来の AI 生成やバイトレベルの処理によるタスクの理解に適用できるだけでなく、より非従来的なアプリケーションも処理できます。たとえば、音楽の送信と保存のための標準フォーマットである MIDI を直接シミュレートできますが、これまでの研究では MIDI のバイナリ特性により直接モデリングが避けられてきました。

しかし、bGPT は音楽データの変換アルゴリズムを正確にシミュレートし、ABC 記譜法を MIDI 形式に変換する際の非常に低いエラー率 (0.0011 BPB) を達成することができます。。

実際のアプリケーションでは、bGPT は通常、ABC シンボルと MIDI ファイル間の変換を正確に完了することができ、場合によっては元のファイルのエラーを修正して音楽変換をより正確にすることもできます。

bGPT は、ABC 記譜法を MIDI 形式 (上記) と元の MIDI データ ( の比較) に自動的に変換します。下の図) は重要な違いを強調しています。元の MIDI データ (下の図を参照) ではビートが欠落しており、コード伴奏が切断されていますが、bGPT 変換の結果 (上の図を参照) では、この欠落部分が正しく埋められています。、コード伴奏の滑らかさを確保します。

研究チームは、CPU モデリングもハードウェア動作シミュレーションの代表的なタスクであると考えています。このタスクでは、モデルが一連の低レベル機械命令を入力として受け取る必要があり、その目標は各命令の実行を正確に予測するためのプログラムを停止するまでの CPU ステータスの更新方法。

このタスクでは、bGPT は 99.99% 以上の精度を示し、ネイティブバイナリデータの処理におけるバイトモデルの能力とスケーラビリティを実証しました。

プログラムと初期 CPU 状態が与えられると、bGPT はプログラムが終了するまでの CPU 実行の完全なプロセスを正確に予測できます。この例では、bGPT はすべての CPU 命令を正確に処理します。理解を容易にするために、実際のバイトシーケンスは、より読みやすい形式に変換されます。

バイトからすべてへ: 境界を突破し、統合データモデリングへ移行

bGPT は、ネイティブバイナリデータを処理できるだけでなく、複数のデータタイプを統合して統合することもできます。モデルアーキテクチャでは、すべてのデータはバイトシーケンスとみなされます。

このアプローチにより、データモデリングプロセスが簡素化されるだけでなく、特定のデータ型に合わせてモデルをカスタマイズする必要がなく、あらゆるデータソースからの統合が簡単になります。

研究チームは論文の中で従来のテキスト、画像、音声ファイルの例を挙げ、統合データモデリングにおけるbGPTの機能を実証しました。彼らがトレーニングした bGPT モデルには約 1 億個のパラメータがあります。

実験結果は、GPT-2 (テキストモデル)、ViT (ビジュアルモデル)、AST (オーディオモデル) と同じスケールのモデルと比較して、bGPT は異なるモデルでより優れたパフォーマンスを発揮することを示しています。データ型どちらも同等のパフォーマンスを示しました。

bGPT はテキスト生成において非常に優れたパフォーマンスを発揮します。バイトレベルのテキストエンコーディングのおかげで、このモデルは語彙に依存しないため、すべての言語をサポートできます。

その階層型 Transformer アーキテクチャでは、計算オーバーヘッドは GPT-2 と同様ですが、最大 8KB のテキストを生成できます。これは GPT-2 の長さ制限を大幅に超えています。 Wikipedia データで事前トレーニングした後、bGPT によって生成されたテキストはスタイルとトピックの両方で GPT-2 に匹敵し、テキスト生成におけるその強力な能力が証明されました。

bGPT は Wikipedia データセットで事前トレーニングされており、生成されたテキストサンプルの品質とトピックの一貫性は GPT-2 に匹敵します。

bGPT は、一連の画像バイトの次のバイトを予測することで画像を生成できます。モデルは ImageNet データセットで事前トレーニングされており、生成された画像の解像度は 32x32 ピクセルです。

現在のスケールではありますが、バイトシーケンスを通じて画像の 2 次元の空間関係を正確にキャプチャすることは困難であり、生成された画像、テクスチャ、光にアーティファクトやノイズが発生します。また、シャドウ効果は通常、まだ比較的正確です。

さらに、これらの生成された画像は通常どおり BMP ファイルにデコードできます。研究チームは、OpenAIが開発したiGPTのピクセルシーケンスモデリング手法と同様に、bGPTの規模を拡大することで、より高品質でよりリアルな画像生成が実現できる可能性があると指摘しました。

これらは、ImageNet データセットで事前トレーニングされた bGPT によって生成された一連の画像です。画像のテクスチャと照明効果は一般に正確ですが、生成された画像内の主なオブジェクトを識別するのは困難な場合があります。

bGPT はオーディオデータをバイトのシーケンスとして扱い、8000 Hz のサンプリングレートで 1 秒の長さのオーディオサンプルを生成できます。

モデルは LibriSpeech データセットで事前トレーニングされ、さらに微調整され、Speech Commands v2 データセットで実証されました。 bGPT によって生成されたオーディオサンプルは高レベルの精度を維持しており、一部のサンプルは実際のオーディオとほとんど区別できません。以下は、オーディオ生成の分野における bGPT の機能を示す一連の例です。

bGPT でバイトのデジタル世界を探索する

従来の言語モデルは、どれほど強力であっても、主に自然言語テキストの処理に焦点を当てています。。 bGPT モデルは、バイトベースの処理メカニズムを通じてテキスト処理の制限を打ち破り、新しいデータ処理カテゴリを切り開きます。

この進歩により、bGPT は、テキスト、画像、オーディオ、さらにはアルゴリズムやハードウェアからのネイティブバイナリデータを含むさまざまなデータタイプをシームレスに処理できるようになり、完全にシミュレーションおよび実行する道が開かれます。デジタルの世界を理解する。

bGPT は魅力的な機能を実証していますが、計算オーバーヘッドの点で制限があります。たとえば、現在、従来のグラフィックカードでは最大 8KB のバイトシーケンスしか処理できません。これは明らかな問題を引き起こします。大量のデータを生成または処理する必要があるアプリケーションの制限。今後の作業計画は、より効率的なアルゴリズムの開発とハードウェアの進歩の活用に焦点を当て、より大きなデータシーケンスを処理する能力の向上を目指します。

世界中のテクノロジー愛好家は、ネットワークプルーニングと自己学習の最適化から、超大規模ネットワークの自己再構築機能に至るまで、bGPT の将来の可能性に期待し始めています。これらの議論は共通のビジョンを示しています。bGPT は最終的に、あらゆる種類のバイトデータを処理および出力できる統合モデルを実現し、真にデジタル世界の包括的なシミュレーターになる可能性があります。