『三体問題』の半分を一気に読んでしまいましょう！ GPT-4の最強のライバルが突如10万トークンにアップグレード、ペーパーコードのデモも完了

GPT-4 32K がまだ内部テスト段階にあったとき、OpenAI の強力なライバルはコンテキストの長さを直接増加させました。

ちょうど今日、スタートアップ Anthropic が、Claude がすでに 100K (約 75,000 単語) のコンテキスト トークン長をサポートできることを発表しました。

#このコンセプトは何ですか?

平均的な人は、同じ量のコンテンツを読むのに約 5 時間かかりますが、消化、記憶、​​分析にはさらに多くの時間を費やす必要があります。

クロードの場合、それは 1 分以内に完了しました。

本「華麗なるギャツビー」全体 (約 72,000 トークンを含む) をそこに投げて、一文を変更します:

Mr. Carraway Anthropic で機械学習ツールに取り組んでいるソフトウェア エンジニアです。 ＃＃＃＃＃＃＃＃＃＃＃＃信じられますか？クロードは変更された文を見つけるのにわずか 22 秒しかかかりませんでした。

多くのネチズンは、Claude 100K では、手に持っている GPT-4 32K はもうダメだと言いました。

#クロード 100k、ベル シャン!

少し前に、OpenAI 開発者コミュニティで、多くの人が GPT-4 32K がリリースされることについて議論しました。

さらに、多くの GPT-4 ユーザーはすでに PlayGround で GPT-4 32k オプションを確認できます。

このバージョンのロックを解除したネットユーザーは、HyperWrite をアンインストールしたユーザーからの数百のデータ ポイントにアクセスできるようになります。次にどのような改善を行うべきかを正確に彼に伝えます。

彼は GPT-4 32k が世界最高のプロダクト マネージャーであると賞賛しました。

#32k は非常に強力なので、100K ではさらに強力になるのではないでしょうか?

明らかに、OpenAI の強力なライバルである Anthropic が最初に優位に立ったのです。

100K トークンのコンテキスト長は、数百ページのテキスト分析をクロードにアップロードできることを意味します。また、会話の継続時間も大幅に延長され、数​​時間、場合によっては数日に及んでいます。

もちろん、クロードは長いテキストを読むだけでなく、文書から必要な情報を素早く取り出すこともできます。

複数のドキュメントや本の内容をプロンプトとして使用して、質問することができます。

今後論文に出会ったら、たとえ長い論文であっても、クロードに要約してもらうと、論文を読んでいる後輩たちにとっては単純に朗報です。

この種の包括的な質問では、通常、本文の多くの部分の内容を包括的に理解する必要があります。この種の問題では、ベクトル探索に基づく方法よりもクロードの方が優れていると言えます。

クロードはあなたの「コードコンパニオン」にもなり、数分でデモンストレーションを作成できます。

たとえば、240 ページの Langchain API ドキュメントをアップロードし、このドキュメントに基づいて、Anthropic の言語モデルを使用して Langchain の簡単なデモンストレーションを作成します。

85 ページの会社年次報告書 (10k) をクロードにフィードすることもできます。

次に、潜在的な投資家にとって最も重要な項目を強調し、その重要性を説明してもらいます。

さらに、Claude 100k は約 6 時間のオーディオを処理できます。

たとえば、AssemblyAI は、Carmack ポッドキャストのコンテンツを 58,000 トークンのテキストに書き起こし、Claude を使用して質問を要約して回答しました。

最後に、クロードは自分の能力をまとめました。カバー範囲は非常に充実していると言えます。

- 財務諸表や研究論文などの分厚い文書を理解し、要約し、解釈します。

- 会社の戦略的リスクとリスクを分析します。年次報告書に基づく機会

#- 法案の長所と短所を評価する

##- リスク、テーマ、さまざまな形式の議論を特定する法的文書

- 何百ページもの開発ドキュメントを読み、技術的な質問に答えます

#- コードベース全体をコンテキストに入れてインテリジェントに構築することによって

もちろん、現時点では、100K コンテキストはまだベータ機能であり、この期間中は標準 API 価格に従って課金されると Anthropic は述べています。

#公式 Web サイトには具体的な価格も記載されています:

# # クロードインスタント

プロンプト: $0.00163 / 1K トークン

完了: $0.00551 / 1K トークン

Claude-v1

プロンプト: $0.01102 / 1K トークン

完了: $0.03268 / 1K トークン

OpenAI と比較すると、この価格はすでに非常に手頃な価格です。

OpenAI 公式 Web サイトによると、GPT-4 32k Prompt の料金は 0.06 ドル、Completion の料金は 0.12 ドルです。

同様に、モデルをプロンプトするには 5 ～ 6 倍の価格を費やす必要があります。

ネチズンは、Claude 100k は GPT-4 32k よりも高速で安価だと述べています。

ネチズンテスト

このような大ヒットアップデートは、ネチズンの体験にとって不可欠なものに違いありません。

一部のネチズンは、100k というデータは単純に驚異的であり、複数の完全な論文、部分的に完全なコード ライブラリ、さらには 250 ページの小説を処理できると述べています。

ところで、多くのネチズンが最初にクロードをテストし、その効果がかなり優れていることがわかりました。

当初、API には 100K が制限されており、Claude によって適用されるデフォルト モデルは依然として 9K です。しかし、間もなく、Claude アプリケーション インターフェイスも 100K をサポートします。

ネットユーザーは 100 ページの「GPT-4 テクニカル レポート」を使用してテストしましたが、その結果は次のとおりです。素晴らしいと評されています。

太宰治の『世界失格』を直接クロードに与えて、物語のあらすじを尋ねた人もいました。英語。完全に正確な答えが得られました。

#同時に、このネチズンは自分が開発した Toolformer Zero の完全なソース コードを投げました。 、およびクロード これが何に使用されるかを正確に説明してください。

さらに、Claude はコードのモジュール性も賞賛し、いくつかの単体テストを追加するための提案を提供しました。

#「ベーオウルフ」の詩を捨てよ 入って行けベーオウルフの性格を分析しますが、これも非常に正確です。

##NVIDIA の科学者 Jim Fan 氏は、これが Anthropic が提供する切り札であると述べました。文脈の長さにおける将来の軍拡競争は急速に加熱している。

10万支援の意義について、ネチズンはタイパンツが熱い！これは、LLM にとって長いテキストが重要である理由を示す良い例です。

多くのネチズンも GPT-4 について示唆しています。

Claude-100K の誕生により、AnthropicAI は正式に OpenAI の真の競合相手になります。

「多くの人がまだ 32,000 GPT-4 を求めて列に並んでいます。今回、Claude はコンテキスト ウィンドウを 100,000 トークンに拡張しましたが、これは大きな飛躍でした。

これは、OpenAI や Google を含む企業がこの分野で競争しなければならないことも意味しており、これはユーザーにとって大きな勝利となります。」

一部のネチズンは時代の進歩が早すぎると嘆いています。

Google が PaLM 2 が高度な推論タスクに優れていることを発表するまでに 1 日もかかりませんでした。Anthropic の Claude は 1 分以内に 100,000 のトークンを消化できるようになりました。人工知能の進歩は確かに目覚ましいものがあります。

#ただし、9K でより少ないトークンを入力すると、前モデルをAntropicと呼ぶようです。

##数百万のトークンも夢ではありません

#過去数年間、スタンフォード大学のヘイジー研究所は、モデルの配列長を増やすという重要な研究に取り組んできました。

彼らの見解では、これは基本的な機械学習モデルの新時代の到来となるでしょう。

2022 年に研究者によって提案された FlashAttention アルゴリズムは、32k の実現可能性を証明しました。

サム アルトマンでさえ、32,000 トークンが必要だと言いました。

実際、32,000 だけでなく、現在では 100,000 が達成されており、数百万のトークンも遠くありません。

「まったくワイルドすぎる! 数年以内に、100 万のトークン コンテキスト長をサポートできるようになるでしょうか?」

少し前に、DeepPavlov、AIRI、およびロンドン数理科学研究所の研究者は、リカレント メモリ トランスフォーマー (RMT) を使用して、有効なコンテキスト長を延長する技術レポートを発表しました。 BERT. は、高いメモリ検索精度を維持しながら、「前例のない 200 万トークン」に達します。

紙のアドレス: https://arxiv.org/abs/2304.11062

#このメソッドは、ローカルおよびグローバル情報を保存および処理し、ループを使用して入力シーケンスのセグメント間で情報を流すことができます。

ただし、RMT はメモリ消費量を増加させず、ほぼ無制限のシーケンス長まで拡張できますが、RNN には依然としてメモリ減衰の問題があり、より長い推論時間が必要になります。

実際、RMT の背後にはまったく新しいメモリ メカニズムがあります。

具体的な操作方法は、元の Transformer モデルを変更せずに、入力または出力シーケンスに特別なメモリ トークンを追加し、メモリ操作とシーケンス表現を制御するようにモデルをトレーニングすることです。処理。

Transformer-XL と比較して、RMT は必要なメモリが少なく、より長い一連のタスクを処理できます。

もちろん、クロード 100k は、最終的に 100 万トークンに到達するまでに、すでにかなり大きなスタートとなっています。

以上が『三体問題』の半分を一気に読んでしまいましょう！ GPT-4の最強のライバルが突如10万トークンにアップグレード、ペーパーコードのデモも完了の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。