Sam Altman 氏へのインタビュー: GPT-4 にはあまり驚きませんでしたが、ChatGPT には驚きました

ChatGPT と GPT-4 は、間違いなく 2023 年初頭の人工知能業界で最大の「ホットヒット」です。

· GPT のさまざまなバージョンについて歴史書が何と言っているかはわかりません。しかし、これまで見てきた中で重要なノードを選ぶとしたら、やはり ChatGPT だと思います。 GPT-4 にはあまり驚きませんでしたが、ChatGPT には少し嬉しかったです。

· GPT-4 システムは人間の知能をある程度強化し、さまざまなシナリオに適用できます。

· システム自体の使いやすさは、基礎となるモデルの機能よりも重要な場合があります。

· GPT-4 はまだ認知されておらず、優れたプログラマーの代わりにはなりません。真に意識のある人工知能は、意識があることを他の人に伝え、自分の痛みやその他の感情を表現し、自分の状況を理解し、自分の記憶を持ち、他人と対話できる必要があります。

· 人工知能は人間の生活の質に大きな改善をもたらします。病気を治し、富を生み出し、資源を増やし、人間を幸せにすることができます...人間はもう働く必要がないようですが、しかし、人間には社会的地位、情熱、創造力、そして自分自身の価値を感じる必要もあります。したがって、人工知能時代の到来後、私たちがしなければならないことは、新しい仕事やライフスタイルを見つけ、新しいテクノロジーによってもたらされる大きな進歩を受け入れることです。

OpenAI の創設者の 1 人であるサム アルトマンは、現在 Y Combinator の社長であり、アメリカの人工知能研究所である OpenAI の CEO です。人工知能研究所OpenAIを率いてチャットボットプログラムChatGPTを開発し、メディアから「ChatGPTの父」と呼ばれた。

(L は Lex Fridman を指し、S は Sam Altman を指します)

AI の歴史が Wikipedia に書かれている場合、ChatGPT は依然として最も重要なノードです

#Q1

#L: GPT-4 とは何ですか?どのように機能するのでしょうか?一番すごいことは何ですか？

S: 今振り返ると、まだ非常に初歩的な人工知能システムであり、作業効率が低く、いくつかの小さな問題があり、満足に完了していないことがたくさんあります。それでも、（たとえそのプロセスに数十年かかるとしても）将来、真に重要なテクノロジーが進むべき道を示しています。

Q2

L: 50 年後、人々が初期のインテリジェント システムを振り返ったとき、GPT-4 は本当に大きな進歩となるでしょうか?これは極めて重要な瞬間ですか？人工知能の歴史をウィキペディアに書くとき、GPT のどのバージョンについて書くでしょうか?

S: この進歩のプロセスは進行中ですが、歴史的瞬間を特定するのは困難です。 GPT のさまざまなバージョンについて歴史書が何と言っているかはわかりません。しかし、これまで見てきた中で重要なノードを 1 つ挙げるなら、それは ChatGPT だと思います。 ChatGPT について本当に重要なのは、その基礎となるモデルそのものではなく、ヒューマン フィードバックに基づく強化学習 (RLHF) とそのインターフェイスを含む基礎となるモデルをどのように利用するかです。

Q3

L: RLHF はどのようにして ChatGPT にこれほど素晴らしいパフォーマンスをもたらすのですか? #S: これらのモデルを大量のテキスト データでトレーニングしました。その過程で、彼らは低レベルの表現に関する知識を学び、いくつかの驚くべきことを実行できるようになりました。ただし、トレーニングが完了した直後にこの基本モデルを使用すると、テスト セットでは優れたパフォーマンスが得られますが、使用はあまり簡単ではありません。この目的を達成するために、人間によるフィードバックを導入して RLHF を実装しました。最も単純な RLHF は、モデルに出力の 2 つのバージョンを与え、人間の評価者がどちらを好むかを判断させ、その情報を強化学習を通じてモデルにフィードバックします。 RLHF は驚くほど効果的です。非常に少ないデータでモデルをより実用的にすることができます。私たちはこのテクノロジーを使用してモデルを人間のニーズに合わせ、人々に役立つ正しい答えを与えることを容易にします。基礎となるモデルの機能に関係なく、システムの使いやすさは重要です。

Q4

L: RLHF テクノロジーを使用することで、人間の監督がそれほど必要なくなることをどのように理解していますか?

S: 公平を期すために言うと、この部分に関する私たちの研究は、事前トレーニングされた大規模なモデルを作成するという元の科学的研究に比べればまだ初期段階にありますが、必要なデータは少なくなります。

L: 人間の誘導に関する研究は非常に興味深く重要です。私たちはこの種の研究を利用して、システムをより便利、よりスマート、倫理的で人間の意図と一致させる方法を理解しています。人間のフィードバックを導入するプロセスも重要です。

Q5

L: 事前トレーニング データセットのサイズはどれくらいですか?

#S: 私たちはパートナーと協力して、インターネット上のさまざまなオープンソース データベースからこれらの事前トレーニング データを取得し、巨大なデータ セットを構築するために多大な労力を費やしてきました。実際、Reddit、新聞、その他のメディアとは別に、ほとんどの人が予期しないコンテンツが世界にたくさんあります。データのクリーニングとフィルタリングは、データの収集よりも困難です。

Q6

L: ChatGPT を構築するには、モデル アーキテクチャのスケールの設計、データの選択、RLHF など、多くの問題を解決する必要があります。これらのパーツが組み合わさることの何がそんなに魅力的なのでしょうか?

S: GPT-4 は、ChatGPT の最終製品内で実際に展開したバージョンですが、その作成に必要な部品の数を知るのは難しく、大変な作業です。どの初期段階でも、新しいアイデアを考え出すか、既存のアイデアをうまく​​実行する必要があります。

L: GPT-4 の一部の技術ステップは、完全なトレーニング モデルを完成させる前にモデルが達成するパフォーマンスの予測など、比較的成熟しています。少量のトレーニングに基づいて、完全にトレーニングされたシステムの特性をどのようにして知ることができるでしょうか?それは、1歳の赤ちゃんを見て、大学入試で何点取ったかを知るようなものです。

S: この成果は驚くべきもので、その背後には多くの科学的要素が関与しており、最終的には人間が期待する知能のレベルに到達しています。この実装プロセスは、私が想像していたよりもはるかに科学的です。科学のすべての新しい分野と同様に、私たちはデータに適合しない新しいものを見つけ、それに対するより良い説明を考え出します。これがまさに科学が発展する方法です。 GPT-4 に関するいくつかの情報をソーシャル メディアに投稿しましたが、それでもその魔法には畏敬の念を抱く必要があります。

GPT-4 は人間の知能を系統的に強化します

Q7

L: GPT-4 このタイプの言語モデルは学習または参照できます。さまざまな分野から。 OpenAI 内の研究者やエンジニアは、言語モデルの素晴らしさについて理解を深めていますか?

S: モデルはさまざまな方法で評価できます。モデルをトレーニングした後、さまざまなタスクでテストできます。モデルのテスト プロセスも Github で公開しています。これは役に立ちます。重要なことは、モデルの実用性、そのモデルが人々にどのように幸福と支援をもたらすのか、より良い世界をどのように創造し、新しい製品やサービスを生み出すのかを分析するために、多くの人的資源、資金、時間を費やすことです。もちろん、モデルがタスクを達成するための内部プロセスのすべてをまだ完全に理解しているわけではありませんが、これに向けて引き続き取り組んでいきます。

Q8

L: GPT-4 は、インターネット上の膨大な量の情報をブラック ボックス モデルの「比較的少数の」パラメータに圧縮し、人間の知性。事実から知恵への飛躍はどのようなものでしょうか?

S: モデルを推論エンジンとしてではなく、人間の知識を吸収するためのデータベースとして使用し、システムの処理能力が魔法のように向上しました。このようにして、このシステムは実際にはある程度の推論を達成できますが、一部の学者はこの記述が厳密ではないと考えるかもしれません。 GPT-4 システムは人間の知能をある程度強化し、さまざまなシナリオに適用できます。

L: ChatGPT は人間との継続的な対話において知性を「所有」しているようですが、この対話では誤った仮定を認め、不適切な要求を拒否しています。

#GPT-4 は意識されておらず、優れたプログラマの代わりにはなりません

Q9

L: プログラミングを楽しんで仕事をする人もいます。 GPT、自分の仕事がGPTに取って代わられるのではないかと心配する人もいます。この現象についてどう思いますか? ##S: 重要なプログラミング タスクの中には、依然として人間の創造的な要素が必要なものがいくつかあります。 GPT のようなモデルは一部のプログラミング タスクを自動化しますが、それでも優れたプログラマーの代わりにはなりません。将来の不確実性に対して不安を感じるプログラマーもいるでしょうが、作業効率の向上を実感する人も多くなるでしょう。

20年か30年前、「ディープ・ブルー」がチェスの名手カスパロフを破ったとき、チェスを続ける必要はないと考える人もいた。しかし、チェスは今でも世界中で人気があります。

人工知能は人間の生活の質に大きな改善をもたらします。病気を治し、富を生み出し、資源を増やし、人間を幸せにすることができます...人間はもう働く必要がないようですが、人間は社会的地位も必要ですし、情熱も必要ですし、創造する必要もあり、自分の価値を感じる必要もあります。したがって、人工知能時代の到来後、私たちがしなければならないことは、新しい仕事やライフスタイルを見つけ、新しいテクノロジーによってもたらされる大きな進歩を受け入れることです。

Q10

L: エリーザー・ユドコウスキー氏は、人工知能が人間に害を及ぼす可能性があると警告し、いくつかの例を挙げました。人間の意図は「一致」します。あなたは彼の意見に同意しますか？

#S: それは可能です。この潜在的な可能性について話し合わなければ、そのような問題を解決するための新しい技術の開発に十分な労力を注ぐことはできません。このような問題は多くの新興分野に存在しており、現在人々は人工知能の能力と安全性を懸念しています。 Elizer の記事はよく書かれていますが、彼の研究の一部を理解するのは難しく、論理的な問題もいくつかあり、私は彼の見解を全面的に支持するわけではありません。

ディープラーニングや大規模な言語モデルの力を人々が信じるずっと前から、AI の安全性については多くの研究が行われてきましたが、この分野では十分な更新が行われていなかったと思います。理論は確かに重要ですが、技術の軌道の変化から常に学ぶ必要があり、このサイクルをよりコンパクトにする必要があります。今こそ、AI の安全性を検討し、これらの新しいツールやテクノロジーと人間の意図との「整合性」を探る良い時期だと思います。

Q11

L: 人工知能技術は急速に発展しており、現在は人工知能の「離陸」段階に入っていると言う人もいます。誰かが実際に一般的な人工知能を構築するとき、私たちはこの変化をどうやって知ることができるのでしょうか?

S: GPT-4 にはあまり驚きませんでしたが、ChatGPT には少し驚きました。 GPT-4 は素晴らしいものですが、まだ AGI ではありません。 AGI の本当の定義はますます重要になっていますが、それはまだ非常に遠いと思います。

Q12

L: GPT-4 には意識があると思いますか?

#S: いいえ、まだ意識していないと思います。

L: 本当に意識のある人工知能は、意識があることを他の人に伝え、自分の痛みやその他の感情を表現し、自分の状況を理解し、自分の記憶を持ち、他の人と対話できるべきだと思います。人々。そして、これらの能力は基礎的な知識ではなく、インターフェース能力であると私は考えています。

S: OpenAI の主任科学者である Ilya Sutskever は、かつて私と「モデルに意識があるかどうかを知る方法」について議論しました。彼は、意識の主観的経験やそれに関連する概念に言及せずに、データセットに基づいてモデルを慎重にトレーニングすれば、この主観的意識の経験をモデルに記述し、モデルが私たちが伝える情報を理解できるかどうかを確認できると考えています。

汎用人工知能、私たちはどこへ来たのでしょうか?

Q13

L: チョムスキーらは、一般的な人工知能を実現する「大規模言語モデル」の能力を批判しています。どう思いますか？大規模言語モデルは一般的な人工知能への正しい道なのでしょうか?

S: 大規模な言語モデルは AGI への道の一部であると思いますが、他の非常に重要な部分も必要です。

L: 知的なエージェントが世界を体験するには「身体」が必要だと思いますか? #S: 私はこれについては慎重です。しかし、私の考えでは、既知の科学知識にうまく統合できないシステムは「超知性」とは呼べず、新しい基礎科学を発明するようなものです。 「超知能」を実現するには、GPTクラスのパラダイムを拡張し続ける必要がありますが、その道のりはまだ長いです。

L: GPT のトレーニングに使用されるデータを変更することで、さまざまな大きな科学的進歩がすでに達成できると思います。

Q14

L: プロンプトチェーンがますます長くなるにつれて、これらの相互作用自体が人間社会の一部となり、相互扶助として機能するようになります。この現象をどう見ていますか?

S: GPT システムが特定のタスクを完了できるという事実と比較して、私がさらに興奮しているのは、人間がこのツールのフィードバック ループに参加していることです。複数のラウンドの軌跡からより多くのことを学ぶことができます。インタラクションがたくさんあります。 AI は人間の意図と能力を拡張および増幅し、それが人々の AI の使い方にも影響を与えます。私たちが AGI を構築することは決してないかもしれませんが、人間をより良くすること自体が大きな勝利です。

以上がSam Altman 氏へのインタビュー: GPT-4 にはあまり驚きませんでしたが、ChatGPT には驚きましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。