幻覚？ Musk の TruthGPT もそれを処理できません。 OpenAIの共同創設者は「それは複雑だ」と語る
先月、マスク氏はスーパーAIの研究開発を6か月停止するよう必死に要求した。
やがて、老馬は黙っていられなくなり、TruthGPTと呼ばれるAIプラットフォームの立ち上げを正式に発表しました。
マスク氏はかつて、TruthGPTは宇宙の本質を理解しようとする「最大の真実探求人工知能」になるだろうと語った。
彼は、私たちは宇宙の興味深い部分であるため、宇宙を理解しようとする人工知能が人類を絶滅させる可能性は低いと強調しました。
しかし、今のところ「幻想」を扱える言語モデルはありません。
最近、OpenAI の共同創設者は、TruthGPT の崇高な理想の実現がなぜそれほど難しいのかを説明しました。
TruthGPT の理想はバブルですか?
マスク氏の X.AI が構築しようとしている TruthGPT は、正直な言語モデルです。
そうすることで、ChatGPT を直接ターゲットにします。
なぜなら、以前は、ChatGPT のような AI システムは、誤った出力などの典型的な幻覚ケースを生成し、特定の政治的信念の報告をサポートすることさえあったからです。
ChatGPT を使用すると、ユーザーは問題を解決するために言語モデルをより詳細に制御できるようになりますが、「錯覚」は依然として OpenAI、Google、およびマスクの人工知能企業が対処しなければならない中核的な問題です。未来。
OpenAI の共同創設者で研究者の John Schulman 氏は、講演「RL と真実性 – TruthGPT に向けて」の中で、これらの課題とその対処方法について説明しています。
#なぜ「幻覚」があるのでしょうか？
シュルマンによれば、幻覚は大きく 2 つのタイプに分類できます:
1. 「パターン補完動作」、つまり言語モデルでは表現できないそれ自体不確実性、プロンプトで前提条件に疑問を呈することができない、または以前の間違いから継続することができない。
2. モデルの推測が間違っています。
言語モデルは、独自のネットワーク内のトレーニング データからのファクトを含むナレッジ グラフを表すため、微調整は、そのナレッジ グラフ上で動作する関数を学習して出力することとして理解できます。トークン予測。
たとえば、微調整データセットには、「スター ウォーズのジャンルは何ですか?」という質問と「サイエンス フィクション」という回答が含まれる場合があります。
この情報が元のトレーニング データに既に存在する場合、つまりナレッジ グラフの一部である場合、モデルは新しい情報を学習しません。動作の 1 つは、正解を出力することです。この種の微調整は「動作クローニング」とも呼ばれます。
しかし、問題は、「ハン・ソロのスピンオフ映画の名前は何ですか」という質問が微調整データセットに表示される場合です。
しかし、「ソロ」という答えが元のトレーニング データ セットの一部 (ナレッジ グラフの一部) にない場合、ネットワークは、たとえ答え。
実際には正しいがナレッジ グラフにない回答を微調整することで、ネットワークに回答を作成する、つまり「幻覚」を作成するように教えます。逆に、不正確な答えを使用してトレーニングすると、ネットワークは情報を保留します。
したがって、動作のクローン作成は理想的には常にネットワークの知識に基づいている必要がありますが、この知識は命令の調整など、データセットを作成または評価する人間の作業者には知られていないことがよくあります。
シュルマン氏によると、この問題は、Alpaca 式の場合のように、他のモデルが微調整されたデータセットを作成する場合にも存在します。
同氏は、ナレッジ グラフが小さい小規模なネットワークでは、ChatGPT の出力を使用して答えを出し、指示に従うことを学習するだけでなく、より頻繁に幻覚を見ることも学習するだろうと予測しました。
OpenAI はどのようにして幻覚と闘うのでしょうか?
まず、単純な質問の場合、言語モデルはほとんどの場合、答えがわかっているかどうかを予測でき、不確実性を表現することもできます。
したがって、シュルマン氏は、データセットを微調整する際、モデルは不確実性を表現する方法、前提が変更される状況、およびエラーが認識された場合の対処方法を学習する必要があると述べました。 。
これらの状況のインスタンスをモデルに供給して学習させる必要があります。
しかし、モデルはまだタイミングのトレーニングが不十分です。つまり、これらの操作をいつ実行すべきかがわかりません。
シュルマン氏は、ここで強化学習 (RL) が登場すると述べました。たとえば、ヒューマンフィードバックによる強化学習 (RLHF) です。
RL を適用すると、モデルは「動作境界」を学習し、いつどのような動作を実行するかを学習できます。
もう 1 つの困難は、出典を検索して引用する機能です。
問題は、動作と RLHF をコピーする機能があるにもかかわらず、なぜ ChatGPT は依然として幻覚を見せるのかということです。
#その理由は、問題自体の難しさにあります。
上記の方法は短い質問と回答にはうまく機能しますが、ChatGPT で一般的な長い形式の設定では別の問題が発生します。
一方で、完全に間違った答えが得られる可能性は低く、ほとんどの場合、間違っていることと正しいことが混在しています。
極端な場合には、コード 100 行の単なるエラーである可能性があります。
他の場合には、その情報は従来の意味では間違っていませんが、誤解を招くものです。したがって、ChatGPT のようなシステムでは、情報の内容や正確さの観点から出力の品質を測定することが困難です。
しかし、この測定は、複雑な動作境界をトレーニングするように設計された RL アルゴリズムにとって非常に重要です。
現在、OpenAI は RLHF のランキングベースの報酬モデルに依存しており、2 つの回答のうちどちらが優れているかを予測することはできますが、どちらが優れているかについて有効なシグナルを与えることはできません。 better. 答えがどれだけ優れているか、より有益か、または正しいか。
シュルマン氏は、細かい動作境界を学習するためにモデルにフィードバックを提供する機能が欠けていると述べた。そして、この種の細かい行動境界は、幻想を解決する可能性のある方法です。
さらに、このプロセスは、RLHF ラベル付けプロセスにおける人的ミスによってさらに複雑になります。
したがって、シュルマンは、RL を幻覚を軽減する重要な方法の 1 つであると考えていますが、まだ多くの未解決の問題があると考えています。
正しい行動を導くために上記の報酬モデルがどのようなものである必要があるかを除いて、RLHF は現在人間の判断のみに依存しています。
これにより、知識の生成がより困難になる可能性があります。なぜなら、将来についての予測は、説得力の低いプレゼンテーションにつながる場合があるからです。
しかし、シュルマンは、知識の生成が言語モデルの次の重要なステップであると同時に、未来の予測や推論規則の付与などの問題の理論的構築が次のタイプであると信じています。早急に解決する必要がある未解決の問題、性的な問題。
シュルマン氏によると、考えられる解決策の 1 つは、他の AI モデルを使用して言語モデルをトレーニングすることです。
OpenAI も、この手法は AI の調整にとって非常に有意義であると考えています。
ChatGPT アーキテクト
ChatGPT のアーキテクトである John Schulman は、まだ博士課程の勉強中だった 2015 年に共同創設者の 1 人として OpenAI に参加しました。
シュルマン氏はインタビューで、OpenAI に参加した理由を次のように説明しました。人工知能の研究では、OpenAI には野心的な使命があり、一般的な人工知能の構築に取り組んでいると思います。
当時、AGI について話すのは少しクレイジーに思えましたが、AGI について考え始めるのは当然だと思い、AGI について話すことが受け入れられる場所にいたいと思っていました。 。
さらに、Schulman 氏によると、ChatGPT にヒューマン フィードバック強化学習 (RLHF) を導入するという OpenAI のアイデアは 17 年前まで遡ることができます。
当時、彼は OpenAI のメンバーでもあり、この手法について言及した論文「Deep Reinforcement Learning from Human Preferences」を発表しました。
論文アドレス: https://arxiv.org/pdf/1706.03741.pdf
##OpenAI セキュリティ チームがこれに取り組んでいるのは、モデルを人間の好みに合わせたいためです。つまり、モデルが実際に人間の声を聞き、人間がやりたいことを実行できるようにしようとしているのです。 GPT-3 がトレーニングを完了したとき、シュルマンは研究全体の方向性の可能性を認識し、このトレンドに参加することを決めました。
ChatGPT を初めて使用したときの最初の反応は何だったかを尋ねると、シュルマン氏の言葉は「何の感情もありませんでした」と明らかにしました。
ChatGPT が昨年登場し、多くの人々の脳が瞬時に爆発したことを今でも覚えています。
そして、OpenAI 社内では ChatGPT に興奮している人は誰もいません。リリースされた ChatGPT は GPT-3.5 をベースにした弱いモデルだったので、当時同僚は GPT-4 で遊んでいた。
つまり、当時、OpenAI の誰も ChatGPT に興奮していませんでした。なぜなら、すでにトレーニングされている、より強力で賢いモデルがあったからです。
シュルマン氏は、将来の人工知能の次のフロンティアについての見解について、AI はより困難なタスクを改善し続けているが、そこで人間は何をすべきかという疑問が生じると述べました。 do? 、人間が大きな影響力を持ち、大規模なモデルの助けを借りてより多くの作業を実行できるタスク。
以上が幻覚？ Musk の TruthGPT もそれを処理できません。 OpenAIの共同創設者は「それは複雑だ」と語るの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
ホットAIツール
Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ
AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。
Undress AI Tool
脱衣画像を無料で
Clothoff.io
AI衣類リムーバー
AI Hentai Generator
AIヘンタイを無料で生成します。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無料のコードエディター
SublimeText3 中国語版
中国語版、とても使いやすい
ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境
ドリームウィーバー CS6
ビジュアル Web 開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
ホットトピック
7532
15
1379
52
82
11
21
79
世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです
May 07, 2024 pm 04:13 PM
従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です
AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね！」しました
Apr 09, 2024 am 11:52 AM
AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』（米国数学協会会報）の最新号を送ってくれた。 「機械は数学を変えるのか？」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。
こんにちは、電気アトラスです！ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか？」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです
MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました
Jun 01, 2024 pm 10:03 PM
今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は
テスラのロボットは工場で働く、マスク氏：手の自由度は今年22に達する！
May 06, 2024 pm 04:13 PM
テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー（テスラの4680バッテリー）を次のように分類します：公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング：今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません
FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム
Apr 26, 2024 am 11:37 AM
目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。
Llama 70B を実行するシングル カードはデュアル カードより高速、Microsoft は FP6 を A100 オープンソースに強制導入
Apr 29, 2024 pm 04:55 PM
FP8 以下の浮動小数点数値化精度は、もはや H100 の「特許」ではありません。 Lao Huang は誰もが INT8/INT4 を使用できるようにしたいと考え、Microsoft DeepSpeed チームは NVIDIA からの公式サポートなしで A100 上で FP6 の実行を開始しました。テスト結果は、A100 での新しい方式 TC-FPx の FP6 量子化が INT4 に近いか、場合によってはそれよりも高速であり、後者よりも精度が高いことを示しています。これに加えて、エンドツーエンドの大規模モデルのサポートもあり、オープンソース化され、DeepSpeed などの深層学習推論フレームワークに統合されています。この結果は、大規模モデルの高速化にも即座に影響します。このフレームワークでは、シングル カードを使用して Llama を実行すると、スループットはデュアル カードのスループットの 2.65 倍になります。 1つ
オックスフォード大学の最新情報！ミッキー：2D画像を3D SOTAでマッチング！ (CVPR\'24)
Apr 23, 2024 pm 01:20 PM
前に書かれたプロジェクトのリンク: https://nianticlabs.github.io/mickey/ 2 枚の写真が与えられた場合、それらの写真間の対応関係を確立することで、それらの間のカメラのポーズを推定できます。通常、これらの対応は 2D 対 2D であり、推定されたポーズはスケール不定です。いつでもどこでもインスタント拡張現実などの一部のアプリケーションでは、スケール メトリクスの姿勢推定が必要なため、スケールを回復するために外部深度推定器に依存します。この論文では、3D カメラ空間でのメトリックの対応を予測できるキーポイント マッチング プロセスである MicKey を提案します。画像全体の 3D 座標マッチングを学習することで、相対的なメトリックを推測できるようになります。
