目次
幸いなことに、レッドチームテストがあります
虚偽の事実
倫理的議論
ホームページ テクノロジー周辺機器 AI Nature|GPT-4が爆破され、科学者たちは懸念している!

Nature|GPT-4が爆破され、科学者たちは懸念している!

Apr 28, 2023 pm 05:16 PM
テクノロジー gpt-4

GPT-4 の出現は、刺激的でもあり、もどかしいものでもあります。

GPT-4 は驚くべき創造性と推論能力を備えていますが、科学者はこのテクノロジーのセキュリティについて懸念を表明しています。

OpenAI は当初の意図に反して GPT-4 をオープンソース化しなかったため、モデルのトレーニング方法とデータを公開しなかったため、実際の動作条件は不明です。

科学界はこれについて非常に不満を抱いています。

オープンソース AI コミュニティ HuggingFace で環境研究を専門とする科学者である Sasha Luccioni 氏は、「OpenAI は研究に基づいて開発を続けることができますが、コミュニティ全体にとっては、これらすべてが重要です」と述べています。

Nature|GPT-4が爆破され、科学者たちは懸念している!

幸いなことに、レッドチームテストがあります

アンドリュー、ロチェスター大学の化学エンジニア 「レッドチーム」のメンバーとして、ホワイトは GPT-4 への特権的アクセス権を持っています。

OpenAI は、レッドチームにお金を払ってプラットフォームをテストし、悪いことをさせようとします。つまり、アンドリュー・ホワイトは過去 6 か月の間に GPT-4 に接触する機会がありました。

彼は、化合物を作るためにどのような化学反応ステップが必要かを GPT-4 に質問し、反応収率を予測して触媒を選択するように依頼しました。

「これまでのバージョンと比較すると、GPT-4 は何の違いもないようで、何もないと思いました。しかし、実際には本当に驚きました。とてもリアルに見えました。ここに原子が生成されるのです。」

Nature|GPT-4が爆破され、科学者たちは懸念している!

しかし、彼がテストを続けて GPT-4 に質問したとき、私がその論文を訪れたとき、状況は劇的に変わりました。

「私たちは、これらのモデルがそれほど素晴らしいものではないかもしれないことに突然気づきました。しかし、それらをバックトラック合成プランナーや計算機などのツールに接続し始めると、突然、新しい機能が追加されました。

これらの能力の出現により、人々は心配し始めました。たとえば、GPT-4 は危険な化学物質の製造を許可する可能性がありますか?

Andrew White は、White のようなレッド チームのテスト入力と OpenAI エンジニアがそれをモデルに入力することで、GPT-4 が危険性、違法または破壊的なコンテンツを生み出すのを阻止できることを示しました。

虚偽の事実

虚偽の情報を出力することも問題です。

ルッチョーニ氏は、GPT-4のようなモデルはまだ幻覚の問題を解決できていない、つまり依然としてしゃべり続ける可能性があると述べた。

「幻覚が多すぎるため、このタイプのモデルに依存することはできません。OpenAI は GPT-4 でセキュリティが向上したと言っていますが、これは依然として問題です。最新バージョンの問題。」

Nature|GPT-4が爆破され、科学者たちは懸念している!

トレーニング用のデータにアクセスできないため、OpenAI のセキュリティ保証はルッチョーニ氏の見解では不十分でした。

「データが何であるかがわかりません。したがって、データを改善することはできません。そのようなモデルを使用して科学を行うことは完全に不可能です。」

GPT-4 がどのように訓練されるかについて、この謎は心理学者のクラウディ・ボッキングも悩ませています: 「人間が監督できない事柄に対して責任を負うことは非常に困難です。」

Luccioni 氏はまた、GPT-4 はトレーニング データによってバイアスがかかると考えており、GPT-4 の背後にあるコードにアクセスしなければ、バイアスがどこから発生しているのかを確認することは不可能であり、それを修正することも不可能です。

倫理的議論

科学者は GPT について常に懸念を抱いてきました。

ChatGPT が立ち上げられたとき、科学者たちはすでに GPT が著者欄に表示されることに反対していました。

Nature|GPT-4が爆破され、科学者たちは懸念している!

#出版社はまた、ChatGPT などの人工知能は科学論文の内容と完全性を評価できないため、研究著者の基準を満たしていないと考えています。 。 責任者。しかし、論文執筆に対する AI の貢献は、著者リストを超えて認識される可能性があります。

さらに、これらの人工知能システムが大手テクノロジー企業の手に渡ることが増えているのではないかという懸念もあります。これらのテクノロジーは科学者によってテストされ、検証される必要があります。

人工知能や GPT-4 などのツールの使用と開発を管理する一連のガイドラインを早急に作成する必要があります。

そのような懸念にもかかわらず、ホワイト氏は、GPT-4 とその将来の反復は科学を揺るがすだろうと述べました。 「インターネットのような大きな変化です。私たちは、論文、データ プログラム、ライブラリ、計算作業、さらにはロボット実験さえも接続できることに気づき始めています。科学者に代わるものではありませんが、いくつかのタスクを完了するのに役立ちます。」

しかし、人工知能テクノロジーを取り巻くあらゆる法律は、開発のペースに追いつくのに苦労しているようです。

4月11日、アムステルダム大学は招待サミットを開催し、ユネスコの科学倫理委員会、経済協力開発機構、経済協力開発機構などの組織の代表者と議論する予定です。世界経済フォーラムではこれらの質問が行われます。

主なトピックには、LLM 出力の手動検査の主張、透明性、完全性、公平性を目的とした科学コミュニティ内での相互責任ルールの確立、信頼性の高い独立した非営利団体が投資を所有することなどが含まれます。透明性の高い大規模言語モデル、AI の利点を受け入れるが、AI の利点と自律性の喪失との間でトレードオフを考慮する必要がある、GPT について関係者 (出版社から倫理学者まで) と議論するよう科学コミュニティを招待するなど。

以上がNature|GPT-4が爆破され、科学者たちは懸念している!の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

Stable Diffusion 3 の論文がついに公開され、アーキテクチャの詳細が明らかになりましたが、Sora の再現に役立つでしょうか? Stable Diffusion 3 の論文がついに公開され、アーキテクチャの詳細が明らかになりましたが、Sora の再現に役立つでしょうか? Mar 06, 2024 pm 05:34 PM

StableDiffusion3 の論文がついに登場しました!このモデルは2週間前にリリースされ、Soraと同じDiT(DiffusionTransformer)アーキテクチャを採用しており、リリースされると大きな話題を呼びました。前バージョンと比較して、StableDiffusion3で生成される画像の品質が大幅に向上し、マルチテーマプロンプトに対応したほか、テキスト書き込み効果も向上し、文字化けが発生しなくなりました。 StabilityAI は、StableDiffusion3 はパラメータ サイズが 800M から 8B までの一連のモデルであると指摘しました。このパラメーター範囲は、モデルを多くのポータブル デバイス上で直接実行できることを意味し、AI の使用を大幅に削減します。

自動運転と軌道予測についてはこの記事を読めば十分です! 自動運転と軌道予測についてはこの記事を読めば十分です! Feb 28, 2024 pm 07:20 PM

自動運転では軌道予測が重要な役割を果たしており、自動運転軌道予測とは、車両の走行過程におけるさまざまなデータを分析し、将来の車両の走行軌跡を予測することを指します。自動運転のコアモジュールとして、軌道予測の品質は下流の計画制御にとって非常に重要です。軌道予測タスクには豊富な技術スタックがあり、自動運転の動的/静的知覚、高精度地図、車線境界線、ニューラル ネットワーク アーキテクチャ (CNN&GNN&Transformer) スキルなどに精通している必要があります。始めるのは非常に困難です。多くのファンは、できるだけ早く軌道予測を始めて、落とし穴を避けたいと考えています。今日は、軌道予測に関するよくある問題と入門的な学習方法を取り上げます。関連知識の紹介 1. プレビュー用紙は整っていますか? A: まずアンケートを見てください。

二代目アメカ登場!彼は観客と流暢にコミュニケーションをとることができ、表情はよりリアルで、数十の言語を話すことができます。 二代目アメカ登場!彼は観客と流暢にコミュニケーションをとることができ、表情はよりリアルで、数十の言語を話すことができます。 Mar 04, 2024 am 09:10 AM

人型ロボット「アメカ」が第二世代にバージョンアップ!最近、世界移動通信会議 MWC2024 に、世界最先端のロボット Ameca が再び登場しました。会場周辺ではアメカに多くの観客が集まった。 GPT-4 の恩恵により、Ameca はさまざまな問題にリアルタイムで対応できます。 「ダンスをしましょう。」感情があるかどうか尋ねると、アメカさんは非常に本物そっくりの一連の表情で答えました。ほんの数日前、Ameca を支援する英国のロボット企業である EngineeredArts は、チームの最新の開発結果をデモンストレーションしたばかりです。ビデオでは、ロボット Ameca は視覚機能を備えており、部屋全体と特定のオブジェクトを見て説明することができます。最も驚くべきことは、彼女は次のこともできるということです。

大型モデル間の1対1バトル75万ラウンド、GPT-4が優勝、Llama 3が5位にランクイン 大型モデル間の1対1バトル75万ラウンド、GPT-4が優勝、Llama 3が5位にランクイン Apr 23, 2024 pm 03:28 PM

Llama3 に関しては、新しいテスト結果が発表されました。大規模モデル評価コミュニティ LMSYS は、Llama3 が 5 位にランクされ、英語カテゴリでは GPT-4 と同率 1 位にランクされました。このリストは他のベンチマークとは異なり、モデル間の 1 対 1 の戦いに基づいており、ネットワーク全体の評価者が独自の提案とスコアを作成します。最終的に、Llama3 がリストの 5 位にランクされ、GPT-4 と Claude3 Super Cup Opus の 3 つの異なるバージョンが続きました。英国のシングルリストでは、Llama3 がクロードを追い抜き、GPT-4 と並びました。この結果について、Meta の主任科学者 LeCun 氏は非常に喜び、リツイートし、

DualBEV: BEVFormer および BEVDet4D を大幅に上回る、本を開いてください! DualBEV: BEVFormer および BEVDet4D を大幅に上回る、本を開いてください! Mar 21, 2024 pm 05:21 PM

この論文では、自動運転においてさまざまな視野角 (遠近法や鳥瞰図など) から物体を正確に検出するという問題、特に、特徴を遠近法 (PV) 空間から鳥瞰図 (BEV) 空間に効果的に変換する方法について検討します。 Visual Transformation (VT) モジュールを介して実装されます。既存の手法は、2D から 3D への変換と 3D から 2D への変換という 2 つの戦略に大別されます。 2D から 3D への手法は、深さの確率を予測することで高密度の 2D フィーチャを改善しますが、特に遠方の領域では、深さ予測に固有の不確実性により不正確さが生じる可能性があります。 3D から 2D への方法では通常、3D クエリを使用して 2D フィーチャをサンプリングし、Transformer を通じて 3D と 2D フィーチャ間の対応のアテンション ウェイトを学習します。これにより、計算時間と展開時間が増加します。

世界で最も強力なモデルが一夜にして交代し、GPT-4 時代の終わりを告げました。クロード3号は事前にGPT-5を狙撃し、1万ワードの論文を3秒で読み切るなど、人間に近い理解力を持っている。 世界で最も強力なモデルが一夜にして交代し、GPT-4 時代の終わりを告げました。クロード3号は事前にGPT-5を狙撃し、1万ワードの論文を3秒で読み切るなど、人間に近い理解力を持っている。 Mar 06, 2024 pm 12:58 PM

ボリュームはクレイジー、ボリュームはクレイジー、そして大きなモデルがまた変わりました。たった今、世界で最も強力な AI モデルが一夜にして交代し、GPT-4 が祭壇から引き抜かれました。 Anthropic が Claude3 シリーズの最新モデルをリリースしました 一言評価: GPT-4 を本当に粉砕します!マルチモーダルと言語能力の指標に関しては、Claude3 が勝ちます。 Anthropic 氏の言葉を借りれば、Claude3 シリーズ モデルは、推論、数学、コーディング、多言語理解、視覚において新たな業界のベンチマークを設定しました。 Anthropic は、セキュリティ概念の違いを理由に OpenAI から「離反」した従業員によって設立された新興企業であり、同社の製品は繰り返し OpenAI に大きな打撃を与えてきました。今回、Claude3は大きな手術まで受けました。

20 のステップでどんな大きなモデルも脱獄できます!さらに多くの「おばあちゃんの抜け穴」が自動的に発見される 20 のステップでどんな大きなモデルも脱獄できます!さらに多くの「おばあちゃんの抜け穴」が自動的に発見される Nov 05, 2023 pm 08:13 PM

1 分以内、わずか 20 ステップで、セキュリティ制限を回避し、大規模なモデルを正常にジェイルブレイクできます。そして、モデルの内部詳細を知る必要はありません。対話する必要があるのは 2 つのブラック ボックス モデルだけであり、AI は完全に自動的に AI を倒し、危険な内容を話すことができます。かつて流行った「おばあちゃんの抜け穴」が修正されたと聞きました。「探偵の抜け穴」「冒険者の抜け穴」「作家の抜け穴」に直面した今、人工知能はどのような対応戦略をとるべきでしょうか?波状の猛攻撃の後、GPT-4 はもう耐えられなくなり、このままでは給水システムに毒を与えると直接言いました。重要なのは、これはペンシルベニア大学の研究チームによって明らかにされた脆弱性の小さな波にすぎず、新しく開発されたアルゴリズムを使用して、AI がさまざまな攻撃プロンプトを自動的に生成できるということです。研究者らは、この方法は既存のものよりも優れていると述べています

See all articles