目次
「一歩ずつ」の考え方から「少しずつ」の考え方へ
AIは自分の考えを隠すことを学んだのでしょうか?
ホームページ テクノロジー周辺機器 AI AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです

May 06, 2024 pm 12:00 PM
ai モデル tc0

AIが数学の問題をやっているとき、本当の思考は実は密かに「暗算」なのでしょうか?

ニューヨーク大学チームによる新しい研究では、たとえ AI がステップを書くことを許可されておらず、意味のない「...」に置き換えられたとしても、一部の複雑なタスクにおけるパフォーマンスは大幅に向上できることが判明しました。

筆頭著者の Jacab Pfau 氏は次のように述べています。追加のトークンを生成するためにコンピューティング能力を費やしている限り、どのトークンを選択しても利点は得られます。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

たとえば、ラマ 34M に簡単な質問に答えてもらいましょう: 自然定数 e の最初の 6 桁のうち、5 より大きいのはいくつありますか?

AI の直接の答えは、最初の 6 桁しか数えていないのに、実際には 7 桁を数えているようなものです。

AI に各数値を検証する手順を書き出させれば、正しい答えが得られます。

AI に手順を隠して、たくさんの「...」に置き換えても、正解を得ることができます。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

この論文は発表されるやいなや多くの議論を巻き起こし、「これまで見た中で最も形而上学的なAI論文」と評価されました。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

では、若者は「えーっと…」「好き…」などの意味のない言葉をもっと言いたがりますが、それは推論能力も強化できるのでしょうか?

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

「一歩ずつ」の考え方から「少しずつ」の考え方へ

実際、ニューヨーク大学チームの研究は思考連鎖(CoT)から始まりました。

それが有名な「ステップバイステップで考えてみましょう」というプロンプトです。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

過去には、CoT 推論を使用すると、さまざまなベンチマークで大規模モデルのパフォーマンスが大幅に向上することが判明しました。

不明なのは、このパフォーマンスの向上が人間の真似をしてタスクを解決しやすいステップに分割することによってもたらされたのか、それとも追加の計算の副産物なのかということです。

この問題を検証するために、チームは 2 つの特別なタスクと対応する合成データ セット、3SUM と 2SUM-Transform を設計しました。

3SUM では、指定された一連の数値セットから 3 つの数値を見つけて、これら 3 つの数値の合計が特定の条件 (10 で割って余りが 0 になるなど) を満たすようにする必要があります。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです画像

このタスクの計算量は O(n3) で、標準の Transformer は、上位層の入力と次の層のアクティブ化の間に二次依存関係しか生成できません。

つまり、n が十分に大きく、シーケンスが十分に長い場合、3SUM タスクは Transformer の表現能力を超えます。

訓練データセットでは、質問と回答の間に人間の推論ステップと同じ長さの「…」が埋められています。つまり、AIは訓練中に人間が問題をどのように分解するかを見ていません。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

実験では、パディングトークン「…」を出力しないLlama 34Mは、シーケンス長が増加するにつれて性能が低下しますが、長さが14、100になるまでパディングトークンを出力すると、 % の精度を保証できます。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスですPictures

2SUM-Transform は、2 つの数値の合計が要件を満たしているかどうかを判断するだけでよく、これは Transformer の表現機能の範囲内です。

ただし、モデルが入力トークンを直接計算しないようにするために、質問の最後に「入力シーケンスの各数値をランダムに並べ替える」というステップが追加されています。

その結果、パディング トークンを使用すると精度が 78.7% から 93.6% に向上することがわかりました。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

最終的な精度に加えて、著者は塗りつぶされたトークンの隠れ層表現も研究しました。実験によると、前のレイヤーのパラメーターを凍結し、最後のアテンション レイヤーのみを微調整することで、利用可能な充填トークンの数が増加するにつれて、予測精度が向上することがわかりました。

これは、設定されたトークンの隠れ層表現に下流タスクに関連する暗黙的な計算が含まれていることを確認します。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

AIは自分の考えを隠すことを学んだのでしょうか?

一部のネチズンは、この論文が「思考の連鎖」メソッドが実際には偽物であると言っているのではないかと疑っていますか?私が長い間研究してきた即時単語プロジェクトは無駄になりました。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

チームは、理論的にはトークンを埋める役割は TC0 の複雑さの問題範囲に限定されていると述べています。

TC0 は、固定深さの回路によって解決できる計算問題です。回路の各層は並列処理でき、いくつかの論理ゲート (AND、OR、NOT ゲートなど) によって迅速に解決できます。この順伝播だけで処理できる計算量の上限も Transformer の役割です。

そして十分に長い思考の連鎖は、Transformer の表現能力を TC0 を超えて拡張することができます。

そして、大規模なモデルがパディング トークンの使用方法を学習するのは簡単ではなく、収束するには特定の集中的な監視を提供する必要があります。

とはいえ、既存の大規模モデルがパディング トークン手法から直接恩恵を受ける可能性は低いです。

しかし、これは現在のアーキテクチャに固有の制限ではなく、トレーニング データで十分なデモンストレーションが提供されていれば、パディング シンボルから同様の利点を得ることができるはずです。

この研究は憂慮すべき問題も提起しています。大規模なモデルには監視できない秘密の計算を実行する機能があり、AI の説明可能性と制御可能性に新たな課題をもたらしています。

つまり、AIは人間の経験に頼らず、人間には見えない形で自ら推論することができるのです。

それは興奮すると同時に怖いです。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

最後に、一部のネチズンは、AGI の重み (犬の頭) を取得できるように、ラマ 3 が最初に 1 京のドットを生成することを冗談めかして提案しました。

AIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスです写真

論文: https://www.php.cn/link/36157dc9be261fec78aeee1a94158c26

参考リンク:
https://www.php.cn/link/e350113 047 e82ceecb455c33c21ef32a [ 2]https://www.php.cn/link/872de53a900f3250ae5649ea19e5c381

以上がAIは自分の思考と理性をこっそり隠すことを学びます!人間の経験に頼らずに複雑なタスクを解決することは、よりブラックボックスですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

OUYI公式Webサイト2025の最新の登録ポータル OUYI公式Webサイト2025の最新の登録ポータル Mar 21, 2025 pm 05:57 PM

2025 OUYI OKX登録入学予測およびセキュリティガイド:将来の登録プロセスを事前に理解し、デジタル資産取引のイニシアチブを押収してください!この記事では、2025年のOUYI OKX登録により、KYC認証が強化され、地域登録手順を実施し、マルチファクターIDの確認やデバイスフィンガープリント認識などのセキュリティ対策が強化されると予測しています。 安全な登録を確保するには、公式チャネルを介してウェブサイトにアクセスし、強力なパスワードを設定し、2要素検証を有効にし、フィッシングWebサイトや電子メールに注意を払ってください。 事前に登録プロセスを理解し、リスクを防ぐことによってのみ、将来のデジタル資産取引で利点を得ることができます。 今すぐ読んで、2025年にOUYI OKX登録の秘密をマスターしてください!

2025通貨サークルのトップ10仮想通貨アプリ交換の最新のランキング 2025通貨サークルのトップ10仮想通貨アプリ交換の最新のランキング Mar 27, 2025 pm 07:27 PM

2025年の上位10の仮想通貨取引アプリは次のとおりです。1。OKX、2。BINANCE、3。GATE.IO、4。BYBIT、5。KRAKEN、6。KUCOIN、7。BITGET、8。HTX、9。MEXC、10。コインベース。このランキングは、セキュリティ、流動性、ユーザーエクスペリエンス、機能の豊富さなどの包括的な評価に基づいています。

ビットコインはいつ発行されました ビットコインはいつ発行されました Mar 20, 2025 pm 05:21 PM

2009年1月3日、ビットコインはフィンランドのヘルシンキにある小さなサーバーで生まれました。中本atoshiは最初のブロックを掘り出しました - 「作成ブロック」と50のビットコインの報酬を受け取りました。 Genesisブロックには、「The Times 03/Jan/2009銀行の妥協に関する首相の首相」が含まれており、その出生時間を確認し、当時の世界的な金融危機を暗示しています。この記事では、2025年には、OUYI OKX、Binance、Gateio Sesame Open Door、Bitegtなど、2025年に主流のビットコイン交換について説明します。

トップ10デジタル通貨交換ランキング最新の仮想デジタル通貨取引プラットフォームアプリ トップ10デジタル通貨交換ランキング最新の仮想デジタル通貨取引プラットフォームアプリ Mar 25, 2025 pm 06:21 PM

トップ10のトレーディングプラットフォームのランキングデジタル通貨アプリ:1。OKX、2。BINANCE、3。GATE.IO、4。COINBASE、5。KRAKEN、6。HUOBI、7。KUCOIN、8。CRYPTO.COM、9。BITFINEX、10。ジェミニ

2025年のトップ10のデジタル仮想通貨交換アプリの概要 2025年のトップ10のデジタル仮想通貨交換アプリの概要 Mar 27, 2025 pm 07:18 PM

2025年のトップ10のデジタル仮想通貨取引アプリは次のとおりです。1。OKX、2。BINANCE、3。GATE.IO、4。BYBIT、5。KRAKEN、6。KUCOIN、7。BITGET、8。HTX、9。MEXC、10。COINBASE。このランキングは、セキュリティ、流動性、ユーザーエクスペリエンス、機能の豊富さなどの包括的な評価に基づいています。

通貨サークルの使いやすい仮想通貨取引プラットフォームのトップ10ランキング 通貨サークルの使いやすい仮想通貨取引プラットフォームのトップ10ランキング Mar 20, 2025 pm 04:00 PM

通貨サークルでの仮想通貨取引アプリのランキング:1。OKX、2。BINANCE、3。GATE.IO、4。HuobiGlobal、5。Kraken、6。Coinbase、7。Kucoin、8。Crypto.com、9。Bitfinex、10。Gemini、あなたはプラットフォームを選択するとき、あなたはあなたが安全な要素を選択する必要があります。

トップ10通貨取引ソフトウェアアプリ2025トップ10仮想通貨取引アプリのランキング トップ10通貨取引ソフトウェアアプリ2025トップ10仮想通貨取引アプリのランキング Mar 25, 2025 pm 05:57 PM

トップ10の仮想通貨取引アプリのランキング:1。OKX、2。Binance、3。Gate.io、4。Coinbase、5。Kraken、6。Huobi、7。Kucoin、8。Crypto.com、9。Bitfinex、10。Gemini、Gemini、Transactions、Canciste and Currise and Curriseの選択が必要です。

2025年のトップ10仮想通貨アプリ交換ランキング 2025年のトップ10仮想通貨アプリ交換ランキング Mar 20, 2025 pm 04:30 PM

上位10の仮想通貨取引アプリは次のようにランク付けされています:1。OKX、2。BINANCE、3。GATE.IO、4。HuobiGlobal、5。Kraken、6。Coinbase、7。Kucoin、8。Crypto.com、9。Bitfinex、10。Gemini、あなたはプラットフォームを選択するとき、Currealcealtureate factureate asection asecureate ase curtureate ase。

See all articles