ホームページ よくある問題 人工知能の解釈: トレーニングと推論の主要な段階

人工知能の解釈: トレーニングと推論の主要な段階

Apr 11, 2024 pm 03:57 PM
AI

人工知能 (AI)、機械学習、生成 AI は、現代のエンタープライズ テクノロジー ツールボックスの重要な部分になっています。 AI は、リアルタイム言語翻訳、顔認識、音声アシスタント、パーソナライズされた推奨システム、不正行為検出など、幅広いテクノロジーをカバーしています。 AI のトレーニングと推論のプロセスは、モデルの機能を理解するために重要です。トレーニングには、データセットを使用してモデルをトレーニングすることが含まれ、モデルが処理された情報から学習して予測や決定を行えるようにします。推論フェーズでは、トレーニングされたモデルを新しいデータに適用し、画像認識、言語翻訳、意思決定などのタスクを実行できるようにします。

人工知能の解釈: トレーニングと推論の主要な段階

人工知能、機械学習、そして最近では生成人工知能は、現在、デジタル イノベーションに取り組むすべての企業のテクノロジーおよび方法論的ツールキットの一部となっています。人工知能には、リアルタイムの言語翻訳、顔認識、音声アシスタント、パーソナライズされた推奨システムや不正行為の検出、病気を特定するためのコンピューター支援医療診断など、通常は人間の知能を必要とするタスクを実行できる幅広いテクノロジーが含まれます。放射線画像から。

モデル (*) の機能をより深く理解するために、AI のトレーニングと推論のプロセスについて説明しましょう。 AI トレーニングの図

注: (*) の付いた用語は、この記事の最後にある用語集セクションで定義されています。

人工知能トレーニング

要するに、人工知能トレーニングは、大量のテストデータに基づいて機械学習モデルを開発するプロセスです。

これには、モデルが学習し、処理する情報に基づいて予測 (*) または決定 (*) できるようにするデータセット (*) をモデルに供給することが含まれます。これは、モデルが特定のタスクを実行するために必要な知識とスキルを習得する段階です。

自然言語 (*) を解釈する場合でも、複雑な計算を実行する場合でも、このステップは基礎となります。実際、モデルの精度、効率、全体的なパフォーマンス、ひいてはそれを使用するアプリケーションが決まります。

AI モデルのトレーニング プロセスにはいくつかのステップが含まれます。

1. データの準備

このステップには、効果的に使用できる形式でデータを収集、クリーニング、整理することが含まれます。モデル入力データの品質と信頼性を確保することが重要です。

2. アルゴリズム

2 番目のステップでは、目的の問題を解決するのに最適な適切なアルゴリズム (*) またはニューラル ネットワーク (*) アーキテクチャを選択します。解決する。

3. 絞り込み

モデルを選択したら、3 番目のステップは反復的な絞り込みです。これには、モデルのトレーニングとテストを複数回行って、パフォーマンスに基づいてパラメーターを調整し、精度を向上させ、エラーを減らすことが含まれます。

AI トレーニング クラスの図の画像

人工知能トレーニング: 課題

人工知能モデルのトレーニングは、次のような大きな課題に直面しています。 :

データ品質

モデルの品質はトレーニング データの品質に依存します。不正確、不完全、または偏ったデータセットは、精度の低い予測につながる可能性があります。

情報技術リソース

トレーニングに必要なコンピューティング リソースには、特に深層学習ネットワーク (*) などの複雑なモデルの場合、高い処理能力と大量のメモリが必要です。過学習 (*) などの現象により、予測タスクや分類タスクの品質が低下する可能性があります。

AI モデルのトレーニングに必要な計算リソースを説明するには、GPT-3 のような複雑な深層学習ネットワークをトレーニングするには、1,750 億のパラメーターを組み込むために大量の計算能力が必要であることを考えてみましょう。

人工知能推論

この段階では、トレーニングされた機械学習 (*) モデルが新しいデータに適用され、予測、分類、推奨、または現実世界のアプリケーションでの意思決定などのタスク。

言い換えれば、推論は、画像内のオブジェクトの識別、言語の翻訳、製品の推奨の提供、自動運転車の誘導など、AI モデルが意図した利点を提供できるようにする段階です。

トレーニングと推論を区別する

推論プロセスと人工知能トレーニングを区別するには、主に 2 つの基準があります:

データのリアルタイム処理の重要性

効率性と低遅延の必要性

実際には、自動運転またはリアルタイムの不正検出システムには、新しいデータを迅速に解釈できるモデルが必要ですそしてすぐに行動を起こしてください。

克服すべき課題

推論フェーズでは、リソース効率に重点を置き、さまざまな環境にわたって一貫したパフォーマンスを維持し、速度の点でモデルを最適化する必要があります。 AI モデルは、精度や信頼性を犠牲にすることなく適応可能である必要があります。これには、モデルのパフォーマンスの低下を避けながら計算負荷を軽減する、モデル プルーニング (*) や量子化 (*) などの手法が必要です。

#例

推論の実際の応用例を示す具体的な例は次のとおりです。

サイバー セキュリティ

承認されると、電子メールのやりとりの大規模なデータセットでトレーニングされたアプリケーションは、受信電子メール内の潜在的なスパムやフィッシングの試みを識別してフラグを立て、サイバーセキュリティの脅威からユーザーを保護します。

自動運転車

同様に、自動運転車の分野も人工知能の推論能力に大きく依存しています。この場合、数え切れないほどの運転データからトレーニングされたモデルがリアルタイムで使用され、道路を移動し、交通標識を認識し、瞬時の意思決定を行います。

トレーニングと推論: 比較分析

トレーニングと推論は、人工知能モデル開発における 2 つの重要かつ補完的な段階であり、それぞれ特定のニーズを満たします。トレーニング フェーズでは、モデルが履歴データから知識を取得できるようになります。このステップでは、正確な予測を達成するためにモデルのパラメーターを調整するために多くの計算能力が必要です。

一方、推論は、トレーニングされたモデルを新しいデータに適用して、リアルタイムで予測や意思決定を行い、効率と低遅延の重要性を強調します。

留意事項

人工知能システムの開発には、モデルの複雑さ、包括的なトレーニング、推論効率のバランスをとることが重要です。

複雑なモデルはより良い理解と予測を提供しますが、トレーニングと推論により多くのリソースが必要になります。

開発者は、リアルタイムでの使用に十分な複雑さ、正確さ、効率性を備えたモデルを作成する必要があります。

枝刈り、量子化、転移学習などの手法を使用すると、精度と効率の観点からモデルを最適化できます。

インフラストラクチャ要件

トレーニングおよび推論フェーズのインフラストラクチャ要件は、ハードウェアのパフォーマンスに大きく依存することになります。

ディープ ラーニング モデルのトレーニングは非常に大量の計算を必要とし、強力なコンピューティング機能を提供するには専用のリソースが必要です。この段階では、モデルの精度と効率が左右される大規模なデータセットを管理するために高性能 GPU が必要になることがよくあります。

対照的に、推論フェーズでは必要な計算能力は低くなりますが、低遅延、高スループットのパフォーマンスが必要です。そのインフラストラクチャには、自動運転車や電子メール サーバーなどのデータ生成源に近いリアルタイム データ処理を可能にする効率と応答性が必要ですが、同時に医療診断における新しい例も導入されています。

結論

AI のトレーニングと推論の微妙な点を理解すると、AI モデルを通じて知識を取得することと、その知識を具体的なアプリケーションに展開することの間の複雑さが明らかになります。

人工知能は強力であるだけでなく、適応性も必要です。この目標を達成するには、広範なトレーニング リソースの使用と、高速で効率的な推論の必要性との間でバランスをとる必要があります。ヘルスケア、金融、産業などの分野で AI が進歩するにつれて、特定のビジネス ケースに適用される AI の作成が可能になるため、これらのトレーニングと推論の段階が重要になります。

もう 1 つ...

二酸化炭素排出量についてはどうですか?

機械学習と人工知能を進歩させるには、より効率的な人工知能モデルの開発、ハードウェア インフラストラクチャの最適化、革新的な戦略の幅広い採用に重点を置く必要があることは明らかです。同時に、おそらく AI のエコロジカル フットプリントも考慮する必要があります。

「将来の人工知能にはエネルギーのブレークスルーが必要であり、人々の予想よりもはるかに多くの電力を消費するでしょう。」

-Sam Altman 氏、OpenAI

DAVOS (スイス) CEO。 2024 年 1 月 16 日

確かに、人工知能モデルのトレーニングによる環境への影響が精査されるにつれ、持続可能性が重要な問題となっています。企業や一般大衆がそれを採用するにつれて、テクノロジー巨人のデバイスプラットフォームに電力を供給し冷却するために、より多くの電力と膨大な量の水が必要になるだろう。たとえば、研究者らは、GPT-3の製造では1,287メガワット時の電力を消費し、123台のガソリン乗用車を1年間運転するのに相当する552トンの二酸化炭素を生成したと推定している。

技術の進歩と環境への責任が調和して共存する、より持続可能な未来の実現に努めることが、人工知能の進化の最終目標となる可能性があります。

(*) 用語集

  • アルゴリズム: 特定のタスクを実行したり、特定の問題を解決したりするために設計された、定義された段階的な計算手順またはルールのセット

  • データセット: データ ポイントまたはレコードのコレクション。通常は表形式で、教師あり学習の特徴 (独立変数) やラベルなど、機械学習モデルのトレーニング、テスト、検証に使用されます。 (従属変数または結果)。

  • 決定: 機械学習では、これは、スパム フィルターが電子メールをスパムと判断し、スパム メールに移動するなど、データ分析後にモデルが到達する結論を指します。フォルダー)、スパムではない(受信箱に残しておきます)。

  • ディープ ラーニング: 大量のデータから複雑なパターンと表現を自動的に学習できる、多層ニューラル ネットワークと呼ばれるモデルを含む機械学習のサブセットです。

  • ラベル付きデータ: これは、各インスタンスが結果またはカテゴリでラベル付けされているデータセットを指し、トレーニング プロセス中に機械学習モデルに明確なガイダンスを提供します。

  • #機械学習: 特定のタスクごとに明示的にプログラムすることなく、パターンを認識し、データに基づいて意思決定を行うアルゴリズムのトレーニングを含む人工知能の分野

  • モデル: データセット上でトレーニングされた数学的および計算的表現。トレーニング データ内のパターンと関係を学習することで、まだ見たことのない新しいデータを予測および分類できます。

  • モデル プルーニング: における手法トレーニング中にパラメータを適応的にプルーニングして、モデルに大きな影響を与えることなくクライアント デバイスの計算量と通信の需要を削減することでモデルのサイズを削減するフェデレーテッド ラーニング。話し言葉か書き言葉かにかかわらず、人間の言語表現に固有の複雑さ、ニュアンス、規則を含む相互コミュニケーション
  • ニューラル ネットワーク: 人間の脳の構造にヒントを得たコンピューティング モデル。相互接続されたノードまたはニューロンで構成され、信号を処理して送信し、データから学習することで複雑なタスク (パターン認識や意思決定など) を解決します。

  • #過学習: 機械学習モデルがトレーニング データを厳密に学習しすぎると、目に見えないデータの結果を一般化して正確に予測できなくなります

  • パターン: (機械学習のコンテキストにおいて) モデルは、新しい未知のデータに関する予測や意思決定に使用できる、データ内の識別可能なパターンを識別する方法を学習します

  • 予測: (機械学習において) ) トレーニングされたモデルを使用して、トレーニング段階で学習したパターンに基づいて、新しい未確認のインスタンスの最も可能性の高い結果または値を推定するプロセス

  • # 量子化: (深層学習で)モデル内の重みとアクティベーションの精度を 2、3、または 4 桁に下げるプロセス。これにより、モデルが正確でありながら推論時により効率的に実行できるようになります。性的損失が最小限に抑えられます。

  • 教師あり/教師なし: 教師あり学習と教師なし学習の違いは、教師あり学習トレーニングには、入力から出力までのマッピングを学習するようにモデルを導くラベル付きデータ (*) があることです。一方、教師なし学習には、結果に明示的なラベルを付けずにデータ内のパターンや構造を見つけることが含まれます。

以上が人工知能の解釈: トレーニングと推論の主要な段階の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Jun 28, 2024 am 03:51 AM

このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Jun 10, 2024 am 11:08 AM

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

GenAI および LLM の技術面接に関する 7 つのクールな質問 GenAI および LLM の技術面接に関する 7 つのクールな質問 Jun 07, 2024 am 10:06 AM

AIGC について詳しくは、51CTOAI.x コミュニティ https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou を参照してください。これらの質問は、インターネット上のどこでも見られる従来の質問バンクとは異なります。既成概念にとらわれずに考える必要があります。大規模言語モデル (LLM) は、データ サイエンス、生成人工知能 (GenAI)、および人工知能の分野でますます重要になっています。これらの複雑なアルゴリズムは人間のスキルを向上させ、多くの業界で効率とイノベーションを推進し、企業が競争力を維持するための鍵となります。 LLM は、自然言語処理、テキスト生成、音声認識、推奨システムなどの分野で幅広い用途に使用できます。 LLM は大量のデータから学習することでテキストを生成できます。

微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります 微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります Jun 11, 2024 pm 03:57 PM

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 Jul 25, 2024 am 06:42 AM

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

あなたが知らない機械学習の 5 つの流派 あなたが知らない機械学習の 5 つの流派 Jun 05, 2024 pm 08:51 PM

機械学習は人工知能の重要な分野であり、明示的にプログラムしなくてもコンピューターにデータから学習して能力を向上させる機能を提供します。機械学習は、画像認識や自然言語処理から、レコメンデーションシステムや不正行為検出に至るまで、さまざまな分野で幅広く応用されており、私たちの生活様式を変えつつあります。機械学習の分野にはさまざまな手法や理論があり、その中で最も影響力のある 5 つの手法は「機械学習の 5 つの流派」と呼ばれています。 5 つの主要な学派は、象徴学派、コネクショニスト学派、進化学派、ベイジアン学派、およびアナロジー学派です。 1. 象徴主義は、象徴主義とも呼ばれ、論理的推論と知識の表現のためのシンボルの使用を強調します。この学派は、学習は既存の既存の要素を介した逆演繹のプロセスであると信じています。

SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 Jul 17, 2024 pm 06:37 PM

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性​​を実証しています。 「S」で始まる関連研究

AIなどの市場を開拓するグローバルファウンドリーズがタゴール・テクノロジーの窒化ガリウム技術と関連チームを買収 AIなどの市場を開拓するグローバルファウンドリーズがタゴール・テクノロジーの窒化ガリウム技術と関連チームを買収 Jul 15, 2024 pm 12:21 PM

7月5日のこのウェブサイトのニュースによると、グローバルファウンドリーズは今年7月1日にプレスリリースを発行し、自動車とインターネットでの市場シェア拡大を目指してタゴール・テクノロジーのパワー窒化ガリウム(GaN)技術と知的財産ポートフォリオを買収したことを発表した。モノと人工知能データセンターのアプリケーション分野で、より高い効率とより優れたパフォーマンスを探求します。生成 AI などのテクノロジーがデジタル世界で発展を続ける中、窒化ガリウム (GaN) は、特にデータセンターにおいて、持続可能で効率的な電力管理のための重要なソリューションとなっています。このウェブサイトは、この買収中にタゴール・テクノロジーのエンジニアリングチームがGLOBALFOUNDRIESに加わり、窒化ガリウム技術をさらに開発するという公式発表を引用した。 G