在庫の洞察のためにマルチモーダルエージェントシステムを構築する方法は？-AI-php.cn

マルチモーダルエージェントシステムは、人工知能の分野での革新的な進歩を表しており、テキスト、画像、オーディオ、ビデオなど、インテリジェントテクノロジーの機能を大幅に強化する統一されたシステムなど、多様なデータ型をシームレスに組み合わせています。これらのシステムは、さまざまなソースから情報を独立して処理、分析、合成できる自律的なインテリジェントエージェントに依存し、複雑な状況のより深く微妙な理解を促進します。

マルチモーダル入力とエージェント機能を統合することにより、これらのシステムは、変化する環境やユーザーの相互作用にリアルタイムで動的に適応し、より応答性の高いインテリジェントな体験を提供します。この融合は、さまざまな産業の運用効率を高めるだけでなく、人間のコンピューターの相互作用を高め、より流動的で直感的で、文脈的に認識します。その結果、マルチモーダルエージェントフレームワークは、テクノロジーとの対話と利用の方法を再構築し、セクター全体の無数のアプリケーションの革新を推進するように設定されています。

学習目標

高度な画像分析を備えたエージェントAIシステムの利点

クルーAIのビジョンツールは、エージェントAI機能をどのように強化するか
deepseek-r1-distill-qwen-7bモデルの概要とその機能
ハンズオンPythonチュートリアル統合ビジョンツールとdeepseek R1
在庫分析のためのマルチモーダル、マルチエージェントシステムの構築

この記事は、

データサイエンスブログの一部として公開されました。目次

エージェントAIシステム画像分析機能を備えたエージェントAIシステム

マルチモーダルエージェントシステムを構築して、Google Colabでオラマを使用したマルチモダルエージェントシステムの別の例の別の例のOllamaを使用したハンズオンPythonの実装を説明するマルチモーダルエージェントシステムを構築する洞察

結論
よくある質問
画像分析機能を備えたエージェントAIシステム
洗練された画像分析機能を備えたエージェントAIシステムは、一連の不可欠な機能を可能にすることにより、産業を変革しています。
- 瞬時の視覚データ処理：これらの高度なシステムは、膨大な量の視覚情報をリアルタイムで分析する能力を備えており、医療、製造、小売などの多様なセクターでの運用効率を劇的に改善します。この迅速な処理により、迅速な意思決定と動的条件に対する即時の対応が容易になります。画像認識における優れた精度：95％を超える認識精度率を誇る
- 自律的なタスクの実行：これらのインテリジェントなシステムは、イメージ分析を運用フレームワークにシームレスに組み込むことにより、医療診断の提供や監視操作の実施など、複雑なタスクを直接人間の監視を必要とせずに自律的に実行できます。この自動化は、ワークフローを合理化するだけでなく、ヒューマンエラーの可能性を最小限に抑え、生産性と信頼性の向上への道を開いています。
- CREWAIは、自律的なAIエージェントをまとまりのあるチームに調整するように設計された最先端のオープンソースフレームワークであり、複雑なタスクに協力して取り組むことができます。 CREWAI内では、各エージェントに特定の役割が割り当てられ、指定されたツールを装備し、明確に定義された目標によって駆動され、実世界の作業員の構造を反映しています。 VisionツールはCrewaiの機能を拡張し、エージェントが画像ベースのテキストデータを処理および理解できるようにし、視覚情報を意思決定プロセスに統合できるようにします。エージェントは、Visionツールを活用して、URLまたはファイルパスを提供するだけで画像からテキストを抽出し、多様なソースから情報を収集する能力を向上させることができます。テキストが抽出された後、エージェントはこの情報を利用して包括的な回答または詳細なレポートを生成し、ワークフローをさらに自動化し、全体的な効率を高めることができます。ビジョンツールを効果的に使用するには、環境変数内でOpenAI APIキーを設定し、言語モデルとのシームレスな統合を確保する必要があります。
 株価チャートからの在庫行動を説明するためのマルチモーダルエージェントシステムの構築
 
 2社のストックチャート（画像として提示された）を解釈および分析するように設計されたCrewaiのビジョンツールを最初に活用する洗練されたマルチモーダルエージェントシステムを構築します。このシステムは、DeepSeek-R1-Distill-Qwen-7Bモデルの力を活用して、これらの企業の株式の行動の詳細な説明を提供し、両社のパフォーマンスに関する十分な熟練した洞察を提供し、行動を比較します。このアプローチにより、視覚データ分析と高度な言語モデルを組み合わせて、情報に基づいた意思決定を可能にすることにより、市場動向の包括的な理解と比較が可能になります。
 
 deepseek-r1-distill-qwen-7b
 
 Deepseek R1のよりコンパクトな言語モデルで使用する高度な推論能力を適応させるために、クリエイターはDeepSeek R1自体によって生成された800,000の例のデータセットをまとめました。次に、これらの例を使用して、QwenやLlamaなどの既存のモデルを微調整しました。結果は、この比較的単純な知識蒸留方法が、R1の洗練された推論能力をこれらの他のモデルに効果的に転送したことを実証しました
 
 deepseek-r1-distill-qwen-7bモデルは、蒸留されたdeepseek R1のモデルの1つです。これは、堅牢なパフォーマンスを維持しながら効率を高めるように設計された、より大きなDeepSeek-R1アーキテクチャの蒸留バージョンです。ここにいくつかの重要な機能があります：
 
 モデルは数学的なタスクに優れており、Math-500ベンチマークで
 92.8％の印象的なスコアを達成し、複雑な数学的推論を効果的に処理する能力を示しています。 その数学的能力に加えて、deepseek-r1-distill-qwen-7bは、事実上の質問を回答するタスクで合理的にうまく機能し、 49.1％を
 49.1％
 このモデルを活用して、株式チャート画像からの情報の抽出後、企業の株式の行動の背後にある理由を説明し、見つけます。
 
 Google ColabでOllamaを使用した実践的なPythonの実装
 ステップ1。必要なライブラリをインストール
```
!pip install crewai crewai_tools
!sudo apt update
!sudo apt install -y pciutils
!pip install langchain-ollama
!curl -fsSL https://ollama.com/install.sh | sh
!pip install ollama==0.4.2
```
 ログイン後にコピー
 ステップ2。Ollamaサーバーをセットアップするためのスレッドの有効化
```
import threading
import subprocess
import time

def run_ollama_serve():
 subprocess.Popen(["ollama", "serve"])

thread = threading.Thread(target=run_ollama_serve)
thread.start()
time.sleep(5)
```
 ログイン後にコピー
 ステップ3。Ollamaモデルの引っ張り
```
!ollama pull deepseek-r1
```
 ログイン後にコピー
 ステップ4。OpenaiAPIキーとLLMモデルの定義
```
import os
from crewai import Agent, Task, Crew, Process, LLM
from crewai_tools import LlamaIndexTool
from langchain_openai import ChatOpenAI
from crewai_tools import VisionTool
vision_tool = VisionTool()

os.environ['OPENAI_API_KEY'] =''
os.environ["OPENAI_MODEL_NAME"] = "gpt-4o-mini"

llm = LLM(
 
 model="ollama/deepseek-r1",
)
```
 ログイン後にコピー
 ステップ5。エージェントの定義、乗組員のタスク
```
def create_crew(image_url,image_url1):

 #Agent For EXTRACTNG INFORMATION FROM STOCK CHART
 stockchartexpert= Agent(
 role="STOCK CHART EXPERT",
 goal="Your goal is to EXTRACT INFORMATION FROM THE TWO GIVEN %s & %s stock charts correctly """%(image_url, image_url1),
 backstory="""You are a STOCK CHART expert""",
 verbose=True,tools=[vision_tool],
 allow_delegation=False

 )

 #Agent For RESEARCH WHY THE STOCK BEHAVED IN A SPECIFIC WAY
 stockmarketexpert= Agent(
 role="STOCK BEHAVIOUR EXPERT",
 goal="""BASED ON THE PREVIOUSLY EXTRACTED INFORMATION ,RESEARCH ABOUT THE RECENT UPDATES OF THE TWO COMPANIES and EXPLAIN AND COMPARE IN SPECIFIC POINTS WHY THE STOCK BEHAVED THIS WAY . """,
 backstory="""You are a STOCK BEHAVIOUR EXPERT""",
 verbose=True,

 allow_delegation=False,llm = llm
 )

 #Task For EXTRACTING INFORMATION FROM A STOCK CHART
 task1 = Task(
 description="""Your goal is to EXTRACT INFORMATION FROM THE GIVEN %s & %s stock chart correctly """%((image_url,image_url1)),
 expected_output="information in text format",
 agent=stockchartexpert,
 )

 #Task For EXPLAINING WITH ENOUGH REASONINGS WHY THE STOCK BEHAVED IN A SPECIFIC WAY
 task2 = Task(
 description="""BASED ON THE PREVIOUSLY EXTRACTED INFORMATION ,RESEARCH ABOUT THE RECENT UPDATES OF THE TWO COMPANIES and EXPLAIN AND COMPARE IN SPECIFIC POINTS WHY THE STOCK BEHAVED THIS WAY.""",
 expected_output="Reasons behind stock behavior in BULLET POINTS",
 agent=stockmarketexpert
 )
 
 #Define the crew based on the defined agents and tasks
 crew = Crew(
 agents=[stockchartexpert,stockmarketexpert],
 tasks=[task1,task2],
 verbose=True, # You can set it to 1 or 2 to different logging levels
 )

 result = crew.kickoff()
 return result
```
 ログイン後にコピー
 ステップ6。乗組員の実行
 
 下の2つの株式チャートは、乗組員への入力として与えられました
```
text = create_crew("https://www.eqimg.com/images/2024/11182024-chart6-equitymaster.gif","https://www.eqimg.com/images/2024/03262024-chart4-equitymaster.gif")
pprint(text)
```
 ログイン後にコピー
 最終出力
```
Mamaearth's stock exhibited volatility during the year due to internal challenges that led to significant price changes. These included unexpected product launches and market controversies which caused both peaks and troughs in the share price, resulting in an overall fluctuating trend. On the other hand, Zomato demonstrated a generally upward trend in its share price over the same period. This upward movement can be attributed to expanding business operations, particularly with successful forays into cities like Bengaluru and Pune, enhancing their market presence. However, near the end of 2024, external factors such as a major scandal or regulatory issues might have contributed to a temporary decline in share price despite the overall positive trend. In summary, Mamaearth's stock volatility stems from internal inconsistencies and external controversies, while Zomato's upward trajectory is driven by successful market expansion with minor setbacks due to external events.
```
 ログイン後にコピー
 最終出力から見られるように、エージェントシステムは、都市への進出などの十分な推論、Zomatoの株価の上昇傾向の背後にある事業運営の拡大のような十分な理由で、株価チャートからの株価行動の非常に良い分析と比較を与えました。
 ストック洞察のためのマルチモーダルエージェントシステムの別の例
 
 2024年のJubilant Food Works＆Bikaji Foods International Ltd.の株価チャートの株価行動を確認して比較してみましょう。
```
text = create_crew("https://s3.tradingview.com/p/PuKVGTNm_mid.png","https://images.cnbctv18.com/uploads/2024/12/bikaji-dec12-2024-12-b639f48761fab044197b144a2f9be099.jpg?im=Resize,width=360,aspect=fit,type=normal")
print(text)
```
 ログイン後にコピー
 最終出力
 最終出力から見たように、エージェントシステムは、株価チャートからの株価行動の非常に良い分析と比較を与え、歓喜の食品ワークスの強気パターンとは対照的に、ビカジの持続的なパフォーマンスのようなトレンドのようなトレンドについての精巧な説明を与えました。
 結論
```
The stock behavior of Jubilant Foodworks and Bikaji can be compared based on their recent updates and patterns observed in their stock charts. Jubilant Foodworks: Cup & Handle Pattern: This pattern is typically bullish, indicating that the buyers have taken control after a price decline. It suggests potential upside as the candlestick formation may signal a reversal or strengthening buy interest. Breakout Point: The horizontal dashed line marking the breakout point implies that the stock has reached a resistance level and may now test higher prices. This is a positive sign for bulls, as it shows strength in the upward movement. Trend Line Trend: The uptrend indicated by the trend line suggests ongoing bullish sentiment. The price consistently moves upwards along this line, reinforcing the idea of sustained growth. Volume Correlation: Volume bars at the bottom showing correlation with price movements indicate that trading volume is increasing alongside upward price action. This is favorable for buyers as it shows more support and stronger interest in buying. Bikaji: Recent Price Change: The stock has shown a +4.80% change, indicating positive momentum in the short term. Year-to-Date Performance: Over the past year, the stock has increased by 61.42%, which is significant and suggests strong growth potential. This performance could be attributed to various factors such as market conditions, company fundamentals, or strategic initiatives. Time Frame: The time axis spans from January to December 2024, providing a clear view of the stock's performance over the next year. Comparison: Both companies' stocks are showing upward trends, but Jubilant Foodworks has a more specific bullish pattern (Cup & Handle) that supports its current movement. Bikaji, on the other hand, has demonstrated strong growth over the past year and continues to show positive momentum with a recent price increase. The volume in Jubilant Foodworks correlates well with upward movements, indicating strong buying interest, while Bikaji's performance suggests sustained or accelerated growth. The stock behavior reflects different strengths: Jubilant Foodworks benefits from a clear bullish pattern and strong support levels, whereas Bikaji stands out with its year-to-date growth. Both indicate positive developments, but the contexts and patterns differ slightly based on their respective market positions and dynamics.
```
 ログイン後にコピー
 結論として、マルチモーダルエージェントフレームワークは、リアルタイムの意思決定を改善するために多様なデータ型をブレンドすることにより、AIの変革的シフトをマークします。これらのシステムは、高度な画像分析とエージェント機能を統合することにより、適応インテリジェンスを強化します。その結果、さまざまな分野で効率と精度を最適化します。乗組員AI Vision ToolとDeepSeek R1モデルは、そのようなフレームワークが在庫行動の分析など、洗練されたアプリケーションをどのように有効にするかを示しています。この進歩は、革新を促進し、意思決定の改善におけるAIの役割の高まりを強調しています。
 キーテイクアウト
 1. マルチモーダルエージェントフレームワーク：これらのフレームワークは、テキスト、画像、オーディオ、ビデオを統合されたAIシステムに統合し、人工知能機能を強化します。これらのシステム内のインテリジェントエージェントは、多様なソースから情報を独立して処理、分析、合成します。この能力により、彼らは複雑な状況の微妙な理解を開発することができ、AIをより適応性があり、反応するようにします。
 2. リアルタイムの適応：マルチモーダル入力とエージェント機能を統合することにより、これらのシステムは変化する環境に動的に適応します。この適応性により、より応答性が高くインテリジェントなユーザーインタラクションが可能になります。複数のデータ型を統合すると、ヘルスケア、製造、小売など、さまざまなセクターの運用効率が向上します。意思決定の速度と精度が向上し、より良い結果につながります
 3. 画像分析機能：高度な画像認識を備えたエージェントAIシステムは、大量の視覚データをリアルタイムで処理でき、精度が重要なアプリケーションに正確な結果を提供できます。これらのシステムは、医療診断や監視などの複雑なタスクを自律的に実行し、ヒューマンエラーを減らし、生産性を向上させます。クルーAIビジョンツール：
 4. deepseek-r1-distill-qwen-7bモデル：この蒸留モデルは、数学的な推論や事実上の質問への回答などのタスクに優れており、在庫行動の分析に適しているように、よりコンパクトになりながら堅牢なパフォーマンスをもたらします。
 5. この記事に示されているメディアは、Analytics Vidhyaが所有しておらず、著者の裁量で使用されています。 よくある質問
 q1。 ai？
 ansのマルチモーダルエージェントフレームワークとは何ですか。マルチモーダルエージェントフレームワークは、テキスト、画像、オーディオ、ビデオなどの多様なデータ型を統合されたAIシステムに組み合わせています。この統合により、インテリジェントエージェントは、より微妙で効率的な意思決定のために、複数の形式のデータを分析および処理できます。乗組員AIとは何ですか？クルーAIは、自律的なAIエージェントを、複雑なタスクを完了するために協力して作業するまとまりのあるチームに調整するように設計された高度なオープンソースフレームワークです。システム内の各エージェントには、指定されたツールが装備され、明確に定義された目標によって駆動され、実際の作業員の構造と機能を模倣している特定の役割が割り当てられます。 q3。乗組員AIビジョンツールは、マルチモーダルシステムをどのように強化しますか？乗組員AIビジョンツールにより、エージェントは画像からテキストを抽出および処理できます。この機能により、システムは視覚データを理解し、意思決定プロセスに統合し、ワークフローの効率をさらに向上させます。画像分析機能を備えたエージェントAIシステムからどの産業が恩恵を受けることができますか？これらのシステムは、医療、製造、小売などの業界で特に有益です。これは、医療診断や品質管理などのタスクにとって、画像認識のリアルタイム分析と精度が重要です。 DeepSeek R1の蒸留モデルとは何ですか？ DeepSeek-R1の蒸留モデルは、蒸留と呼ばれるプロセスを使用して作成された、より小さく、より効率的なDeepSeek-R1モデルのバージョンであり、計算需要を減らしながら元のモデルの推論力の多くを保存します。これらの蒸留モデルは、DeepSeek-R1によって生成されたデータを使用して微調整されています。これらの蒸留モデルのいくつかの例は、deepseek-r1-distill-qwen-1.5b、deepseek-r1-distill-qwen-7b、deepseek-r1-distill-qwen-14b、deepseek-r1-distill-lama-8bです。