ホームページ > テクノロジー周辺機器 > AI > O3-MINIとCREWAIを使用したRAGベースの研究アシスタント

O3-MINIとCREWAIを使用したRAGベースの研究アシスタント

Joseph Gordon-Levitt
リリース: 2025-03-05 10:12:15
オリジナル
450 人が閲覧しました

Openaiの最新モデルであるO3-Miniは、高度な推論、問題解決、およびコード生成機能を備えたコーディングタスクに革命をもたらしています。複雑なクエリを効率的に処理し、構造化されたデータを統合し、AIアプリケーションで新しい標準を設定します。この記事では、O3-MINIとCREWAIを使用して、複数のPDFから情報を取得し、ユーザークエリをインテリジェントにプロセスする検索(RAG)研究アシスタントエージェントを構築するために検討します。 CrewaiのCrewdoclingsource、Serperdevtool、およびOpenaiのO3-Miniを使用して、研究ワークフローの自動化を強化します。 目次

    O3-miniとCrewai
    • 前提条件
    • ステップ1:必要なライブラリをインストールするステップ2:必要なモジュールをインストールする
    • ステップ2:必要なモジュールのインポート
    • ステップ3:API Keys
  • ステップ5:AIモデルを定義します
  • ステップ6:Web検索ツールの構成
  • ステップ7:ドキュメント検索の埋め込みモデルを定義します
  • ステップ8:AIエージェントを作成
  • ステップ9:
  • 結論
  • よくある質問
O3-MiniとCrewai 圧倒的な量の研究が公開されているため、自動化されたRAGベースのアシスタントは、研究者が何百もの論文を手動でスキミングすることなく、関連する洞察を迅速に見つけるのに役立ちます。私たちが構築するエージェントは、PDFを処理して主要な情報を抽出し、ドキュメントのコンテンツに基づいてクエリに回答します。必要な情報がPDFSにない場合、関連する洞察を提供するためにWeb検索を自動的に実行します。このセットアップは、複数の論文の要約、矛盾した調査結果の検出、構造化されたレポートの生成など、より高度なタスクのために拡張できます。 この実践的なガイドでは、これらのモデルについて尋ねる質問に答えるために、DeepSeek-R1とO3-Miniの記事を調べる研究エージェントを構築します。この研究助手エージェントを構築するために、最初に前提条件を経て環境を設定します。次に、必要なモジュールをインポートし、APIキーを設定し、研究ドキュメントをロードします。次に、AIモデルを定義し、Web検索ツールをITに統合します。最後に、彼のAIエージェントを作成し、タスクを定義し、乗組員を組み立てます。準備ができたら、研究助手エージェントを実行して、O3-MINIがDeepSeek-R1よりも優れているかどうかを確認します。 前提条件
  • 実装に飛び込む前に、始めるために必要なものを簡単に説明しましょう。適切なセットアップを使用すると、スムーズな開発プロセスが保証され、不必要な中断が回避されます。 したがって、あなたが持っていることを確認してください:

    • 作業Python環境(3.8以降)
    • OpenAIおよびSERPER(Google Scholar API)のAPIキー
    • apiキー

    これらを所定の位置に置いて、私たちは構築を開始する準備ができています!

    ステップ1:必要なライブラリをインストール

    最初に、必要なライブラリをインストールする必要があります。これらのライブラリは、ドキュメント処理、AIエージェントオーケストレーション、およびWeb検索機能の基礎を提供します。

    !pip install crewai
    !pip install 'crewai[tools]'
    !pip install docling
    
    ログイン後にコピー
    ログイン後にコピー
    ログイン後にコピー
    これらのライブラリは、効率的なAI駆動の研究助手を構築する上で重要な役割を果たしています。

    CREWAIは、AIエージェントを設計および管理するための堅牢なフレームワークを提供し、特殊な役割の定義を可能にし、効率的な研究自動化を可能にします。また、タスク委任を促進し、AIエージェント間のスムーズなコラボレーションを確保します。 さらに、CREWAI [Tools]は、AIエージェントの機能を強化する重要なツールをインストールし、APIと対話し、Web検索を実行し、データをシームレスに処理できるようにします。
      Doclingは、研究文書から構造化された知識を抽出することを専門としており、PDF、アカデミックペーパー、テキストベースのファイルの処理に最適です。このプロジェクトでは、ARXIVの研究論文から重要な調査結果を抽出するために使用されます。
    • ステップ2:必要なモジュールをインポート
    • これでは、

    OSモジュールは、APIキーなどの環境変数を安全に管理して、スムーズな統合を管理しています。

    llmは、AIの推論と応答の生成を促進します。
    import os
    from crewai import LLM, Agent, Crew, Task
    from crewai_tools import SerperDevTool
    from crewai.knowledge.source.crew_docling_source import CrewDoclingSource
    
    ログイン後にコピー
    ログイン後にコピー
    ログイン後にコピー

    エージェントは、タスクを効率的に処理するための専門的な役割を定義します

    乗組員は複数のエージェントを管理し、シームレスなコラボレーションを確保します
      タスクは、特定の責任を割り当てて追跡します。
    • Crewdoclingsourceは研究文書を統合し、構造化された知識の抽出と分析を可能にします。
    • ステップ3:APIキーを設定
    • APIキーを取得する方法?
    • Openai APIキー:OpenaiでサインアップしてAPIキーを取得します。
    • serper APIキー:serper.devに登録して、APIキーを取得します。
    • これらのAPIキーにより、AIモデルとWeb検索機能へのアクセスが可能です。
    • ステップ4:研究文書を読み込みます
    このステップでは、ARXIVの研究論文をロードして、AIモデルがそれらから洞察を抽出できるようにします。選択された論文では、重要なトピックをカバーしています:

    os.environ['OPENAI_API_KEY'] = 'your_openai_api_key'
    os.environ['SERPER_API_KEY'] = 'your_serper_api_key'
    
    ログイン後にコピー
    ログイン後にコピー
    ログイン後にコピー
    https://arxiv.org/pdf/2501.12948:補強学習を通じてLLMSの推論能力を奨励することを探る(deepseek-r1)。

    >

    https://arxiv.org/pdf/2501.18438:o3-miniとdeepseek-r1の安全性を比較します
      https://arxiv.org/pdf/2401.02954:長期的な視点でオープンソース言語モデルのスケーリングについて説明します。
    1. ステップ5:AIモデルを定義します
    次に、AIモデルを定義します。

    !pip install crewai
    !pip install 'crewai[tools]'
    !pip install docling
    
    ログイン後にコピー
    ログイン後にコピー
    ログイン後にコピー
    • o3-mini:推論のための強力なAIモデル。
    • 温度= 0:決定論的出力を保証します(同じクエリの同じ答え)。
    ステップ6:Web検索ツールを構成

    研究機能を強化するために、必要な情報が提供されたドキュメントにない場合に関連するアカデミックペーパーを取得するWeb検索ツールを統合します。

    import os
    from crewai import LLM, Agent, Crew, Task
    from crewai_tools import SerperDevTool
    from crewai.knowledge.source.crew_docling_source import CrewDoclingSource
    
    ログイン後にコピー
    ログイン後にコピー
    ログイン後にコピー
    search_url =” https://google.serper.dev/scholar”
    1. これは、Google Scholar Search API Endpointを指定します。一般的なWebページではなく、学術記事、研究論文、学術源で検索が特に実行されるようにします。

    n_results = 2

    1. このパラメーターは、ツールによって返される検索結果の数を制限し、最も関連性の高い情報のみが取得されるようにします。この場合、Google Scholarから上位2つの研究論文を取得し、高品質の学術ソースに優先順位を付けるように設定されています。結果の数を減らすことにより、アシスタントは応答を簡潔で効率的に保ち、正確性を維持しながら不必要な情報の過負荷を回避します。
    2. ステップ7:ドキュメント検索の埋め込みモデルを定義します

    ドキュメントから関連情報を効率的に取得するには、類似性ベースの検索のためにテキストを数値表現に変換する埋め込みモデルを使用します。

    CREWAIの埋め込みは、テキストを数値表現(埋め込み)に変換し、効率的なドキュメント検索とセマンティック検索を可能にするために使用されます。この場合、埋め込みモデルは、特に高品質の埋め込みを生成するための適切に最適化されたモデルである「Text-rembedding-ada-002」を使用してOpenAIによって提供されます。 APIキーは、環境変数から取得してリクエストを認証します。

    CREWAIは、OpenAIやGemini(GoogleのAIモデル)を含む複数の埋め込みプロバイダーをサポートしているため、精度、パフォーマンス、コストの考慮事項に基づいて最適なモデルを選択できます。

    ステップ8:AIエージェントを作成

    os.environ['OPENAI_API_KEY'] = 'your_openai_api_key'
    os.environ['SERPER_API_KEY'] = 'your_serper_api_key'
    
    ログイン後にコピー
    ログイン後にコピー
    ログイン後にコピー
    ここで、調査タスクに必要な2つのAIエージェントを作成します:ドキュメント検索エージェントとWeb検索エージェント。

    ドキュメント検索エージェントは、提供された研究論文や文書から回答を取得する責任があります。技術的な内容を分析し、関連する洞察を抽出する専門家として機能します。必要な情報が見つからない場合、さらに探索するためにクエリをWeb検索エージェントに委任できます。 Allow_deLegation = True設定は、この委任プロセスを有効にします

    !pip install crewai
    !pip install 'crewai[tools]'
    !pip install docling
    
    ログイン後にコピー
    ログイン後にコピー
    ログイン後にコピー
    一方、Web検索エージェントは、Google Scholarを使用してオンラインで欠落している情報を検索するように設計されています。ドキュメント検索エージェントが利用可能なドキュメントで回答を見つけられなかった場合にのみ介入します。ドキュメント検索エージェントとは異なり、タスクをさらに委任することはできません(aopt_delegation = false)。関連するアカデミックペーパーを取得し、正確な応答を確保するためのツールとしてSerper(Google Scholar API)を使用します。

    ステップ9:エージェントのタスクを定義します
    import os
    from crewai import LLM, Agent, Crew, Task
    from crewai_tools import SerperDevTool
    from crewai.knowledge.source.crew_docling_source import CrewDoclingSource
    
    ログイン後にコピー
    ログイン後にコピー
    ログイン後にコピー

    次に、エージェントの2つのタスクを作成します。

    最初のタスクには、利用可能な研究論文や文書を使用して特定の質問に答えることが含まれます。

    タスク1:ドキュメントから情報を抽出

    ドキュメントベースの検索で回答が得られないときに、次のタスクが作用します。

    タスク2:必要に応じてWeb検索を実行します
    os.environ['OPENAI_API_KEY'] = 'your_openai_api_key'
    os.environ['SERPER_API_KEY'] = 'your_serper_api_key'
    
    ログイン後にコピー
    ログイン後にコピー
    ログイン後にコピー

    ステップ10:乗組員を組み立てます

    CREWAIの乗組員は、ドキュメント検索エージェントとWeb検索エージェントを調整することにより、エージェントを管理してタスクを効率的に完了します。最初にアップロードされたドキュメント内で検索し、必要に応じてWeb検索に委任します。
    content_source = CrewDoclingSource(
        file_paths=[
            "https://arxiv.org/pdf/2501.12948",
            "https://arxiv.org/pdf/2501.18438",
            "https://arxiv.org/pdf/2401.02954"
        ],
    )
    
    ログイン後にコピー

    knowlede_sources = [content_source]は、関連するドキュメントを提供します

    Embedder = Embedderはセマンティック検索を有効にします

    verbose =より良い追跡のための真のログのアクション、スムーズなワークフローを確保します。
    • ステップ11:リサーチアシスタントを実行
    • 最初のクエリはドキュメントに向けられて、研究者エージェントが応答を提供できるかどうかを確認します。尋ねられる質問は、「O3-mini vs deepseek-r1:どちらがより安全ですか?」です。
    • 例クエリ1:
    llm = LLM(model="o3-mini", temperature=0)
    
    ログイン後にコピー

    応答

    serper_tool = SerperDevTool(
        search_url="https://google.serper.dev/scholar",
        n_results=2  # Fetch top 2 results
    )
    
    ログイン後にコピー
    ここでは、提供されたドキュメント内の必要な情報を正常に見つけたため、ドキュメント検索者によって最終回答が生成されることがわかります。

    例クエリの例: ここで、「どちらが良いのか、O3 MiniまたはDeepseek R1?」という質問があります。ドキュメントでは利用できません。システムは、ドキュメント検索エージェントが回答を見つけることができるかどうかを確認します。そうでない場合は、タスクをWeb検索エージェントに委任します

    O3-MINIとCREWAIを使用したRAGベースの研究アシスタント

    応答

    出力から、必要な情報はドキュメント研究者エージェントによって見つからなかったため、Web Searcherエージェントを使用して応答が生成されたことがわかります。さらに、答えが最終的に取得されたソースが含まれています。

    結論

    このプロジェクトでは、研究論文とWebから情報を効率的に取得および分析するAI駆動の研究助手を首尾よく構築しました。 Crewaiを使用してエージェントの調整、ドキュメント処理のためにドクリング、学術検索のためにSerperを使用して、構造化された洞察を使用して複雑なクエリに答えることができるシステムを作成しました。

    アシスタントは最初にドキュメント内で検索し、必要に応じてWeb検索にシームレスに委任し、正確な応答を確保します。このアプローチは、情報の検索と分析を自動化することにより、研究効率を高めます。さらに、O3-MINIリサーチアシスタントをCrewaiのCrewdoclingsourceおよびSerperDevtoolと統合することにより、システムのドキュメント分析機能をさらに強化しました。さらにカスタマイズすることで、このフレームワークを拡張して、より多くのデータソース、高度な推論、および研究ワークフローの改善をサポートできます。

    無料のコースでOpenai O3-Miniをフィーチャーした素晴らしいプロジェクトを探索できます。

    よくある質問

    q1。クルワイとは?

    a。 Crewaiは、特定の役割とタスクを備えたAIエージェントを作成および管理できるフレームワークです。複数のAIエージェント間のコラボレーションを使用して、複雑なワークフローを自動化します。 Crewaiは複数のエージェントをどのように管理しますか? Crewaiは、各エージェントが定義された役割を持ち、必要に応じてタスクを委任できる構造化されたアプローチを使用します。クルーオブジェクトは、これらのエージェントを調整して、タスクを効率的に完了します。 Crewdoclingsourceとは何ですか? Crewdoclingsourceは、研究論文、PDF、およびテキストベースのドキュメントから構造化された知識を抽出する文書処理ツールです。 SERPER APIとは? SERPER APIは、AIアプリケーションがGoogle Scholarのアカデミックペーパーの検索を含むGoogle検索クエリを実行できるようにするツールです。 Serper APIは無料で使用できますか? Serper APIは、無料層の検索要求の数に制限があり、無料のプランと有料プランの両方を提供しています。 Serper APIと従来のGoogle検索の違いは何ですか?標準のGoogle検索とは異なり、SERPER APIは検索結果への構造化されたアクセスを提供し、AIエージェントが関連する研究論文を効率的に抽出できるようにします。 Crewdoclingsourceは複数のファイル形式を処理できますか?はい、PDFやテキストベースのファイルなど、一般的な研究文書形式をサポートしています。

    以上がO3-MINIとCREWAIを使用したRAGベースの研究アシスタントの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

    このウェブサイトの声明
    この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
    著者別の最新記事
    人気のチュートリアル
    詳細>
    最新のダウンロード
    詳細>
    ウェブエフェクト
    公式サイト
    サイト素材
    フロントエンドテンプレート