RAG-basierter Forschungsassistent mit O3-Mini und Crewai

OpenAIs neuestes Modell O3-Mini revolutioniert die Codierungsaufgaben mit seinen Funktionen für erweiterte Argumente, Problemlösungen und Codegenerierung. Es wird effizient komplexe Abfragen behandelt und strukturierte Daten integriert, wodurch ein neuer Standard in AI -Anwendungen festgelegt wird. In diesem Artikel wird unter Verwendung von O3-Mini und Crewai ein RAL-Assistenten (Abruf-Augmented Generation) erstellt, der Informationen aus mehreren PDFs abruft und Benutzeranfragen intelligent verarbeitet. Wir werden Crewais CrewdoclingSource, SerperDevtool und Openai's O3-Mini verwenden, um die Automatisierung in Forschungsworkflows zu verbessern.

Table of Contents

• Building the RAG Agent with o3-mini and CrewAI
  • Prerequisites
  • Step 1: Install Required Libraries
  • Step 2: Import Necessary Modules
  • Step 3: Set API Keys
  • Step 4: Load Research Documents
  • Step 5: Definieren Sie das AI -Modell
  • Schritt 6: Konfigurieren Sie das Web -Search -Tool
  • Schritt 7: Definieren Sie das Einbettungsmodell für die Dokumentsuche. Assistent
  • Schlussfolgerung
  • Häufig gestellte Fragen
  Bauen des Lag-Agenten mit O3-Mini und Crewai
Mit der überwältigenden Menge an Forschungen kann ein automatisierter Assistent auf Lappen basierende Forscher schnell relevante Erkenntnisse finden, ohne manuell durch Hunderte von Papieren zu durchfließen. Der Agent, den wir erstellen, verarbeitet PDFs, um wichtige Informationen zu extrahieren und Abfragen basierend auf dem Inhalt der Dokumente zu beantworten. Wenn die erforderlichen Informationen nicht im PDFS enthalten sind, werden automatisch eine Websuche durchgeführt, um relevante Erkenntnisse zu liefern. Dieses Setup kann für fortgeschrittenere Aufgaben erweitert werden, z.
• In diesem praktischen Leitfaden werden wir einen Forschungsagenten erstellen, der Artikel über Deepseek-R1 und O3-Mini durchläuft, um Fragen zu beantworten, die wir nach diesen Modellen fragen. Für den Aufbau dieses Forschungsassistenten werden wir zunächst die Voraussetzungen durchlaufen und die Umwelt einrichten. Wir werden dann die erforderlichen Module importieren, die API -Schlüssel einstellen und die Forschungsdokumente laden. Anschließend definieren wir das KI -Modell und das Web -Search -Tool in es. Schließlich werden wir die KI -Agenten schaffen, ihre Aufgaben definieren und die Besatzung zusammenstellen. Sobald wir fertig sind, werden wir den Mitarbeiter des wissenschaftlichen Assistenten durchführen, um herauszufinden, ob O3-Mini besser und sicherer ist als Deepseek-R1.
• Voraussetzungen

Bevor wir in die Implementierung eintauchen, machen wir kurz das, was wir brauchen, um loszulegen. Das richtige Setup sorgt für einen reibungslosen Entwicklungsprozess und vermeidet unnötige Unterbrechungen.

Stellen Sie also sicher, dass Sie:

haben

• Eine funktionierende Python -Umgebung (3.8 oder höher)
• API -Schlüssel für OpenAI und Serper (Google Scholar API)

Mit diesen sind wir bereit zu bauen!

Schritt 1: Installieren Sie die erforderlichen Bibliotheken

Zunächst müssen wir die erforderlichen Bibliotheken installieren. Diese Bibliotheken bilden die Grundlage für die Dokumentverarbeitung, die AI -Agenten -Orchestrierung und die Websuche.

!pip install crewai
!pip install 'crewai[tools]'
!pip install docling

Diese Bibliotheken spielen eine entscheidende Rolle beim Aufbau eines effizienten KI-betriebenen Forschungsassistenten.

• Crewai bietet einen robusten Rahmen für das Entwerfen und Verwalten von KI -Agenten, wodurch die Definition spezieller Rollen und die effiziente Forschungsautomatisierung ermöglicht werden kann. Es erleichtert auch die Delegation der Aufgaben und sorgt für eine reibungslose Zusammenarbeit zwischen AI -Agenten.
• Außerdem installiert Crewai [Tools] wichtige Tools, die die Funktionen der KI -Agenten verbessern und es ermöglichen, mit APIs zu interagieren, Websuche auszuführen und Daten nahtlos zu verarbeiten.
• Docling ist spezialisiert auf das Extrahieren strukturierter Wissen aus Forschungsdokumenten und ist ideal für die Verarbeitung von PDFs, akademischen Papieren und textbasierten Dateien. In diesem Projekt wird es verwendet, um wichtige Ergebnisse aus Arxiv -Forschungsarbeiten zu extrahieren.

Schritt 2: Importieren die erforderlichen Module

import os
from crewai import LLM, Agent, Crew, Task
from crewai_tools import SerperDevTool
from crewai.knowledge.source.crew_docling_source import CrewDoclingSource

in diesem,

• Das Betriebssystemmodul verwaltet Umgebungsvariablen wie API -Schlüssel für die reibungslose Integration sicher.
• llm versorgt die KI -Argumentation und die Reaktionsgenerierung.
• Der Agent definiert spezielle Rollen, um Aufgaben effizient zu erledigen.
• Crew verwaltet mehrere Agenten und sorgt für eine nahtlose Zusammenarbeit.
• Aufgabe weist und verfolgt spezifische Verantwortlichkeiten.
• serperdevtool ermöglicht Google Scholarsuche und verbessert das Abrufen von externen Referenzen.
• crewdoclingSource integriert Forschungsdokumente und ermöglicht die strukturierte Wissensextraktion und -analyse.

Schritt 3: Setzen Sie die API -Tasten

os.environ['OPENAI_API_KEY'] = 'your_openai_api_key'
os.environ['SERPER_API_KEY'] = 'your_serper_api_key'

Wie bekomme ich API -Schlüssel?

1. OpenAI -API -Schlüssel: Melden Sie sich bei OpenAI an und holen Sie sich einen API -Schlüssel.
2. Serper -API -Schlüssel: Registrieren Sie sich bei serper.dev, um einen API -Schlüssel zu erhalten.

Diese API -Tasten ermöglichen Zugriff auf KI -Modelle und Web -Suchfunktionen.

Schritt 4: Forschungsdokumente laden

In diesem Schritt werden wir die Forschungsarbeiten von Arxiv laden, sodass unser KI -Modell Erkenntnisse aus ihnen extrahieren kann. Die ausgewählten Papiere decken wichtige Themen ab:

1. https://arxiv.org/pdf/2501.12948: Erforscht die Anreizfunktionen in LLMs durch Verstärkungslernen (Deepseek-R1).
2. https://arxiv.org/pdf/2501.18438: Vergleiche die Sicherheit von O3-Mini und Deepseek-r1.
3. https://arxiv.org/pdf/2401.02954: Erörtert die Skalierung von Open-Source-Sprachmodellen mit einer langfristigen Perspektive.

content_source = CrewDoclingSource(
    file_paths=[
        "https://arxiv.org/pdf/2501.12948",
        "https://arxiv.org/pdf/2501.18438",
        "https://arxiv.org/pdf/2401.02954"
    ],
)

Schritt 5: Definieren Sie das KI -Modell

Jetzt werden wir das KI -Modell definieren.

!pip install crewai
!pip install 'crewai[tools]'
!pip install docling

• o3-mini: Ein leistungsstarkes KI-Modell zum Argumentieren.
• Temperatur = 0: Gewährleistet deterministische Ausgänge (gleiche Antwort für dieselbe Abfrage).

Schritt 6: Konfigurieren Sie das Web -Search -Tool

Um die Forschungsfunktionen zu verbessern, integrieren wir ein Web -Such -Tool, mit dem relevante akademische Arbeiten abgerufen werden, wenn die erforderlichen Informationen nicht in den angegebenen Dokumenten enthalten sind.

import os
from crewai import LLM, Agent, Crew, Task
from crewai_tools import SerperDevTool
from crewai.knowledge.source.crew_docling_source import CrewDoclingSource

1. search_url = ”https://google.serper.dev/scholar”

Dies gibt den Google Scholar -Such -API -Endpunkt an. Es stellt sicher

n_results = 2

Dieser Parameter begrenzt die Anzahl der vom Tool zurückgegebenen Suchergebnisse und stellt sicher, dass nur die relevantesten Informationen abgerufen werden. In diesem Fall wird es die beiden besten Forschungsarbeiten von Google Scholar abrufen und hochwertige akademische Quellen priorisieren. Durch die Reduzierung der Anzahl der Ergebnisse hält der Assistent die Antworten präzise und effizient, wodurch unnötige Informationsüberladungen vermieden und gleichzeitig die Genauigkeit beibehalten werden.

Schritt 7: Das Einbettungsmodell für die Dokumentsuche

definieren

Um relevante Informationen effizient aus Dokumenten abzurufen

os.environ['OPENAI_API_KEY'] = 'your_openai_api_key'
os.environ['SERPER_API_KEY'] = 'your_serper_api_key'

Der Einbettder in Crewai wird zum Umwandeln von Text in numerische Darstellungen (Einbettungen) verwendet, wodurch ein effizientes Abrufen von Dokumenten und semantische Suche ermöglicht wird. In diesem Fall wird das Einbettungsmodell von OpenAI bereitgestellt, speziell mit „Text-Embedding-ada-ad-002“, einem gut optimierten Modell zur Erzeugung hochwertiger Einbettungen. Der API -Schlüssel wird aus den Umgebungsvariablen abgerufen, um Anforderungen zu authentifizieren.

Crewai unterstützt mehrere Einbettungsanbieter, darunter OpenAI und Gemini (Google AI -Modelle), um Flexibilität bei der Auswahl des besten Modells auf der Grundlage von Genauigkeit, Leistung und Kostenüberlegungen zu ermöglichen.

Schritt 8: Erstellen Sie die AI -Agenten

Jetzt werden wir die beiden für unsere Forschungsaufgabe erforderlichen KI -Agenten erstellen: den Dokumentensuchagenten und den Websuchagenten.

Der Dokumentsuchagent ist dafür verantwortlich, Antworten aus den bereitgestellten Forschungsarbeiten und Dokumenten abzurufen. Es fungiert als Experte für die Analyse technischer Inhalte und die Extraktion relevanter Erkenntnisse. Wenn die erforderlichen Informationen nicht gefunden werden, kann die Abfrage an den Web -Suchagenten delegieren, um weitere Erkundungen zu erhalten. Die TRUE -Einstellung erlaubt diesen Delegationsprozess.

!pip install crewai
!pip install 'crewai[tools]'
!pip install docling

Der Web -Search -Agent dagegen ist so konzipiert, dass sie über Google Scholar nach fehlenden Informationen suchen. Es wird nur eingestellt, wenn der Dokumentsuchagent keine Antwort in den verfügbaren Dokumenten finden kann. Im Gegensatz zum Dokumentensuchagenten kann es keine weiteren Aufgaben delegieren (degling_delegation = false). Es verwendet Serper (Google Scholar API) als Instrument, um relevante akademische Arbeiten zu holen und genaue Antworten zu gewährleisten.

import os
from crewai import LLM, Agent, Crew, Task
from crewai_tools import SerperDevTool
from crewai.knowledge.source.crew_docling_source import CrewDoclingSource

Schritt 9: Definieren Sie die Aufgaben für die Agenten

Jetzt werden wir die beiden Aufgaben für die Agenten erstellen.

Die erste Aufgabe besteht darin, eine bestimmte Frage mit den verfügbaren Forschungsarbeiten und Dokumenten zu beantworten.

Aufgabe 1: Informationen aus Dokumenten extrahieren

os.environ['OPENAI_API_KEY'] = 'your_openai_api_key'
os.environ['SERPER_API_KEY'] = 'your_serper_api_key'

Die nächste Aufgabe kommt ins Spiel, wenn die dokumentbasierte Suche keine Antwort ergibt.

Aufgabe 2: Führen Sie bei Bedarf die Websuche durch

content_source = CrewDoclingSource(
    file_paths=[
        "https://arxiv.org/pdf/2501.12948",
        "https://arxiv.org/pdf/2501.18438",
        "https://arxiv.org/pdf/2401.02954"
    ],
)

Schritt 10: Montieren Sie die Crew

Die Crew in Crewai verwaltet Agenten, um Aufgaben effizient zu erledigen, indem sie den Dokumentsuchagenten und den Websuchagenten koordinieren. Es sucht zunächst in den hochgeladenen Dokumenten und delegiert bei Bedarf an Websuche.

• Knowledge_Sources = [Content_Source] enthält relevante Dokumente,
,
Einbettung = Einbettder ermöglicht die semantische Suche und
verbose = true logs -Aktionen für eine bessere Verfolgung, um einen reibungslosen Workflow zu gewährleisten.

llm = LLM(model="o3-mini", temperature=0)

Schritt 11: Führen Sie den Forschungsassistenten

aus

Die anfängliche Abfrage wird in das Dokument gerichtet, um zu überprüfen, ob der Forscheragent eine Antwort liefern kann. Die Frage, die gestellt wird, lautet "O3-mini vs Deepseek-R1: Welches ist sicherer?"

Beispielabfrage 1:

serper_tool = SerperDevTool(
    search_url="https://google.serper.dev/scholar",
    n_results=2  # Fetch top 2 results
)

Antwort

:

Hier können wir feststellen, dass die endgültige Antwort vom Dokumentsucheer generiert wird, da sie die erforderlichen Informationen in den angegebenen Dokumenten erfolgreich gefunden hat.

Beispielabfrage 2:

Hier die Frage: "Welches ist besser, O3 Mini oder Deepseek R1?" ist im Dokument nicht verfügbar. Das System prüft, ob der Dokumentsuchagent eine Antwort finden kann. Wenn nicht, wird die Aufgabe an den Web -Suchagenten

embedder = {
    "provider": "openai",
    "config": {
        "model": "text-embedding-ada-002",
        "api_key": os.environ['OPENAI_API_KEY']
    }
}

delegiert

Antwort

:

Aus der Ausgabe stellen wir fest, dass die Antwort mit dem Web -Sucher -Agenten generiert wurde, da die erforderlichen Informationen vom Dokumentenforscher -Agenten nicht festgestellt wurden. Darüber hinaus enthält es die Quellen, aus denen die Antwort schließlich abgerufen wurde.

Schlussfolgerung

In diesem Projekt haben wir einen mit KI betriebenen wissenschaftlichen Mitarbeiter erfolgreich erstellt, der Informationen aus Forschungsarbeiten und dem Web effizient abruft und analysiert. Durch die Verwendung von Crewai zur Agentenkoordination, Docling für die Verarbeitung von Dokumenten und Serper für wissenschaftliche Suche haben wir ein System erstellt, das komplexe Abfragen mit strukturierten Erkenntnissen beantworten kann.

Der Assistent sucht erster in Dokumenten und delegiert bei Bedarf nahtlos an die Websuche, um genaue Antworten zu gewährleisten. Dieser Ansatz verbessert die Forschungseffizienz durch Automatisierung des Informationsabrufs und -analyse. Durch die Integration des O3-Mini-Forschungsassistenten in Crewai CrewdoclingSource und SerperDevtool haben wir außerdem die Dokumentanalysefunktionen des Systems weiter verbessert. Mit weiterer Anpassung kann dieses Framework erweitert werden, um mehr Datenquellen, erweiterte Argumentation und verbesserte Forschungsworkflows zu unterstützen.

Sie können erstaunliche Projekte mit OpenAI O3-Mini in unserem kostenlosen Kurs erkunden-Erste Schritte mit O3-Mini!

häufig gestellte Fragen

Q1. Was ist Crewai?

a. Crewai ist ein Rahmen, mit dem Sie KI -Agenten mit bestimmten Rollen und Aufgaben erstellen und verwalten können. Es ermöglicht die Zusammenarbeit zwischen mehreren KI -Agenten, um komplexe Workflows zu automatisieren.

Q2. Wie verwaltet Crewai mehrere Agenten?

a. Crewai verwendet einen strukturierten Ansatz, bei dem jeder Agent eine definierte Rolle spielt und bei Bedarf Aufgaben delegieren kann. Ein Besatzungsobjekt organisiert diese Agenten, um Aufgaben effizient zu erledigen.

Q3. Was ist crewdoclingsource?

a. CrewdoclingSource ist ein Dokumentverarbeitungsinstrument in Crewai, das strukturierte Wissen aus Forschungsarbeiten, PDFs und textbasierten Dokumenten extrahiert.

Q4. Was ist Serper -API?

a. Serper API ist ein Tool, mit dem AI -Anwendungen Google -Suchabfragen durchführen können, einschließlich der Suche nach Google Scholar nach akademischen Arbeiten.

Q5. Ist Serper API frei zu verwenden?

a. Serper API bietet sowohl kostenlose als auch bezahlte Pläne mit Einschränkungen hinsichtlich der Anzahl der Suchanforderungen in der kostenlosen Stufe.

Q6. Was ist der Unterschied zwischen Serper -API und herkömmlicher Google -Suche?

a. Im Gegensatz zur Standard -Google -Suche bietet Serper -API einen strukturierten Zugriff auf Suchergebnisse, sodass AI -Agenten relevante Forschungsarbeiten effizient extrahieren können.

Q7. Kann CrewdoclingSource mehrere Dateiformate verarbeiten?

a. Ja, es unterstützt gängige Forschungsdokumentformate, einschließlich PDFs und textbasierter Dateien.

Das obige ist der detaillierte Inhalt vonRAG-basierter Forschungsassistent mit O3-Mini und Crewai. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!