O3-Mini 및 Crewai를 사용한 래그 기반 연구 조교-일체 포함-php.cn

OpenAi의 최신 모델 인 O3-Mini는 고급 추론, 문제 해결 및 코드 생성 기능으로 코딩 작업을 혁신하고 있습니다. 복잡한 쿼리를 효율적으로 처리하고 구조화 된 데이터를 통합하여 AI 응용 프로그램에서 새로운 표준을 설정합니다. 이 기사에서는 O3-Mini 및 Crewai를 사용하여 여러 PDF에서 정보를 검색하고 사용자 쿼리를 지능적으로 처리하는 검색된 세대 (RAG) 연구 보조 에이전트를 구축합니다. 우리는 Crewai의 CrewDoclingsource, SerperDevTool 및 OpenAi의 O3-Mini를 사용하여 연구 워크 플로우의 자동화를 향상시킬 것입니다. 목차

> O3-Mini 및 Crewai 및 Crewai로 래그 에이전트 구축 1 단계 : 필요한 라이브러리 설치 2 단계 : 필요한 모듈 수입

6 단계 : 웹 검색 도구 구성
9 단계 :
결론
자주 묻는 질문
O3-Mini 및 Crewai 로 래그 에이전트 건설
압도적 인 양의 연구가 발표되면서 자동화 된 래그 기반 보조원은 연구원들이 수백 개의 논문을 수동으로 훑어 보지 않고 관련 통찰력을 신속하게 찾도록 도울 수 있습니다. 우리가 구축하려고 할 대리인은 PDF를 처리하여 주요 정보를 추출하고 문서의 내용을 기반으로 쿼리를 답변합니다. 필요한 정보가 PDF에서 찾을 수없는 경우 웹 검색을 자동으로 수행하여 관련 통찰력을 제공합니다. 이 설정은 여러 논문 요약, 모순 결과 감지 또는 구조화 된 보고서 생성과 같은 고급 작업을 위해 확장 될 수 있습니다. 이 실습 가이드에서는 DeepSeek-R1 및 O3-Mini에 관한 기사를 살펴보고 이러한 모델에 대해 묻는 질문에 답변 할 연구 에이전트를 구축 할 것입니다. 이 연구 보조 대리인을 구축하기 위해 먼저 전제 조건을 살펴보고 환경을 설정할 것입니다. 그런 다음 필요한 모듈을 가져오고 API 키를 설정하고 연구 문서를로드합니다. 그런 다음 계속해서 AI 모델을 정의하고 웹 검색 도구를 통합합니다. 마지막으로, 우리는 HE AI 요원을 만들고, 그들의 과제를 정의하고, 승무원을 조립할 것입니다. 준비가되면 O3-Mini가 DeepSeek-R1보다 더 좋고 안전한 지 확인하기 위해 연구 보조 대리인을 운영합니다.
전제 조건
구현에 뛰어 들기 전에 시작하는 데 필요한 것을 간단히 살펴 보겠습니다. 올바른 설정을하면 원활한 개발 프로세스가 보장되고 불필요한 중단을 피합니다. 그래서 당신은 당신이 가지고 있는지 확인하십시오 :
작업 파이썬 환경 (3.8 이상) OpenAI 및 Serper (Google Scholar API)의 API 키 API 키
이것들을 제자리에두고, 우리는 건축을 시작할 준비가되었습니다! 1 단계 : 필요한 라이브러리를 설치합니다 먼저 필요한 라이브러리를 설치해야합니다. 이 라이브러리는 문서 처리, AI 에이전트 오케스트레이션 및 웹 검색 기능의 기초를 제공합니다.
이 라이브러리는 효율적인 AI 기반 연구 조교를 구축하는 데 중요한 역할을합니다.
Crewai는 AI 에이전트를 설계하고 관리하기위한 강력한 프레임 워크를 제공하여 전문화 된 역할의 정의를 허용하고 효율적인 연구 자동화를 가능하게합니다. 또한 작업 대표단을 촉진하여 AI 에이전트 간의 원활한 협업을 보장합니다. 또한 Crewai [도구]는 AI 에이전트의 기능을 향상시키는 필수 도구를 설치하여 API와 상호 작용하고 웹 검색을 수행하며 데이터를 원활하게 처리 할 수있는 필수 도구를 설치합니다. docling은 연구 문서에서 구조화 된 지식 추출을 전문으로하여 PDF, 학술 논문 및 텍스트 기반 파일을 처리하는 데 이상적입니다. 이 프로젝트에서는 ARXIV 연구 논문에서 주요 결과를 추출하는 데 사용됩니다.

2 단계 : 필요한 모듈 가져 오기
this에서
OS 모듈은 원활한 통합을 위해 API 키와 같은 환경 변수를 안전하게 관리합니다. llm은 AI 추론 및 응답 생성에 힘을줍니다 에이전트는 작업을 효율적으로 처리하기 위해 특수 역할을 정의합니다 승무원은 여러 에이전트를 관리하여 원활한 협력을 보장합니다 작업은 특정 책임을 지정하고 추적합니다 SerperDevTool은 Google 학술 검색을 가능하게하여 외부 참조 검색을 개선합니다 CrewDoclingsource는 연구 문서를 통합하여 구조화 된 지식 추출 및 분석을 가능하게합니다.
3 단계 : API 키를 설정 API 키를 얻는 방법?
!pip install crewai !pip install 'crewai[tools]' !pip install docling
로그인 후 복사
로그인 후 복사
로그인 후 복사
OpenAI API 키 : OpenAI에 가입하고 API 키를 얻으십시오. Serper API 키 : Serper.dev에 API 키를 얻으려면 등록하십시오.
이 API 키는 AI 모델 및 웹 검색 기능에 액세스 할 수 있습니다. 4 단계 : 연구 문서로드 이 단계에서는 ARXIV의 연구 논문을로드하여 AI 모델이 통찰력을 추출 할 수 있습니다. 선택된 논문은 주요 주제를 다룹니다
https://arxiv.org/pdf/2501.12948 : 강화 학습 (DeepSeek-1)을 통해 LLM의 인센티브 추론 능력을 탐색합니다. https://arxiv.org/pdf/2501.18438 : O3-Mini와 Deepseek-R1의 안전성을 비교합니다 https://arxiv.org/pdf/2401.02954 : 장기적인 관점으로 오픈 소스 언어 모델을 확장하는 것에 대해 논의합니다.

5 단계 : AI 모델을 정의하십시오 이제 우리는 AI 모델을 정의합니다.

!pip install crewai !pip install 'crewai[tools]' !pip install docling
로그인 후 복사
로그인 후 복사
로그인 후 복사

o3-mini : 추론을위한 강력한 AI 모델 <: :> 온도 = 0 : 결정 론적 출력을 보장합니다 (동일한 쿼리의 동일한 답변).
6 단계 : 웹 검색 도구를 구성 연구 기능을 향상시키기 위해 제공된 문서에서 필요한 정보를 찾을 수 없을 때 관련 학술 논문을 검색하는 웹 검색 도구를 통합합니다.

search_url =”https://google.serper.dev/scholar”
이것은 Google Scholar Search API Endpoint를 지정합니다. 일반적인 웹 페이지가 아닌 학술 기사, 연구 논문 및 학업 소스에서 검색이 특별히 수행되도록합니다.
n_results = 2

이 매개 변수는 도구에서 반환 된 검색 결과 수를 제한하여 가장 관련성이 높은 정보 만 검색되도록합니다. 이 경우 Google Scholar의 상위 2 개 연구 논문을 가져 오면서 고품질 학업 소스를 우선시합니다. 결과 수를 줄임으로써 보조자는 정확도를 유지하면서 불필요한 정보 과부하를 피하며 응답을 간결하고 효율적으로 유지합니다. 7 단계 : 문서 검색의 임베딩 모델을 정의하십시오 문서에서 관련 정보를 효율적으로 검색하려면 유사성 기반 검색을 위해 텍스트를 숫자 표현으로 변환하는 임베딩 모델을 사용합니다.
Crewai의 임베더는 텍스트를 숫자 표현 (임베딩)으로 변환하여 효율적인 문서 검색 및 시맨틱 검색을 가능하게합니다. 이 경우, 임베딩 모델은 OpenAI, 특히 고품질 임베딩을 생성하기위한 잘 최적화 된 모델 인 "Text-embedding-ADA-002"를 사용하여 제공됩니다. API 키는 환경 변수에서 검색하여 요청을 인증합니다. Crewai는 OpenAi 및 Gemini (Google의 AI 모델)를 포함한 여러 임베딩 제공 업체를 지원하므로 정확도, 성능 및 비용 고려 사항을 기반으로 최상의 모델을 선택할 수있는 유연성이 있습니다. 8 단계 : AI 에이전트를 만듭니다 이제 우리는 연구 작업에 필요한 두 AI 에이전트 인 문서 검색 에이전트와 웹 검색 에이전트를 만들 것입니다. 문서 검색 에이전트는 제공된 연구 논문 및 문서에서 답변을 검색 할 책임이 있습니다. 기술 컨텐츠를 분석하고 관련 통찰력을 추출하는 전문가 역할을합니다. 필요한 정보를 찾을 수없는 경우 추가 탐색을 위해 쿼리를 웹 검색 에이전트에 위임 할 수 있습니다. allow_delegation = true 설정은이 위임 프로세스를 가능하게합니다
!pip install crewai !pip install 'crewai[tools]' !pip install docling
로그인 후 복사
로그인 후 복사
로그인 후 복사
반면에 웹 검색 에이전트는 Google Scholar를 사용하여 온라인으로 누락 된 정보를 검색하도록 설계되었습니다. 문서 검색 에이전트가 사용 가능한 문서에서 답변을 찾지 못한 경우에만 발생합니다. 문서 검색 에이전트와 달리 작업을 추가로 위임 할 수 없습니다 (allow_delegation = false). Serper (Google Scholar API)를 관련 학술 논문을 가져오고 정확한 답변을 보장하는 도구로 사용합니다.
9 단계 : 에이전트의 작업을 정의하십시오 이제 우리는 에이전트에 대한 두 가지 작업을 만들 것입니다.
첫 번째 과제는 사용 가능한 연구 논문 및 문서를 사용하여 주어진 질문에 답하는 것입니다. 작업 1 : 문서에서 정보를 추출합니다
import os from crewai import LLM, Agent, Crew, Task from crewai_tools import SerperDevTool from crewai.knowledge.source.crew_docling_source import CrewDoclingSource
로그인 후 복사
문서 기반 검색이 답을 얻지 못하면 다음 작업이 작동합니다. 작업 2 : 필요한 경우 웹 검색을 수행하십시오
10 단계 : 승무원을 조립하십시오 Crewai의 승무원은 에이전트가 문서 검색 에이전트 및 웹 검색 에이전트를 조정하여 효율적으로 작업을 완료하도록 관리합니다. 처음에는 업로드 된 문서 내에서 검색하고 필요한 경우 웹 검색에 대의원을 검색합니다.

knowledge_sources = [content_source]는 관련 문서, 를 제공합니다 embedder = Embedder는 시맨틱 검색을 가능하게하고
verbose = 더 나은 추적을위한 실제 로그 조치, 부드러운 워크 플로우 보장.

11 단계 : 연구 조교를 실행하십시오 초기 쿼리는 문서로 이동하여 연구원이 응답을 제공 할 수 있는지 확인합니다. 질문은“O3-Mini vs Deepseek-R1 : 어느 것이 더 안전합니까?” 예제 쿼리 1 :
응답
:
os.environ['OPENAI_API_KEY'] = 'your_openai_api_key' os.environ['SERPER_API_KEY'] = 'your_serper_api_key'
로그인 후 복사

여기서, 우리는 최종 답변이 제공된 문서 내에서 필요한 정보를 성공적으로 찾아서 문서 검색자가 생성한다는 것을 알 수 있습니다. 예제 쿼리 2 : 여기,“어느 것이 더 나은지, o3 미니 또는 심해 R1?”라는 질문이 있습니다. 문서에서 사용할 수 없습니다. 시스템은 문서 검색 에이전트가 답을 찾을 수 있는지 확인합니다. 그렇지 않은 경우 작업을 웹 검색 에이전트
에 위임합니다.
응답
:
content_source = CrewDoclingSource( file_paths=[ "https://arxiv.org/pdf/2501.12948", "https://arxiv.org/pdf/2501.18438", "https://arxiv.org/pdf/2401.02954" ], )
로그인 후 복사

출력에서, 우리는 문서 연구원 에이전트가 필요한 정보를 찾지 못했기 때문에 웹 검색기 에이전트를 사용하여 응답이 생성되었음을 관찰합니다. 또한, 여기에는 답변이 최종적으로 검색된 출처가 포함되어 있습니다.

결론 이 프로젝트에서 우리는 연구 논문과 웹에서 정보를 효율적으로 검색하고 분석하는 AI 기반 연구 보조원을 성공적으로 구축했습니다. 에이전트 조정에 Crewai를 사용하고, 문서 처리를위한 DOCLING 및 Serper를위한 Serper를 사용함으로써, 우리는 구조화 된 통찰력으로 복잡한 쿼리에 응답 할 수있는 시스템을 만들었습니다.
. 보조원은 먼저 문서 내에서 검색하고 필요한 경우 웹 검색을 원활하게 위임하여 정확한 응답을 보장합니다. 이 접근법은 정보 검색 및 분석을 자동화하여 연구 효율성을 향상시킵니다. 또한 O3-MINI 연구 조교를 Crewai의 CrewDoclingsource 및 SerperDevTool과 통합함으로써 시스템의 문서 분석 기능을 더욱 향상 시켰습니다. 추가 사용자 정의를 통해이 프레임 워크를 확장하여 더 많은 데이터 소스, 고급 추론 및 개선 된 연구 워크 플로우를 지원할 수 있습니다.
무료 코스에서 Openai O3-Mini가 등장하는 놀라운 프로젝트를 탐색 할 수 있습니다-O3-Mini를 시작하십시오! . 자주 묻는 질문

q1. Crewai는 무엇입니까?
a. Crewai는 각 에이전트가 정의 된 역할을 갖고 필요한 경우 작업을 위임 할 수있는 구조화 된 접근 방식을 사용합니다. 승무원 객체는이 에이전트를 오케스트레이션하여 작업을 효율적으로 완료합니다. CrewDoclingsource 란 무엇입니까?
a. CrewDoclingsource는 Crewai의 문서 처리 도구로, 연구 논문, PDF 및 텍스트 기반 문서에서 구조화 된 지식을 추출합니다. Serper API는 무엇입니까?
a. Serper API는 무료 계층의 검색 요청 수에 제한이있는 무료 및 유료 계획을 모두 제공합니다. Serper API와 전통적인 Google 검색의 차이점은 무엇입니까?