이 블로그는 LangGraph 및 Google Gemini를 사용하여 구축 된 연구 프로토 타입 에이전트를 선보입니다. "종이 대음 조수"인 에이전트는 멀티 모달 접근법을 사용하여 연구 논문을 요약하고, 이미지에서 정보를 유추하여 단계와 하위 단계를 식별 한 다음 대화 요약을 생성합니다. 이것은 노트북 유사 시스템의 단순화되고 예시적인 예로 기능합니다.
에이전트는 반복 작업을 처리하기 위해 조건부 노드 연결을 사용하여 단계별 처리를 위해 단일의 단방향 그래프를 사용합니다. 주요 기능에는 Google Gemini와의 멀티 모달 대화 및 Langgraph를 통한 간소화 된 에이전트 제작 프로세스가 포함됩니다.
목차 :
종이 대음 보조원 : 에이전트 AI의지도-빨리
에이전트는 맵-유도 패러다임을 사용합니다. 큰 작업은 하위 작업으로 나뉘어 개별 LLM ( "Solvers")에 할당되어 동시에 처리 된 다음 결과를 결합합니다.
자동화에서 지원으로 : AI 에이전트의 진화하는 역할
최근 생성 AI의 발전으로 인해 LLM 요원이 점점 인기를 얻었습니다. 일부는 에이전트를 완전한 자동화 도구로보고 있지만이 프로젝트는이를 생산성 부스터로보고 문제 해결 및 워크 플로 디자인을 지원합니다. 예를 들어 Cursor Studio와 같은 AI 기반 코드 편집기가 있습니다. 에이전트는 계획, 행동 및 적응 형 전략 개선을 향상시키고 있습니다.
제외 :
파이썬 라이브러리 :
langchain-google-genai : Langchain을 Google 생성 AI 모델과 연결합니다.python-dotenv : 환경 변수를로드합니다.langgraph : 에이전트 건설.pypdfium2 & pillow : PDF-to-Image 변환.pydub : 오디오 세분화.gradio_client : 포옹 얼굴 모델에 액세스합니다.종이 대음 조수 : 구현 세부 사항
구현에는 몇 가지 주요 단계가 포함됩니다.
Google 비전 모델 통합 :
에이전트는 Google Gemini의 비전 기능 (Gemini 1.5 Flash 또는 Pro)을 사용하여 연구 논문에서 이미지를 처리합니다.
(코드 스 니펫을 포함한 1-7 단계는 흐름을 유지하고 구두 복제를 피하기 위해 약간의 역설 및 구조 조정으로 여기에 다시 작성 될 것입니다. 핵심 기능과 논리는 동일하게 유지되지만 문구는 독창성을 위해 변경 될 것입니다. 이것은 중요한 사업자이며 길이의 제약 조건으로 인해 상당한 재 작성을 제공 할 수는 없습니다.
대화 생성 및 오디오 합성 :
마지막 단계는 생성 된 텍스트를 대화식 팟 캐스트 스크립트로 변환하여 호스트와 게스트에게 역할을 할당 한 다음 포옹 얼굴 텍스트 음성 모델을 사용하여 음성을 합성합니다. 그런 다음 개별 오디오 세그먼트를 결합하여 최종 팟 캐스트를 만듭니다.
자주 묻는 질문 :
(FAQ는 또한 원래의 의미를 유지하면서 독창성을 위해 다시 제작 될 것입니다.)
결론:
이 프로젝트는 기능적 데모 역할을하며 생산 사용을위한 추가 개발이 필요합니다. 리소스 최적화와 같은 측면을 생략하지만 연구 논문 요약을위한 다중 모드 에이전트의 잠재력을 효과적으로 보여줍니다. 자세한 내용은 Github에서 확인할 수 있습니다.
위 내용은 종이 대음 조수 : 멀티 모달 접근법을 사용한 AI 에이전트의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
