Langchain을 사용하여 래그 기반 쿼리 해상도 시스템 구축-일체 포함-php.cn

Langchain을 사용하여 래그 기반 쿼리 해상도 시스템 구축

Christopher Nolan

풀어 주다： 2025-03-21 09:58:11

원래의

357명이 탐색했습니다.

이 기사는 Langchain, ChromADB 및 Crewai를 사용하여 효율적인 쿼리 해상도를위한 검색 구조 생성 (RAG) 시스템을 구축합니다. 현대 비즈니스가 직면 한 대량의 쿼리를 수동으로 처리하는 것은 비효율적입니다. 이 AI 기반 솔루션은 빠르고 정확하며 확장 가능한 응답을 제공합니다.

AI 구동 쿼리 해상도 시스템 인 이유는 무엇입니까?
헝겊 워크 플로 이해
래그 기반 쿼리 해상도 시스템 구축
구현 세부 사항
향후 향상
결론
자주 묻는 질문

AI 구동 쿼리 해상도 시스템 인 이유는 무엇입니까?

수동 쿼리 응답은 느리고 일관성이 없습니다. 기업은 고객의 기대를 충족시키기 위해 빠르고 정확한 정보 액세스가 필요합니다. AI 시스템은이 프로세스를 자동화하여 다양한 부문 (고객 지원, 영업, 금융, 의료, 전자 상거래)에서 생산성 및 의사 결정을 촉진합니다.

헝겊 워크 플로 이해

래그 시스템은 3 단계로 작동합니다.

Langchain을 사용하여 래그 기반 쿼리 해상도 시스템 구축

인덱싱 : 문서는 처리, 청크, AI 모델을 사용하여 벡터 임베딩으로 변환되며 벡터 데이터베이스 (예 : ChromADB)에 저장됩니다.
검색 : 사용자의 쿼리가 벡터화되고 시스템은 데이터베이스를 가장 관련성있는 청크에 대해 검색합니다.
생성 : 검색된 청크는 원래 쿼리와 결합되며 LLM (Lange Language Model)은 응답을 생성합니다.

래그 기반 쿼리 해상도 시스템 구축

이 기사는 AI 에이전트를 사용하여 학습자 쿼리에 응답하기위한 단순화 된 래그 시스템을 보여줍니다. 데이터 선택이 중요합니다. 저자는 관련성 있고 구조화 된 컨텐츠를 제공하는 가장 효과적인 소스로서 자막에 정착하기 전에 다양한 데이터 유형 (PowerPoint 슬라이드, FAQ, 과거 토론, 코스 비디오 자막)을 실험했습니다.

시스템은 세 가지 구성 요소로 구성됩니다.

자막 처리 : SRT 파일에서 텍스트를 추출하고 프로세스하고 ChromADB에 임베딩을 저장합니다.
검색 : 학습자 쿼리를 기반으로 관련 코스 자료를 검색합니다.
쿼리 응답 에이전트 : Crewai를 사용하여 응답을 생성합니다.

구현 세부 사항

라이브러리 수입 : pysrt , langchain (텍스트 분할, 임베딩, Vectorstores), crewai , pandas , ast , os , tqdm 이 가져옵니다.
환경 설정 : OpenAI API 키 및 모델 이름은 환경 변수로 설정됩니다.
자막 데이터 추출 및 저장 : 시스템은 코스 폴더를 통해 반복하고, pysrt 사용하여 SRT 파일에서 텍스트를 추출하고, RecursiveCharacterTextSplitter 사용하여 텍스트를 청크하고, OpenAIEmbeddings 있는 임베딩을 생성하고,이를 ChromADB에 저장합니다. 토큰 사용에 대한 비용 추정이 포함되어 있습니다.
학습자 쿼리 쿼리 및 응답 : retrieve_course_materials 함수는 ChromADB에서 유사성 검색을 사용하여 코스별로 필터링 된 관련 컨텐츠를 검색합니다.
AI 쿼리 응답 에이전트 구현 : Crewai 에이전트 ( "학습 지원 전문가")는 특정 역할과 배경으로 정의됩니다. 검색된 컨텍스트와 과거 토론을 통합하여 쿼리를 처리하기 위해 작업이 정의됩니다. Crewai 인스턴스가 초기화되고 CSV 파일의 학습자 쿼리를 통해 함수 ( reply_to_query )가 반복되어 에이전트를 사용하여 응답을 생성합니다. 오류 처리가 포함되어 있습니다.