RAG로 질의 응답 마스터하기: 대규모 회의 데이터의 주요 과제 극복

정보 과부하의 디지털 시대에는 대규모 데이터 세트에서 실행 가능한 통찰력을 추출하는 것이 그 어느 때보다 중요합니다. 최근 저는 방대한 회의록 모음에서 정확한 답변을 제공하는 주요 과제를 해결하기 위해 RAG(검색 증강 생성)를 활용하는 여정에 착수했습니다. 이 블로그에서는 RAG 기반 질의 응답 시스템을 구조화되지 않은 회의 데이터에서 통찰력을 추출하기 위한 강력한 도구로 전환한 장애물, 솔루션 및 성과를 살펴봅니다.

문제 설명: RAG를 사용한 쿼리 응답의 과제
주요 과제 중 하나는 대규모 회의록 저장소 내에서 복잡한 의도별 쿼리를 처리할 수 있는 시스템을 구축하는 것이었습니다. 기존 RAG 쿼리 응답 모델은 관련이 없거나 불완전한 정보를 반환하는 경우가 많아 사용자 의도를 포착하지 못했습니다. 다양한 쿼리 유형과 결합된 회의 데이터의 구조화되지 않은 특성으로 인해 더욱 세련된 솔루션이 필요했습니다.

초기 접근 방식: 효과적인 쿼리 응답을 위한 기반 마련
나는 검색과 응답 생성을 결합하도록 설계된 기본 RAG 모델로 시작했습니다. 사용된 두 가지 초기 기술은 다음과 같습니다.

1. 청킹: 큰 문서를 문장 경계에 따라 작은 세그먼트로 나누면 검색 범위가 좁아져 검색 성능이 향상됩니다.

2. 임베딩 및 벡터 저장: 청킹 후 각 세그먼트를 벡터 데이터베이스에 임베딩하여 저장하여 효율적인 검색이 가능합니다.

그러나 이 설정에는 한계가 있었습니다. 초기 청크 접근 방식에서는 관련 없는 정보가 검색되는 경우가 많았으며 생성된 답변의 정확성과 각 쿼리의 의도에 대한 일관성이 부족했습니다.

대규모 RAG 쿼리 응답의 과제

• 복잡한 쿼리 처리: 특정 복잡한 질문에는 기본 의미 검색을 넘어 더 깊은 의미 이해가 필요합니다.
• 문맥 불일치: 검색된 청크는 문맥상 유사하지만 쿼리 요구 사항을 충족할 만큼 정확하지 않은 경우가 많습니다.
• 검색 정밀도 제한: 작은 문서 세트(예: 5~10개)를 검색하면 관련성이 부족한 제한된 결과가 나오는 경우가 많습니다.

이러한 문제로 인해 RAG 쿼리 응답의 정확성을 높이기 위한 더욱 발전된 접근 방식의 필요성이 강조되었습니다.

향상된 쿼리 정확성을 위한 고급 RAG 기술(솔루션)
이러한 문제를 해결하기 위해 저는 여러 가지 고급 방법론을 적용하여 시스템을 반복적으로 개선했습니다.
의미적 청킹
기존 청킹과 달리 시맨틱 청킹은 각 세그먼트 내에서 의미의 우선순위를 지정하여 검색된 정보를 쿼리 의도에 맞춰 관련성을 높입니다.

from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai.embeddings import OpenAIEmbeddings
from langchain.schema import Document

# Initialize OpenAI Embeddings with API key
openai_api_key = ""
embedder = OpenAIEmbeddings(openai_api_key=openai_api_key)
text_splitter = SemanticChunker(embedder)

def prepare_docs_for_indexing(videos):
    all_docs = []

    for video in videos:
        video_id = video.get('video_id')
        title = video.get('video_name')
        transcript_info = video.get('details', {}).get('transcript_info', {})
        summary = video.get('details', {}).get('summary')
        created_at = transcript_info.get('created_at')  # Getting the created_at timestamp

        # Get the full transcription text
        transcription_text = transcript_info.get('transcription_text', '')

        # Create documents using semantic chunking
        docs = text_splitter.create_documents([transcription_text])

        for doc in docs:
            # Add metadata to each document
            doc.metadata = {
                "created_at": created_at,
                "title": title,
                "video_id": video_id,
                "summary": summary
            }
            all_docs.append(doc)

    return all_docs


docs = prepare_docs_for_indexing(videos)

# Output the created documents
for doc in docs:
    print("____________")
    print(doc.page_content)

최대 마진 검색
이 방법은 관련 데이터와 관련 없는 데이터를 구별하여 가장 일치하는 데이터 청크만 검색함으로써 검색 정밀도를 향상시켰습니다.

람다 점수
Lambda Scoring을 사용하면 관련성을 기준으로 결과의 순위를 매길 수 있었고 더 나은 답변 품질을 위해 쿼리 의도와 더 밀접하게 일치하는 응답의 우선 순위를 지정할 수 있었습니다.

from langchain_community.vectorstores import OpenSearchVectorSearch
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

docsearch = OpenSearchVectorSearch.from_documents(
    docs, embeddings, opensearch_url="http://localhost:9200"
)

query = "your query"
docs = docsearch.max_marginal_relevance_search(query, k=2, fetch_k=10, lambda_param=0.25)

멀티 쿼리 및 RAG Fusion
복잡한 질문의 경우 시스템은 여러 하위 쿼리를 생성합니다. 그런 다음 RAG Fusion은 다양한 답변을 하나의 응집력 있는 응답으로 통합하여 응답 품질을 향상하고 오류를 줄입니다.

def generate_multi_queries(question: str):
    # Template to generate multiple queries
    template = """You are an AI language model assistant. Your task is to generate five 
    different versions of the given user question to retrieve relevant documents from a vector 
    database. By generating multiple perspectives on the user question, your goal is to help
    the user overcome some of the limitations of the distance-based similarity search. 
    Provide these alternative questions separated by newlines. Original question: {question}"""

    # Creating a prompt template for query generation
    prompt_perspectives = ChatPromptTemplate.from_template(template)

    # Generate the queries using ChatOpenAI and output parser
    generate_queries = (
        prompt_perspectives 
        | ChatOpenAI(temperature=0, openai_api_key=openai_api_key) 
        | StrOutputParser() 
        | (lambda x: x.split("\n"))
    )

    # Invoke the chain to generate queries
    multi_queries = generate_queries.invoke({"question": question})

    return multi_queries

def reciprocal_rank_fusion(results: list[list], k=60):
    """Applies Reciprocal Rank Fusion (RRF) to fuse ranked document lists."""
    fused_scores = {}
    for docs in results:
        for rank, doc in enumerate(docs):
            doc_str = dumps(doc)  # Convert to a serializable format
            if doc_str not in fused_scores:
                fused_scores[doc_str] = 0
            fused_scores[doc_str] += 1 / (rank + k)  # RRF formula

    # Sort documents by the fused score
    reranked_results = [
        (loads(doc), score)
        for doc, score in sorted(fused_scores.items(), key=lambda x: x[1], reverse=True)
    ]
    return reranked_result

향상된 색인 생성 및 최적화된 벡터 검색
인덱싱 메커니즘을 개선하고 벡터 검색 매개변수를 개선하여 특히 대규모 데이터 세트의 경우 검색이 더 빠르고 정확해졌습니다.

결과: RAG 쿼리 응답의 주요 성과
이러한 기술을 구현함으로써 상당한 개선이 이루어졌습니다.

• 검색 정밀도 향상: 의미적 청킹 및 최대 마진 검색과 같은 기술을 통해 정제된 데이터 검색을 통해 가장 관련성이 높은 청크만 반환됩니다.
• 향상된 관련성: Lambda Scoring은 관련 결과의 우선순위를 효과적으로 지정하여 쿼리 의도에 따라 응답을 긴밀하게 조정합니다.
• 복잡한 쿼리 처리 개선: 다중 쿼리 생성 및 RAG Fusion을 통해 시스템에서 복잡한 질문을 관리하고 포괄적인 답변을 제공할 수 있었습니다.
• 더욱 강화된 시스템 견고성: 이러한 개선을 통해 시스템은 기본 모델에서 대규모의 구조화되지 않은 회의 데이터를 위한 정교하고 신뢰할 수 있는 질의 응답 도구로 향상되었습니다.

주요 시사점 및 교훈
이 여정을 통해 저는 다음과 같은 몇 가지 핵심 통찰력을 얻었습니다.

1. 적응성이 핵심입니다. 첫 번째 시도에서 효과적인 솔루션이 나타나는 경우는 거의 없습니다. 반복적인 개선과 유연성이 필수적입니다.
2. 계층화된 방법론으로 견고성 향상: 의미론적 청킹, 최대 마진 검색, 람다 채점 등 여러 접근 방식을 통합하여 더욱 강력하고 효과적인 시스템을 만들었습니다.
3. 철저한 쿼리 처리: 다중 쿼리 생성 및 RAG Fusion은 다양한 관점에서 질문을 해결하는 것의 중요성을 강조했습니다.
4. 의미에 초점: 구조 자체가 아닌 데이터 내 의미를 강조하여 검색 정확도가 크게 향상되었습니다.

결론: RAG 기반 시스템의 미래 전망
고급 기술로 RAG 모델을 강화하여 단순한 검색 시스템을 복잡하고 미묘한 쿼리에 응답하기 위한 강력한 도구로 전환했습니다. 앞으로는 실시간 학습 기능을 통합하여 시스템이 새로운 데이터에 동적으로 적응할 수 있도록 하는 것이 목표입니다. 이 경험을 통해 기술적 능력이 심화되었고 데이터 검색 시스템의 유연성, 의미 집중 및 반복적 개선의 중요성이 강조되었습니다.

최종 생각: 고급 RAG 시스템 구현 가이드
RAG 문제를 극복한 경험을 공유함으로써 유사한 솔루션을 구현하기 위한 지침을 제공하고자 합니다. 반복적인 개선과 결합된 전략적 기술은 즉각적인 문제를 해결했을 뿐만 아니라 질의 응답 시스템의 미래 발전을 위한 강력한 기반을 마련했습니다.

위 내용은 RAG로 질의 응답 마스터하기: 대규모 회의 데이터의 주요 과제 극복의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!