복단대학교 팀은 사법 평가 벤치마크를 구축하고 30만 개의 정밀 조정 데이터를 오픈소스화하기 위해 중국 스마트 법률 시스템인 DISC-LawLLM을 출시했습니다.-일체 포함-php.cn

스마트 정의가 부상함에 따라 스마트 방법으로 구동되는 스마트 법률 시스템은 다양한 그룹에 혜택을 줄 것으로 예상됩니다. 예를 들어, 법률 전문가를 위한 서류 작업을 간소화하고, 일반 대중에게 법률 자문 서비스를 제공하며, 법대생을 위한 학습 및 시험 코칭을 제공합니다.

법적 지식의 독특함과 사법 업무의 다양성으로 인해 기존 스마트 사법 연구는 주로 특정 업무에 대한 자동화된 알고리즘 설계에 중점을 두어 사법 분야 지원 서비스에 대한 수요를 충족시키기 어려웠으며 여전히 응용 프로그램 구현에서 멀지 않은 거리입니다. LLM(대규모 언어 모델)은 다양한 기존 작업에서 강력한 기능을 입증하여 지능형 법률 시스템의 추가 개발에 대한 희망을 가져왔습니다.

최근 푸단대학 데이터 인텔리전스 및 소셜 컴퓨팅 연구소(FudanDISC)는 대규모 언어 모델인 DISC-LawLLM을 기반으로 하는 중국 스마트 법률 시스템을 출시했습니다. 시스템은 다양한 사용자 그룹에 다양한 법률 서비스를 제공할 수 있습니다. 또한, 연구실에서는 법률 언어 모델을 객관적인 측면과 주관적인 측면 모두에서 평가하기 위해 평가 벤치마크 DISC-Law-Eval도 구축했습니다. 평가에서 모델의 성능은 기존의 대규모 법률 모델에 비해 분명한 장점이 있습니다.

연구팀은 또한 300,000개를 포함하는 고품질 감독 미세 조정(SFT) 데이터 세트인 DISC-Law-SFT를 공개했습니다. 모델 매개변수와 기술 보고서도 오픈 소스입니다.

복단대학교 팀은 사법 평가 벤치마크를 구축하고 30만 개의 정밀 조정 데이터를 오픈소스화하기 위해 중국 스마트 법률 시스템인 DISC-LawLLM을 출시했습니다.

홈페이지 주소: https://law.fudan-disc.com
Github 주소: https://github.com/FudanDISC/DISC-LawLLM
기술 보고서: https: //arxiv.org/abs/2309.11325

01 샘플 디스플레이

사용자가 법적 질문이 있는 경우 모델에 상담하고 질문을 설명할 수 있으며 모델은 관련 법률을 제공합니다. 설명, 권장 솔루션 등询 그림 1 법률 상담 예

^{전문 기관과 사법 기관은 모델을 사용하여 법률 텍스트 요약, 사법 사건 테스트, 개체 및 관계 추출 등을 완성하고 문서를 줄이고 업무를 개선하며 업무 효율성을 향상시킬 수 있습니다.书 그림 2 사법 문서 분석}

법학 전공 학생들은 사법 시험을 준비하는 과정에서 모델에게 질문하고, 법률 지식을 강화하고, 법률 시험 문제에 답변할 수 있습니다. 수 그림 3 Examination Assistant 예시 복단대학교 팀은 사법 평가 벤치마크를 구축하고 30만 개의 정밀 조정 데이터를 오픈소스화하기 위해 중국 스마트 법률 시스템인 DISC-LawLLM을 출시했습니다.

지원을 위해 외부 방법이 필요한 경우 모델은 문제에 따라 지식 베이스에서 관련 콘텐츠를 검색하고 답변합니다.场 그림 4 향상된 장면의 검색 대화

복단대학교 팀은 사법 평가 벤치마크를 구축하고 30만 개의 정밀 조정 데이터를 오픈소스화하기 위해 중국 스마트 법률 시스템인 DISC-LawLLM을 출시했습니다. 02 DISC-Lawllm 소개

Disc-Lawllm은 우리가 구축한 고품질 데이터 세트를 기반으로 합니다. SFT는 다음에서 얻은 대규모 법적 모델입니다. 일반 영역의 중국 대형 모델 Baichuan-13B에 대한 전체 매개변수 지침을 미세 조정합니다. 우리의 훈련 데이터와 훈련 방법은 모든 기본 대형 모델에 적용될 수 있다는 점은 주목할 가치가 있습니다.

DISC-LawLLM에는 세 가지 핵심 기능이 있습니다.

1. 기본 법률 텍스트 처리 기능. 정보 추출, 텍스트 요약 등 법률 텍스트 이해 및 생성의 다양한 기본 기능을 고려하여 기존 NLP 사법 업무 공개 데이터와 실제 법률 관련 텍스트를 기반으로 미세 조정된 데이터를 구축했습니다. 2.법적 추론 능력. 스마트 사법 분야의 업무 요구에 부응하여 판사의 기본 법률 추론 프로세스인 법률 삼단논법을 활용하여 지시 데이터를 재구성하여 모델의 법률 추론 능력을 효과적으로 향상시켰습니다.

3. 사법분야에서는 지식을 검색하고 따라가는 능력이 매우 중요합니다. 스마트 사법 분야의 문제를 해결할 때, 일반적으로 해당 문제의 배경법이나 사례를 기반으로 검색이 필요합니다. 지능형 법적 처리 시스템의 검색 및 규정 준수 기능을 향상시키기 위해 모델의 전체 프레임워크는 그림 5에 나와 있습니다. 다양한 사용자용

03 방법: DISC-Law-SFT 데이터 세트 구성

                 그림 6 DISC-Law-SFT의 구조

DISC-Law-SFT는 두 개의 하위 데이터 세트로 나뉩니다. 즉, DISC-Law-SFT-Pair 및 DISC-Law-SFT-Triplet은 LLM에 법적 추론 기능을 도입하는 반면, 후자는 외부 지식을 활용하는 모델의 능력을 향상시키는 데 도움이 됩니다. C 표 1: DISC-LAW-SFT 데이터 세트 콘텐츠 소개

데이터 소스

DISC-LAW-SFT 데이터 세트 데이터는 원래 세 부분으로 구성되며, 하나는 A 공개 데이터입니다. 법률 정보 추출, 개체 및 관계 추출, 사법 텍스트 요약, 사법 시험 질문 및 답변, 사법 독해, 혐의/문장 예측 등을 포함하는 중국 법률과 관련된 NLP 사법 업무 세트, 둘째, 법률 관련 데이터를 수집합니다. 세 번째는 일반 오픈 소스 데이터 세트인 alpaca_gpt4_data_zh 및 Firefly를 사용하여 다양성을 풍부하게 했습니다. SFT 훈련 단계에서 훈련 세트를 만들고 모델의 발생을 줄입니다. 기본 기능이 저하될 위험이 있습니다.

명령어 쌍 구성

위의 첫 번째 및 두 번째 소스의 데이터를 "입력-출력" 명령 쌍으로 변환한 후 다음 세 가지 방법을 사용하여 명령 데이터를 재구성하여 개선합니다. 데이터 품질.

행동형성

법삼단논법에서 대전제는 적용 가능한 법률 규칙, 소전제는 사건의 사실, 결론은 법적 판단입니다. 이는 판사의 기본적인 법적 추론 과정을 구성합니다. 모든 사건은 다음과 같이 삼단논법을 통해 명확한 결론에 도달할 수 있습니다.
대전제: 법적 규칙
소전제: 사건의 사실
결론: 법적 판단

us GPT-3.5-turbo를 사용하여 행동 형성의 재구성을 완료하고, 출력을 개선하고, 각 결론이 법적 조항과 사례 사실에서 도출되었는지 확인하세요.

Knowledge Expansion

행동 형성이 적용되지 않는 객관식 질문의 경우 법적 지식으로 출력을 직접 확장하여 더 많은 추론 세부 정보를 제공합니다. 많은 법률 관련 시험 및 지식 대회에서는 답변 옵션만 제공합니다. 우리는 LLM을 사용하여 관련 법률 지식을 확장하고 정답을 제공하며 지침 쌍을 재구성합니다.

사고 훈련

CoT(Chain of Thinking)는 모델의 추론 능력을 효과적으로 향상시키는 것으로 입증되었습니다. 모델에 법적 추론 기능을 더욱 강화하기 위해 우리는 모델이 법적 삼단논법을 사용하여 답변을 도출해야 하는 LCoT라고 하는 특정 법적 의미를 가진 사고 체인을 설계했습니다. LCoT는 입력을 변환합니다.
사례: -Law-SFT-Triplet 하위 데이터 세트, 데이터는
형식의 삼중항입니다. 우리는 명령어 쌍 구성에 나열된 세 가지 전략을 사용하여 원본 데이터를 처리하고 입력 및 출력을 얻고 설계합니다. 원본에서 파생되는 경험적 규칙 데이터에서 참조 정보를 추출합니다. DISC-LawLLM의 훈련 과정은 SFT와 검색 향상의 두 단계로 나뉩니다.
검색 향상

LLM을 미세 조정하기 위해 고품질 교육 데이터를 사용하지만 환각이나 오래된 지식으로 인해 부정확한 응답이 생성될 수 있습니다. 이 문제를 해결하기 위해 우리는 DISC-LawLLM을 향상시키는 검색 모듈을 설계했습니다.
사용자 입력이 주어지면 검색기는 입력과의 유사성을 계산하여 지식 기반에서 가장 관련성이 높은 Top-K 문서를 반환합니다. 이러한 후보 문서는 사용자 입력과 함께 당사가 설계한 템플릿을 사용하여 구성한 후 DISC-LawLLM에 입력됩니다. 지식 기반을 쿼리함으로써 모델은 주요 전제를 더 잘 이해할 수 있어 더 정확하고 신뢰할 수 있는 답변을 얻을 수 있습니다.

ㅋㅋ                             그림 7: 검색 강화 DISC-LawLLM

평가 방법

평가 벤치마크 DISC-Law-Eval

우리는 박람회를 만들었습니다. 법제도 평가 벤치마크 DISC-Law-Eval은 객관적인 관점과 주관적인 관점 모두에서 평가하여 현재 스마트 법제도를 종합적으로 평가할 수 있는 벤치마크가 없는 공백을 메워줍니다. ㅋㅋㅋ 그림 8: DISC-Law-Eval 평가 벤치마크

객관적 평가

지능인의 법적 지식과 추론 능력을 객관적이고 정량적으로 평가하기 위해 법률 시스템을 위해 우리는 중국 법률 표준 시험 및 지식 경연 대회의 일련의 단일 항목 및 객관식 질문으로 구성된 객관적인 평가 데이터 세트를 설계하고 문제를 내용 복잡성에 따라 어려움, 보통, 쉬움의 세 가지 범주로 나누었습니다. 그리고 공제 난이도. 이는 모델이 정답을 추론하기 위해 지식을 사용할 수 있는지 여부를 측정하는 보다 까다롭고 신뢰할 수 있는 방법을 제공할 수 있습니다. 정확도를 계산하여 성능을 입증합니다.

주관적 평가

주관적 평가 부분에서는 문답 패러다임을 사용하여 주관식 시험 문제의 과정을 시뮬레이션하여 평가합니다. 우리는 법률 상담, 온라인 포럼, 사법 관련 출판물 및 법률 문서를 통해 고품질 테스트 세트를 직접 구성했습니다. 우리는 GPT-3.5-turbo를 심판 모델로 사용하여 모델의 출력을 평가하고 정확성, 완전성 및 명확성이라는 세 가지 기준을 사용하여 1~5점의 점수를 제공합니다.
평가 결과

모델 비교

DISC-LawLLM 모델(외부 지식 기반 없음)을 4개의 일반 LLM 및 4개의 중국어 법률과 비교 LLM은 비교를 수행합니다. GPT-3.5-turbo, ChatGLM-6B, Baichuan-13B-Chat, Chinese-Alpaca2-13B 포함 LexiLaw, LawGPT, 변호사 LLaMA, ChatLaw.

객관적인 평가 결과

DISC-LawLLM은 다양한 난이도의 모든 테스트에서 동일한 매개변수 수를 갖는 모든 비교 대형 모델을 능가했습니다. 175B 매개변수를 갖춘 GPT-3.5 터보와 비교해도 DISC-LawLLM은 일부 테스트에서 우수한 성능을 보여줍니다. Table 2는 객관적인 평가 결과를 보여주고 있으며, 굵은 글씨는 가장 좋은 결과를, 밑줄은 두 번째로 좋은 결과를 나타낸다.

                                                        표 2: 객관적인 평가 결과

제목 ive 평가 결과
DISC-LawLLM은 객관적인 평가에서 정확성과 명확성 측면에서 종합적으로 가장 높은 점수를 받았습니다. 두 기준 모두. 표 3은 주관적 평가 결과를 나타내며 굵은 글씨는 가장 좋은 결과를 나타냅니다. ㅋㅋ 표 3: 주관적 평가 결과

0 5 요약

다양한 적용 시나리오에서 법률 서비스를 제공하는 지능형 법률 시스템 DISC-LawLLM을 출시했습니다. 법률 분야의 공개 NLP 작업 데이터 세트, 원본 법률 텍스트 및 오픈 소스 일반 지침 데이터 세트를 기반으로 법률 지침을 법률 삼단논법에 따라 재구성하여 감독 및 세부 조정을 수행합니다. 출력의 신뢰성을 높이기 위해 외부 검색 모듈을 추가했습니다. 법적 추론 및 지식 검색 기능을 개선함으로써 DISC-LawLLM은 우리가 구축한 법적 벤치마크 세트에서 기존 법률 LLM보다 성능이 뛰어납니다. 이 분야의 연구는 법적 자원 균형 등을 달성하기 위한 더 많은 전망과 가능성을 가져올 것입니다. 우리는 추가 연구를 촉진하기 위해 구축된 데이터 세트와 모델 가중치를 공개했습니다.