Das Team der Fudan-Universität veröffentlichte DISC-LawLLM, ein chinesisches intelligentes Rechtssystem, um einen Benchmark für die gerichtliche Bewertung zu erstellen und 300.000 fein abgestimmte Daten als Open Source bereitzustellen

Mit dem Aufstieg der intelligenten Justiz wird erwartet, dass intelligente Rechtssysteme, die auf intelligenten Methoden basieren, verschiedenen Gruppen zugute kommen. Zum Beispiel die Erleichterung des Papierkrams für Juristen, die Bereitstellung von Rechtsberatungsdiensten für die breite Öffentlichkeit und die Bereitstellung von Studien- und Prüfungscoaching für Jurastudenten.

Aufgrund der Einzigartigkeit des juristischen Wissens und der Vielfalt der gerichtlichen Aufgaben konzentrierte sich die bisherige intelligente Justizforschung hauptsächlich auf die Entwicklung automatisierter Algorithmen für bestimmte Aufgaben, was der Nachfrage nach unterstützenden Dienstleistungen im gerichtlichen Bereich nur schwer gerecht werden konnte und noch immer bestand weit weg von der Umsetzung von Anwendungen. Große Sprachmodelle (LLMs) haben bei verschiedenen traditionellen Aufgaben leistungsstarke Fähigkeiten bewiesen und geben Anlass zur Hoffnung auf die weitere Entwicklung intelligenter Rechtssysteme.

Kürzlich hat das Fudan University Data Intelligence and Social Computing Laboratory (FudanDISC) ein chinesisches intelligentes Rechtssystem veröffentlicht, das auf einem großen Sprachmodell basiert – DISC-LawLLM. Das System kann verschiedenen Benutzergruppen eine Vielzahl von Rechtsdienstleistungen anbieten. Darüber hinaus hat das Labor auch einen Bewertungsbenchmark DISC-Law-Eval erstellt, um das Rechtssprachenmodell sowohl unter objektiven als auch unter subjektiven Aspekten zu bewerten. Die Leistung des Modells bei der Bewertung weist offensichtliche Vorteile im Vergleich zu den bestehenden großen Rechtsmodellen auf.

Das Forschungsteam hat außerdem einen hochwertigen überwachten Feinabstimmungsdatensatz (SFT) mit 300.000 DISC-Law-SFT veröffentlicht. Die Modellparameter und technischen Berichte sind ebenfalls Open Source.

• Homepage-Adresse: https://law.fudan-disc.com
• Github-Adresse: https://github.com/FudanDISC/DISC-LawLLM
• Technischer Bericht: https: //arxiv.org/abs/2309.11325

01 Beispielanzeige

Wenn Benutzer rechtliche Fragen haben, können sie das Modell konsultieren und die Frage beschreiben, und das Modell gibt relevante Gesetzesvorschriften und Erläuterungen, Lösungsvorschläge etc. Abbildung 1: Beispiel für eine Rechtsberatung书 Abbildung 2 Analyse von Gerichtsdokumenten

^{Studierende juristischer Hauptfächer können bei der Vorbereitung gerichtlicher Prüfungen Fragen an Modelle stellen, zur Festigung juristischer Kenntnisse beitragen und Fragen zu juristischen Prüfungen beantworten.手 Abbildung 3 Beispiel für einen Prüfungsassistenten}

Wenn die externe Methode zur Unterstützung erforderlich ist, ruft das Modell entsprechend dem Problem relevante Inhalte in der Wissensdatenbank ab und gibt eine Antwort.场 Abbildung 4 Abrufdialog in erweiterten Szenen

02 DISC-Lawllm Einführung

Disc-Lawllm basiert auf dem hochwertigen Datensatz, den wir erstellt haben Feinabstimmung der vollständigen Parameteranweisungen für das allgemeine chinesische Großmodell Baichuan-13B. Es ist erwähnenswert, dass unsere Trainingsdaten und Trainingsmethoden an jedes große Basismodell angepasst werden können.

^{DISC-LawLLM verfügt über drei Kernfunktionen:}

1. Grundlegende juristische Textverarbeitungsfunktionen. Angesichts der unterschiedlichen Grundfähigkeiten des Verständnisses und der Generierung von Rechtstexten, einschließlich Informationsextraktion, Textzusammenfassung usw., haben wir fein abgestimmte Daten auf der Grundlage bestehender öffentlicher NLP-Daten zu juristischen Aufgaben und realen Rechtstexten erstellt.

2. Fähigkeit zum juristischen Denken. Als Reaktion auf die Anforderungen von Aufgaben im Bereich der intelligenten Justiz verwendeten wir den juristischen Syllogismus, den grundlegenden Rechtsbegründungsprozess von Richtern, um die Anweisungsdaten zu rekonstruieren und so die Fähigkeit des Modells zur Rechtsbegründung effektiv zu verbessern.

3. Die Fähigkeit, Wissen im juristischen Bereich abzurufen und zu verfolgen, ist sehr wichtig. Bei der Lösung von Problemen im Bereich Smart Justice ist es in der Regel notwendig, nach den relevanten Hintergrundgesetzen oder Problemfällen zu suchen. Um die Abruf- und Compliance-Fähigkeiten des intelligenten Rechtsverarbeitungssystems zu verbessern, haben wir es mit einem Abruferweiterungsmodul ausgestattet. Der Gesamtrahmen des Modells ist in Abbildung 5 dargestellt: Für verschiedene Benutzer

03 Methode: Konstruktion des Datensatzes DISC-Law-SFT

-Datensätze, nämlich DISC-Law-SFT-Pair und DISC-Law-SFT-Triplet führen juristische Argumentationsfähigkeiten in LLM ein, während letzteres dazu beiträgt, die Fähigkeit des Modells zu verbessern, externes Wissen zu nutzen.

C Tabelle 1: Inhalt des DISC-LAW-SFT-Datensatzes Einführung

Datenquelle

DISC-LAW-SFT-Datensatzdaten bestehen ursprünglich aus drei Teilen, einer davon mit A-öffentlichen Daten Eine Reihe von NLP-Rechtsaufgaben im Zusammenhang mit dem chinesischen Recht, einschließlich der Extraktion von Rechtsinformationen, der Extraktion von Entitäten und Beziehungen, der Zusammenfassung von Gerichtstexten, Fragen und Antworten zur Gerichtsverhandlung, dem Verständnis von Gerichtslesen, der Vorhersage von Anklagen/Sätzen usw.; zweitens werden rechtsbezogene Daten gesammelt Aus der realen Welt stammen Originaltexte wie Gesetze und Vorschriften, Gerichtsurteile, gerichtliche Untersuchungen usw.; der dritte ist ein allgemeiner Open-Source-Datensatz. Wir haben alpaca_gpt4_data_zh und Firefly verwendet, der die Vielfalt bereichern kann Trainingssatz und reduzieren das Auftreten des Modells während der SFT-Trainingsphase. Das Risiko einer Herabstufung grundlegender Fähigkeiten.

Anweisungspaarkonstruktion

Nachdem wir die Daten aus der ersten und zweiten Quelle oben in „Eingabe-Ausgabe“-Anweisungspaare konvertiert haben, verwenden wir die folgenden drei Methoden, um die Anweisungsdaten zu rekonstruieren und zu verbessern Datenqualität.

Verhaltensgestaltung

In einem juristischen Syllogismus sind die geltenden Rechtsregeln die Hauptprämisse, die Nebenprämisse der Sachverhalt und die Schlussfolgerung das Rechtsurteil. Dies stellt einen grundlegenden rechtlichen Argumentationsprozess für Richter dar. Jeder Fall kann durch einen Syllogismus wie folgt zu einem eindeutigen Abschluss gebracht werden:

Hauptprämisse: rechtliche Regeln

Nebenprämisse: Sachverhalt

Fazit: rechtliches Urteil

uns Verwenden Sie GPT-3.5-turbo, um die Rekonstruktion der Verhaltensformung abzuschließen, die Ausgabe zu verfeinern und sicherzustellen, dass jede Schlussfolgerung aus einer Rechtsklausel und einem Sachverhalt gezogen wird.

Wissenserweiterung

Bei Multiple-Choice-Fragen, bei denen Verhaltensformung nicht anwendbar ist, erweitern wir die Ausgabe direkt mit juristischem Wissen, um weitere Begründungsdetails bereitzustellen. Bei vielen juristischen Prüfungen und Wissenswettbewerben sind nur Antwortmöglichkeiten vorgesehen, wir nutzen LLM, um das juristische Wissen zu erweitern, die richtigen Antworten zu geben und die Instruktionspaare zu rekonstruieren.

Denktraining

Chain of Thinking (CoT) verbessert nachweislich effektiv die Denkfähigkeit des Modells. Um das Modell noch weiter mit juristischen Argumentationsfunktionen auszustatten, haben wir eine Denkkette mit spezifischer rechtlicher Bedeutung namens LCoT entworfen, die erfordert, dass das Modell juristische Syllogismen verwendet, um Antworten abzuleiten. LCoT konvertiert die Eingabe

Fall: -Law-SFT-Triplet-Unterdatensatz, die Daten sind ein Triplett in Form von

. Wir verwenden die drei in der Anweisungspaarkonstruktion aufgeführten Strategien, um die Originaldaten zu verarbeiten, die Eingabe und Ausgabe zu erhalten und zu entwerfen Heuristische Regeln, um aus den ursprünglichen Daten Referenzinformationen zu extrahieren. Der Trainingsprozess von DISC-LawLLM ist in zwei Phasen unterteilt: SFT und Retrieval Enhancement.

Abrufverbesserung

Während wir hochwertige Instruktionsdaten zur Feinabstimmung von LLM verwenden, kann es aufgrund von Halluzinationen oder veraltetem Wissen zu ungenauen Antworten kommen. Um dieses Problem zu lösen, haben wir ein Retrieval-Modul zur Erweiterung von DISC-LawLLM entwickelt.

Bei einer Benutzereingabe gibt der Retriever die relevantesten Top-K-Dokumente aus der Wissensdatenbank zurück, indem er ihre Ähnlichkeit mit der Eingabe berechnet. Diese Kandidatendokumente werden zusammen mit den Benutzereingaben mithilfe von uns entworfener Vorlagen erstellt und dann in DISC-LawLLM eingegeben. Durch Abfragen der Wissensdatenbank kann das Modell die Hauptprämissen besser verstehen, was zu genaueren und zuverlässigeren Antworten führt.

                                                                                                                                 ^{Abbildung 7: Retrieval-enhanced DISC-LawLLM}

Bewertungsmethode

.
• Bewertungsbenchmark DISC-Law-Eval

Wir haben eine Messe gebaut. Der smart Der Benchmark zur Bewertung von Rechtssystemen DISC-Law-Eval bewertet sowohl aus objektiver als auch aus subjektiver Sicht und schließt damit die Lücke, die es derzeit noch nicht gibt, um intelligente Rechtssysteme umfassend zu bewerten.

                                                                                                                                                                           

Um das Rechtswissen und die Argumentationsfähigkeit intelligenter Rechtssysteme objektiv und quantitativ zu bewerten, haben wir einen objektiven Bewertungsdatensatz entworfen, der aus einer Reihe von Single-Item- und Multiple-Choice-Fragen besteht aus chinesischen juristischen standardisierten Prüfungen und Wissenswettbewerben und teilte die Fragen in drei Kategorien ein: schwierig, normal und einfach, basierend auf der Komplexität des Inhalts und dem Schwierigkeitsgrad der Schlussfolgerungen. Dies kann eine anspruchsvollere und zuverlässigere Möglichkeit bieten, zu messen, ob das Modell sein Wissen nutzen kann, um über die richtige Antwort nachzudenken. Wir demonstrieren Leistung durch Berechnung der Genauigkeit.

Subjektive Bewertung

Im subjektiven Bewertungsteil verwenden wir das Frage-Antwort-Paradigma zur Bewertung und simulieren den Prozess subjektiver Prüfungsfragen. Aus Rechtsberatungen, Online-Foren, justizbezogenen Veröffentlichungen und juristischen Dokumenten haben wir von Hand einen hochwertigen Testsatz zusammengestellt. Wir verwenden GPT-3.5-turbo als Referenzmodell, um die Ausgabe des Modells zu bewerten und anhand von drei Kriterien eine Bewertung von 1 bis 5 zu vergeben: Genauigkeit, Vollständigkeit und Klarheit.

Bewertungsergebnisse

Vergleichsmodelle

Vergleichen Sie unser Modell DISC-LawLLM (ohne externe Wissensbasis) mit 4 allgemeinen LLMs und 4 juristischen LLMs führen Vergleiche durch, einschließlich GPT-3.5-turbo, ChatGLM-6B, Baichuan-13B-Chat, Chinese-Alpaca2-13B; LawGPT, Lawyer LLaMA, ChatLaw.

Objektive Bewertungsergebnisse

DISC-LawLLM übertraf alle verglichenen großen Modelle mit der gleichen Anzahl an Parametern in allen Tests auf unterschiedlichen Schwierigkeitsgraden. Selbst im Vergleich zu GPT-3.5-turbo mit 175B-Parametern zeigt DISC-LawLLM bei einigen Tests eine überlegene Leistung. Tabelle 2 zeigt die objektiven Bewertungsergebnisse, wobei Fettdruck das beste Ergebnis und Unterstreichung das zweitbeste Ergebnis angibt.

                                                    Tabelle 2: Ergebnisse der objektiven Bewertung Ergebnisse der subjektiven Bewertung

Bei objektiven Bewertungen erhielt DISC-LawLLM die höchste Gesamtpunktzahl in Bezug auf Genauigkeit und Klarheit beide Kriterien. Tabelle 3 zeigt die subjektiven Bewertungsergebnisse, wobei fett gedruckt die besten Ergebnisse anzeigt.

Tabelle 3: Subjektive Evaluierungsergebnisse

05 Zusammenfassung

Wir veröffentlichten Disc-Lawllm, ein intelligentes Rechtssystem, das Rechtsdienstleistungen in mehreren Anwendungsszenarien erbringt. Basierend auf dem öffentlichen NLP-Aufgabendatensatz im Rechtsbereich, dem ursprünglichen Gesetzestext und dem Open-Source-Datensatz für allgemeine Anweisungen werden die rechtlichen Anweisungen gemäß dem juristischen Syllogismus zur Überwachung und Feinabstimmung rekonstruiert. Um die Zuverlässigkeit der Ausgabe zu verbessern, haben wir ein externes Abrufmodul hinzugefügt. Durch die Verbesserung der juristischen Argumentations- und Wissensabruffähigkeiten übertrifft DISC-LawLLM bestehende juristische LLMs auf dem von uns erstellten juristischen Benchmark-Set. Forschung in diesem Bereich wird mehr Perspektiven und Möglichkeiten zur Erreichung eines rechtlichen Ressourcengleichgewichts usw. bringen. Wir haben den erstellten Datensatz und die Modellgewichte veröffentlicht, um weitere Forschung zu fördern.

Das obige ist der detaillierte Inhalt vonDas Team der Fudan-Universität veröffentlichte DISC-LawLLM, ein chinesisches intelligentes Rechtssystem, um einen Benchmark für die gerichtliche Bewertung zu erstellen und 300.000 fein abgestimmte Daten als Open Source bereitzustellen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!