ホームページ テクノロジー周辺機器 AI 復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした

復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした

Sep 29, 2023 pm 01:17 PM
業界 disc-lawllm disc-law-sft

スマートな司法の台頭により、スマートな方法によって推進されるスマートな法制度は、さまざまなグループに利益をもたらすことが期待されています。たとえば、法律専門家向けの事務手続きの簡素化、一般向けの法律相談サービスの提供、法学生向けの学習および試験指導の提供などが挙げられます。

法律知識の独自性と司法業務の多様性により、これまでのスマート司法研究は主に特定の業務向けの自動アルゴリズムの設計に焦点を当てていましたが、これを法的知識に提供するのは困難でした。司法分野における支援サービスの需要は、実現にはほど遠い。大規模言語モデル (LLM) は、従来のさまざまなタスクにおいて強力な機能を実証しており、インテリジェントな法制度のさらなる発展に期待をもたらしています。

最近、復旦大学のデータ インテリジェンスおよびソーシャル コンピューティング研究所 (FudanDISC) は、大規模な言語モデル DISC-LawLLM によって駆動される中国のスマート法律システムをリリースしました。このシステムは、さまざまなユーザー グループにさまざまな法的サービスを提供できます。さらに、研究室は、法言語モデルを客観的および主観的な側面から評価するための評価ベンチマーク DISC-Law-Eval を構築し、評価におけるモデルのパフォーマンスは、既存の大規模な法モデルと比較して明らかな利点を示しました。

研究チームは、300,000 個の DISC-Law-SFT を含む高品質の教師あり微調整 (SFT) データセットもリリースしました。モデル パラメーターと技術レポートも公開されています。オープンソース。

復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした

  • ホームページアドレス: https://law.fudan-disc.com
  • Github アドレス: https://github.com/FudanDISC/DISC-LawLLM
  • 技術レポート: https://arxiv.org/abs/2309.11325

01 サンプル表示

#ユーザーが法的な質問がある場合、モデルを参照して説明することができます。質問すると、モデルは関連する法規制と説明、推奨される解決策などを提供します。

復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした

司法機関はモデルを使用して法的文章の要約、裁判事件の検出、エンティティと関係の抽出などを完了し、事務処理を削減し、作業を改善できます。効率。

図 2 司法文書の分析
復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした
##Q は司法審査プロセスの準備をしていますでは、モデルに質問して、法的知識を強化し、法的試験の問題に答えることができます。

法的規定によりサポートされている場合、モデルは質問に基づいてナレッジ ベース内の関連コンテンツを検索し、回答します。

復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした

# 02 disc-lawllmの紹介

disc-lawllm一般分野で構築した高品質データセット DISC-Law-SFT をベースにしています 中国大型モデル Baichuan -13B のフルパラメータコマンドを微調整することで得られる大型法定モデル。私たちのトレーニング データとトレーニング方法は、あらゆる基本的な大規模モデルに適応できることは注目に値します。

復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした#DISC-LawLLM には 3 つのコア機能があります:

#1. 基本的な法的テキスト処理機能。情報抽出、文章の要約など、法文の理解と生成のさまざまな基本機能を考慮して、既存の NLP 司法タスクの公開データと現実世界の法律関連のテキストに基づいて、微調整されたデータを構築しました。 ####2 法的推論的思考力。スマート司法分野のタスクのニーズに応えて、裁判官の基本的な法的推論プロセスである法的三段論法を使用して指示データを再構築し、モデルの法的推論能力を効果的に向上させました。

3. 司法分野の知識を検索して追跡する能力は非常に重要です。スマートジャスティスの分野で問題を解決する場合、通常、問題の背景にある法律や事例に基づいて検索する必要があります。インテリジェント法務処理システムの検索機能とコンプライアンス機能を強化するために、検索機能強化モジュールを搭載しました。

モデルの全体的なフレームワークを図 5 に示します。

復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした# disc-law-sft

#図6の構造の構造の構造を設定しますDISC-Law-SFT

DISC-Law-SFT は、DISC-Law-SFT-Pair と DISC- という 2 つのサブデータセットに分割されています。 Law-SFT-Triplet: 前者は LLM 機能に法的推論を導入し、後者は外部知識を利用するモデルの能力を向上させるのに役立ちます。 復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした

表 1: DISC-Law-SFT データセットの内容の概要

##データソース

DISC-Law-SFT データセットのデータは 3 つの部分から構成されており、最初は NLP 司法タスク公開データセットです。法律情報の抽出、実体と関係の抽出、司法文章の要約、司法試験の質問と回答、司法読解、犯罪/量刑の予測などを含む中国法に関連するものであり、第二に、現実世界から法律関連の原文を収集します。 、法令、裁判例、判決文書など、司法関連試験など、3 番目は一般的なオープンソース データセットです。alpaca_gpt4_data_zh と Firefly を使用しました。 SFT トレーニング段階でモデルの基本的な機能が低下するリスク。

上記のものを構築するための指示

ソース データが「入出力」命令ペアに変換された後、データ品質を向上させるために、次の 3 つの方法を使用して命令データを再構築します。

    行動形成

法律三段論法では、大規模な大前提は適用される法的規則であり、小前提は事件の事実であり、結論は法的判決です。これは裁判官にとっての基本的な法的推論プロセスを構成します。すべての事件は、次のような三段論法を通じて明確な結論に導くことができます。
大前提: 法的規則
小前提: 事件の事実
結論: 法的判断

GPT-3.5-turboを使用して、行動形成出力の再構築と洗練を完了します。 、それぞれの結論が法的規定と事件の事実から導き出されるようにします。

#知識の拡張
行動形成には適用されません多肢選択式の質問では、法律知識を直接使用して出力を拡張し、推論の詳細を提供します。多くの法律関連の試験や知識コンテストでは解答の選択肢のみが提供されますが、当社では LLM を使用して、関連する法律知識を拡張し、正解を提供し、指導ペアを再構築します。

思考の育成
思考の連鎖 (CoT)モデルの推論能力を効果的に向上させることが証明されています。モデルに法的推論機能をさらに強化するために、LCoT と呼ばれる特定の法的意味を持つ思考チェーンを設計しました。これには、モデルが法的三段論法を使用して答えを導き出すことが必要です。 LCoTは入力ジャッジを変換します。
ケース: ##命令トリプレットの構築
検索拡張モデルをトレーニングするために、DISC-Law-SFT-Triplet を構築しました。サブデータセット、データは # # 形式のトリプルです。命令ペアの構築にリストされている 3 つの戦略を使用して、元のデータを処理し、入力と出力を取得し、元のデータから参照情報を抽出するためのヒューリスティック ルールを設計します。
#04 実験

##トレーニング

DISC-LawLLM のトレーニング プロセスは、SFT と検索強化の 2 つの段階に分かれています。

#検索の強化

高品質の命令データは LLM を微調整しますが、幻覚や古い知識により不正確な応答が生成される可能性があります。この問題を解決するために、DISC-LawLLM を強化する検索モジュールを設計しました。
ユーザー入力が与えられると、取得者は入力との類似性を計算することにより、ナレッジ ベースから最も関連性の高い Top-K ドキュメントを返します。これらの候補文書は、ユーザー入力とともに、当社が設計したテンプレートを使用して構築され、DISC-LawLLM に入力されます。ナレッジ ベースにクエリを実行することで、モデルは主な前提条件をより深く理解できるようになり、より正確で信頼性の高い回答が得られます。

図 7: 取得強化された DISC-LawLLM

評価方法

  • 評価ベンチマーク DISC-Law-Eval

当社は DISC-を構築しました。 Law-Evalは、公平なスマートリーガルシステム評価ベンチマークであり、スマートリーガルシステムを総合的に評価するベンチマークが存在しない現状を補い、客観的・主観的両面から評価を行います。

復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした

図 8: DISC-Law-Eval 評価ベンチマーク

  • 客観的評価

インテリジェント法システムの法的知識と推論能力を客観的かつ定量的に評価するために、客観的な評価データセットは、中国の法律標準試験および知識コンテストからの一連の単一項目および多肢選択問題で構成されており、問題は内容の複雑さと演繹的難易度に基づいて、難しい、普通、簡単の 3 つのレベルに分類されます。これは、モデルがその知識を使用して正しい答えを推論できるかどうかを測定する、より挑戦的で信頼性の高い方法を提供します。精度を計算して性能を実証します。

  • #主観評価

主観評価の部分については、評価は質疑応答のパラダイムで実施され、主観的な試験問題のプロセスをシミュレートします。私たちは、法律相談、オンライン フォーラム、司法関連の出版物、法的文書から高品質のテスト セットを手作業で構築しました。 GPT-3.5-turbo を審判モデルとして使用してモデルの出力を評価し、精度、完全性、明瞭さの 3 つの基準を使用して 1 から 5 のスコアを提供します。

#評価結果

##比較モデル
#モデル DISC-LawLLM (外部知識ベースなし) を、GPT-3.5-turbo、ChatGLM-6B、Baichuan を含む 4 つの一般 LLM および 4 つの中国の法律 LLM と比較します。 -13B-チャット、中国人-Alpaca2-13B; LexiLaw、LawGPT、弁護士 LLaMA、ChatLaw。

#客観的な評価結果
  • DISC-LawLLM 全体パラメータ数が等しい大規模モデルは、さまざまな難易度のテストですべての比較を上回りました。 175B パラメータの GPT-3.5-turbo と比較しても、DISC-LawLLM はいくつかのテストで優れたパフォーマンスを示します。客観的な評価結果を表 2 に示します。太字は最良の結果、下線は次に良い結果を示します。

##表2:客観的評価結果

復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした##主観的評価結果##

  • 客観的なレビューでは、DISC-LawLLM が最高の総合スコアと、正確さと明確さの 2 つの基準で最高のスコアを獲得しました。主観評価結果を表3に示す。太字は最良の結果を示す。

##表3:主観的評価結果

復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースした

05 概要

当社は、複数のアプリケーションシナリオで法務サービスを提供するインテリジェント法務システム DISC-LawLLM をリリースしました。法務分野の公開 NLP タスク データ セット、元の法文書、およびオープンソースの一般指示データ セットに基づいて、法的指示は、監督と微調整のために法的三段論法に従って再構築されます。出力の信頼性を向上させるために、外部検索モジュールを追加しました。 DISC-LawLLM は、法的推論と知識の検索機能を向上させることにより、当社が構築した法的ベンチマーク セットにおいて既存の法的 LLM よりも優れたパフォーマンスを発揮します。この分野の研究は、法的資源のバランスなどを達成するためのより多くの見通しと可能性をもたらします。私たちは、さらなる研究を促進するために、構築されたデータセットとモデル重みを公開しました。

以上が復旦大学のチームは、司法評価ベンチマークとオープンソースの30万件の微調整されたデータを構築するために、中国のスマートリーガルシステムであるDISC-LawLLMをリリースしたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した 初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました 世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました Aug 22, 2024 pm 10:35 PM

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Sep 03, 2024 pm 05:18 PM

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました 宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました Aug 08, 2024 am 07:02 AM

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

中国初の大型UIモデル登場! Motiff の大規模モデルはデザイナーにとって最適なアシスタントを作成し、UI デザインのワークフローを最適化します 中国初の大型UIモデル登場! Motiff の大規模モデルはデザイナーにとって最適なアシスタントを作成し、UI デザインのワークフローを最適化します Aug 19, 2024 pm 04:48 PM

人工知能は想像を超えるスピードで発展しています。 GPT-4 がマルチモーダル技術を一般に公開して以来、マルチモーダル大型モデルは急速な開発段階に入り、純粋なモデルの研究開発から垂直分野での探査と応用へと徐々に移行し、あらゆる分野に深く統合されています。インターフェイス インタラクションの分野では、Google や Apple などの国際的なテクノロジー大手が、携帯電話 AI 革命を前進させる唯一の方法とみなされている大規模なマルチモーダル UI モデルの研究開発に投資してきました。このような状況の中で、中国初の大規模UIモデルが誕生しました。 8月17日、国際エクスペリエンスデザインカンファレンス「IXDC2024」において、AI時代のデザインツールであるMotiffは、独自開発したUIマルチモーダルモデル「Motiff Model」を発表した。世界初のUIデザインツールです

See all articles