目次
チーム紹介
ホームページ テクノロジー周辺機器 AI Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

Apr 11, 2023 am 10:01 AM
AI

ChatGPT は最も先進的な AI であり、最も人気のあるアプリケーションです。昨年 11 月末のリリース以来、月間アクティブ ユーザー数は 2 か月で 1 億人を超え、ユーザー増加数で史上 1 位にランクインしました。グローバル インターネットの 1 つ。

敷居の高い技術でもあります。 ChatGPT のトレーニング プロセスには大規模なコンピューティング リソースと高額なラベル付けコストが必要なため、現在中国では一般に公開されている同様の製品はありません。 Baidu、Alibaba、JD.com などの大手インターネット企業は、いずれも「国産 ChatGPT」を構築しており、近い将来リリースするというニュースを発表しています。

大手メーカーの製品が登場する前に、まず学術界にニュースが流れました。 2 月 20 日の夜、復旦大学の自然言語処理研究室は、ChatGPT 機能を備えた言語モデルである MOSS をリリースし、内部テストに一般公開しました。

  • MOSS 体験リンク: https://moss.fastnlp.top/
  • MOSS プロジェクトのホームページ: https://txsun1997.github.io/blogs/moss.html

Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

# #MOSS の名前は映画「流浪の地球」に由来しており、映画と同じくらい人気があり、MOSS が発表したニュースはすぐに Zhihu やその他のプラットフォームのホット検索リストのトップに上り詰めました。

Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

ただし、SF とは異なり、現実世界の AI はまだ量子コンピューターの恩恵を受けていません。一般公開まであと 24 年もかかりません。昨晩はインスタント アクセスの過剰な圧力により、何時間もの間、MOSS サーバーが過密状態になりました。これは、言語モデルの生成に対するみんなの期待がいかに高かったかを示しています。

復旦大学の研究者によると、現在内部テスト中であり、ユーザーインタラクションの反復的な最適化は公開テストには適していません。

Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

自然言語処理が AI 分野における最大の課題の 1 つであることはわかっていますが、すでにブレークスルーは発生しています。 , 今月オンラインで開始された新しい Bing 検索と、Google がリリースした競合製品 BARD では、テスト中に時々問題が発生します。復旦大学の MOSS レベルはどのくらいですか?

会話 MOSSさん、レベルはどうですか?

MOSS の基本的な機能は ChatGPT と似ており、テキスト生成、テキスト要約、翻訳、コード生成、チャット、等プレビュー期間中は、MOSS の使用は無料です。

Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

#MOSS は ChatGPT と同じで、構築プロセスには自然言語の基本モデルのトレーニングと人間を理解するための対話能力のトレーニングが含まれます意図は 2 段階。

Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

##プロジェクトのホームページによると、MOSS と ChatGPT の主な違いは次のとおりです。

MOSS のパラメータは ChatGPT よりもはるかに少ないです。

    MOSS は人間や他の AI モデルと会話することで学習しますが、ChatGPT は人間のフィードバックによる強化学習 (RLHF) を通じてトレーニングされます。
  • MOSS は将来の研究を促進するためにオープンソースになる予定ですが、ChatGPT はオープンソースにならない可能性があります。
  • # MOSS がどのように会話型であるかをいくつかの例で見てみましょう。以下は、MOSS によって生成された対話レコードの一部です:

この例では、ユーザーはまず MOSS に 5 つの SF 映画を推薦するように依頼し、次に MOSS にこれらの映画とその監督を表示するテーブルを生成するように依頼し、最後に MOSS にテーブルに新しい列を挿入するように依頼しました。これらの映画を表示します。このタスクを完了するには、言語モデルに強力なマルチラウンド インタラクション機能と命令理解機能が必要ですが、MOSS は明らかにこれら 2 つの側面で優れたパフォーマンスを発揮します。

ChatGPT と同様に、MOSS は事実上の誤りの例を出力することがあります。

複数回の対話に加えて、MOSS 生成コードも簡単です。以下の例では、MOSS はクイックソートを実装するための Python コードをユーザーに提供するだけでなく、ユーザーの要求に応じてそのコードの説明や使用例も提供することができ、段階的に教えるプログラマーであると言えます。

Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

MOSS にコードの作成を手伝ってもらうだけでなく、コードを作成するためのコードの詳細について MOSS に質問することもできます。コードを理解するのに役立ちます。以下の例では、ユーザーが MOSS にプログラミング言語とコードの機能について質問し、さらにその関数の役割について質問したところ、MOSS は満足のいく回答を返しました。

Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

#さらに、MOSS には人間の価値観もあり、理不尽な質問に答えるよう求められた場合、MOSS は回答を拒否します。正しいアドバイスを与える。

Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

MOSS は、トレーニングに数百億のパラメーターを備えた自社開発モデルを使用していることがわかります。対話能力のトレーニング段階で、OpenAI は少なくとも数十万の人間による指示を収集しました。これにより、さまざまな業界のプロのアノテーターが指示を作成し、それをモデル ベースに入力できるようになり、ChatGPT がさまざまな指示を徐々に理解できるようになりました。 Fudan チームはこれまでとは異なる技術的ルートを採用し、MOSS が人間や他の AI モデルと対話できるようにすることで、学習効率と研究開発効率を大幅に向上させ、対話能力トレーニングを短時間で効率的に完了しました。

R&D チームは、MOSS は ChatGPT の一部の機能を実装しましたが、まだ多くの制限があると述べ、高品質のデータ、コンピューティング リソース、モデル能力が不足しているため、MOSS はまだまだ遠いです。ChatGPT で。

    トレーニング データ内の多言語コーパスが限られているため、MOSS は英語以外の言語のテキストの理解と生成がうまくいきません。チームは現在、中国語スキルを向上させるための改良版を開発中です。
  • モデルの容量が比較的小さいため、MOSS には十分な世界の知識が含まれていません。したがって、MOSS によって生成される一部の応答には、誤解を招く情報または虚偽の情報が含まれる可能性があります。
  • MOSS は、回りくどい方法で実行したり、指示に従わなかったりすることがあります。この場合、ユーザーは満足のいく応答を得るためにプロンプ​​トを数回再生成または変更する必要がある場合があります。チームは、指示に従う能力と生産性を積極的に向上させています。
  • MOSS は、プロンプトによって非倫理的または有害な反応を引き起こす場合があります。ユーザーは「嫌い」をクリックすることでこの動作を減らすことができ、チームは次のリリースでモデルを更新します。
研究チームは、MOSS の現在のバージョンのパフォーマンスはまだ不安定で、データセットの問題の影響も受けていると指摘しました。「MOSS の英語の解答レベルはより高いです」そのモデルのおかげで、ベースは 3,000 億を超える英語の単語を学習しましたが、約 300 億の中国語の単語だけを学習しました。」

リリース後も、チームは引き続き提供し続けます。 MOSS のアクセス可能なインターフェイスは、ユーザーの貴重なフィードバック (許可を得て) に基づいてモデルを継続的に改善します。

研究者らは、将来的には、人工知能と関連する学際的テーマにおける Fudan の研究結果を組み合わせて、MOSS に描画、音声、作曲などのマルチモーダル機能を提供することも計画しています。科学者を支援するために強化する 効率的な科学研究を実施する能力など

MOSS が大規模な国内対話モデルの開発に向けて良いスタートを切れることを願っています。

チーム紹介

MOSS の主な著者は 2 人です。復旦大学の Qiu Xipeng 教授と博士課程の学生 Sun Tianxiang です。さらに、数人のメンバーがプロジェクトに貢献しました。

Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

Qiu Xipeng は、復旦大学コンピュータ科学技術学部の教授兼博士指導教員です。全国優秀若手学者である彼は、復旦大学で理学士号と博士号を取得しました。主に自然言語処理、深層学習などの研究に従事し、CCFカテゴリーA/Bの論文を70本以上発表、ACL 2017優秀論文賞(CCFカテゴリーA)、CCL 2019最優秀論文賞、「中国の科学」を受賞:Technical Sciences」 2021年High Impact Paper Awardにおいて、PaperDigest発行のIJCAI/ACL/EMNLPの最も影響力のある論文として5論文が選出されました(被引用数は今大会トップ20入り)。オープンソースのモノグラフ「ニューラル ネットワークとディープ ラーニング」を出版し、Github のフォロワー数は 15,000 人、Douban スコアは 9.4 でした。彼は、オープンソース フレームワーク FudanNLP および FastNLP の開発を主宰し、国内外の何百ものユニットで使用されてきました。 2015年に第1回中国科学技術協会青少年人材育成プロジェクトに選出され、2018年に銭維昌中国情報処理科学技術賞の青少年イノベーション賞一等賞を受賞、2020年には優秀賞を受賞した。第4回上海大学若手教師教育コンクール優秀賞、2021年第1回上海コンピュータ協会教育功労賞最優秀賞(第一回修了者)などを受賞。学生は、複数の第一レベルの学術奨学金、Microsoft Scholars、Baidu Scholarships などを獲得できるよう訓練を受けています。

Sun Tianxiang は復旦大学コンピューター サイエンス学部の博士課程の学生で、指導教員は Qiu Xipeng 教授と Huang Xuanjing 教授です。 2019年に西安電子科学技術大学を卒業。研究対象は、機械学習と自然言語処理におけるその応用、特に事前トレーニングされた言語モデルの効率的な微調整と推論、マルチタスク学習、知識表現学習などに焦点を当てています。 ICML、ACL、NAACL、AAAI、COLINGなどの学会で筆頭著者として複数の論文を発表。

以上がFudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Jun 28, 2024 am 03:51 AM

このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Jun 10, 2024 am 11:08 AM

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

GenAI および LLM の技術面接に関する 7 つのクールな質問 GenAI および LLM の技術面接に関する 7 つのクールな質問 Jun 07, 2024 am 10:06 AM

AIGC について詳しくは、51CTOAI.x コミュニティ https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou を参照してください。これらの質問は、インターネット上のどこでも見られる従来の質問バンクとは異なります。既成概念にとらわれずに考える必要があります。大規模言語モデル (LLM) は、データ サイエンス、生成人工知能 (GenAI)、および人工知能の分野でますます重要になっています。これらの複雑なアルゴリズムは人間のスキルを向上させ、多くの業界で効率とイノベーションを推進し、企業が競争力を維持するための鍵となります。 LLM は、自然言語処理、テキスト生成、音声認識、推奨システムなどの分野で幅広い用途に使用できます。 LLM は大量のデータから学習することでテキストを生成できます。

微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります 微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります Jun 11, 2024 pm 03:57 PM

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 Jul 25, 2024 am 06:42 AM

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 Jul 17, 2024 pm 06:37 PM

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性​​を実証しています。 「S」で始まる関連研究

あなたが知らない機械学習の 5 つの流派 あなたが知らない機械学習の 5 つの流派 Jun 05, 2024 pm 08:51 PM

機械学習は人工知能の重要な分野であり、明示的にプログラムしなくてもコンピューターにデータから学習して能力を向上させる機能を提供します。機械学習は、画像認識や自然言語処理から、レコメンデーションシステムや不正行為検出に至るまで、さまざまな分野で幅広く応用されており、私たちの生活様式を変えつつあります。機械学習の分野にはさまざまな手法や理論があり、その中で最も影響力のある 5 つの手法は「機械学習の 5 つの流派」と呼ばれています。 5 つの主要な学派は、象徴学派、コネクショニスト学派、進化学派、ベイジアン学派、およびアナロジー学派です。 1. 象徴主義は、象徴主義とも呼ばれ、論理的推論と知識の表現のためのシンボルの使用を強調します。この学派は、学習は既存の既存の要素を介した逆演繹のプロセスであると信じています。

SKハイニックスは8月6日に12層HBM3E、321層NANDなどのAI関連新製品を展示する。 SKハイニックスは8月6日に12層HBM3E、321層NANDなどのAI関連新製品を展示する。 Aug 01, 2024 pm 09:40 PM

8月1日の本サイトのニュースによると、SKハイニックスは本日(8月1日)ブログ投稿を発表し、8月6日から8日まで米国カリフォルニア州サンタクララで開催されるグローバル半導体メモリサミットFMS2024に参加すると発表し、多くの新世代の製品。フューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) の紹介。以前は主に NAND サプライヤー向けのフラッシュ メモリ サミット (FlashMemorySummit) でしたが、人工知能技術への注目の高まりを背景に、今年はフューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) に名前が変更されました。 DRAM およびストレージ ベンダー、さらに多くのプレーヤーを招待します。昨年発売された新製品SKハイニックス

See all articles