ChatGPT の使用を減らし、オープンソースをもっとサポートしてください。ニューヨーク大学ネイチャー教授が執筆：科学の未来のために

無料の ChatGPT は使用するのが非常に楽しいですが、このクローズドソース言語モデルの最大の欠点は、オープンソースではないことです。外部の世界では、その背後にあるトレーニング データを理解することができず、ユーザーの情報が漏洩するかどうかもわかりません。その後、産学が共同してLLaMAなどの一連のアルパカモデルをオープンソース化した。

最近、Nature Worldview コラムに記事が掲載されました。ニューヨーク大学の政治とデータ サイエンスの教授、アーサー スパーリングは、オープンソース モデルをもっと使用するよう皆さんに呼び掛けました。実験結果は再現可能であり、学術倫理を遵守します。

重要なのは、ある日 OpenAI が不満を抱いて言語モデル インターフェイスを閉じた場合、または価格を上げるために閉鎖された独占に依存した場合、ユーザーは無力な一文しか言えないということです。 ,

「結局、学者は資本に負けたのだ」。

記事の著者であるアーサー・スピルリングは、政治学を教えるために今年 7 月にプリンストン大学に入学する予定です。研究の方向性は政治方法論と立法行為であり、特にデータとしてのテキスト、自然言語処理、ベイズ統計、機械学習、項目反応理論、政治学における一般化線形モデルの応用です。

研究者は商用モデルの誘惑を避け、再現性を確保するために協力して透明性のある大規模な言語モデルを開発する必要があります。

オープンソースを受け入れ、独占を拒否する

新しい大規模言語モデル (LLM) が毎日立ち上げられ、その作成者や学術コミュニティの関係者がコメントするようです。人間と流暢にコミュニケーションする能力は豊富で、たとえば、ユーザーのコード変更、推薦状の作成、記事の要約の作成などを手伝うことができます。

これらのモデルを使用し、その使用方法を教えている政治科学者およびデータ科学者として、学者は注意する必要があると思います。なぜなら、現在最も人気のある言語モデルは非公開で非公開のままであるためです。企業によって運営されているため、基本モデルに関する具体的な情報は開示されず、モデルの機能を独自にチェックまたは検証するだけなので、研究者や一般の人々はモデルのトレーニングにどのようなファイルが使用されたか知りません。

言語モデルを自分の研究プロセスに急いで組み込むと、問題が発生し、苦労して勝ち取った「研究倫理」や「結果の再現性」の進歩が脅かされる可能性があります。

研究者は商用モデルに依存できないだけでなく、透明性があり、特定の企業の利益に依存しないオープンソースの大規模言語モデルを開発するために協力する必要もあります。

商用モデルは非常に便利で、そのまま使用できますが、オープンソース言語モデルへの投資は歴史的な傾向です。開発を促進する方法を見つけるだけでなく、モデルを将来の研究に適用します。

私は、オープンソース統計ソフトウェアの開発の歴史と同様に、言語モデル ツールの将来はオープンソースになるに違いないと楽観的に見積もっています。商用統計ソフトウェアは当初非常に人気がありましたが、現在はほぼすべてのコミュニティはすべて、R や Python などのオープンソース プラットフォームを使用しています。

たとえば、オープンソース言語モデルである BLOOM は、昨年 7 月にリリースされました。その開発チームである Hugging Face は、ニューヨークに本社を置く人工知能企業であり、1,000 以上の企業と協力しています。ボランティアと研究者によって共同で構築されており、研究開発資金の一部はフランス政府から提供されており、他のチームも大規模な言語モデルのオープンソース化に熱心に取り組んでいます。

このようなオープンソース プロジェクトは素晴らしいと思いますが、さらなる協力と国際的なリソースと専門知識の共有も必要です。

大規模な言語モデルをオープンソース化するチームは、通常、大企業ほど資金が豊富ではなく、開発チームは、この分野の最新の進歩を追跡するために業務を継続する必要もあります。分野の発展が速すぎる ほとんどの言語モデルでさえ、導入されてから数週間または数か月で時代遅れになります。

したがって、オープンソースに関わる学者が増えれば増えるほど、最終的なオープンソース モデルはより良いものになるでしょう。

クローズドソースの商用言語モデルの所有者はいつでも製品やトレーニング データを変更でき、問題が発生する可能性があるため、オープンソース LLM の使用は「再現可能な研究」にとって非常に重要です。生成された結果。

たとえば、ある研究グループが、商用言語モデルによって提案された文言が臨床医と患者とのより効果的なコミュニケーションに役立つかどうかをテストする論文を発表するかもしれません。別のグループがその研究を再現しようとした場合、誰が基本的な表現をしているか知っていますか?モデルの学習データは当時のままですか？このモデルが現在も稼働しているかどうかさえ不明です。

GPT-3 (これまで研究者がよく使用していた補助ツール) は、GPT-4 に置き換えられました。GPT-3 インターフェイスに基づくすべての研究は、おそらく不可能になります。企業にとって、古いモデルを稼働し続けることは優先事項ではありません。

対照的に、オープンソース LLM を使用すると、研究者はモデルの内部アーキテクチャ、重みを表示し、モデルの動作方法を理解し、コードをカスタマイズし、エラーを指摘することができます。これらの詳細には、モデルの調整機能が含まれます。モデルをトレーニングするためのパラメーターとデータ、コミュニティの参加と監視はすべて、このモデルを長期的に堅牢に保つのに役立ちます。

科学研究における商用言語モデルの使用は、これらのモデルのトレーニングに使用されるテキストが不明であり、ソーシャル メディア プラットフォーム上のユーザーが含まれている可能性があるため、研究倫理にも悪影響を及ぼします。子どもたちが書いた内容。

公開テキストを作成している人はプラットフォームの利用規約に同意している可能性がありますが、これは研究者が望んでいるインフォームド・コンセントの標準ではない可能性があります。

私の意見では、科学者は研究でこれらのモデルをできるだけ使用しないようにすべきです。私たちはオープンな言語モデルに移行し、それを他の人に広めるべきです。

また、学者、特にソーシャルメディアで多くのフォロワーを抱えている学者は、他の人に市販モデルの使用を勧めるべきではないと思います。なぜなら、価格が高騰したり会社が倒産したりした場合、研究者たちは、この技術を同僚に宣伝したことを後悔するかもしれません。

研究者は現在、Facebook の親会社 Meta によってオープンソース化されている LLaMA など、民間組織が作成したオープン言語モデルを利用できます。当初はユーザーの申請とレビューに基づいて発行されました。しかし、モデルの完全版はその後オンラインで漏洩しました。Meta のオープン言語モデル OPT-175 B

も利用可能です。長期的な欠点は、これらのモデルのリリースも依存していることです。会社の善意に大きく依存していますが、これは不安定な状況です。

これに加えて、言語モデルを扱う学者の行動規範や、それに対応する規制措置も必要ですが、これらにはすべて時間がかかります。政治学者、私はこれらの規制は最初は非常に不完全であり、効果が出るまでに時間がかかると予想しています。

同時に、CERN (素粒子物理学国際機関) など、研究用のオープンソース言語モデルをトレーニングする大規模な共同プロジェクトへの支援が緊急に必要です。政府は次のようにすべきです。助成金を通じて資金を増やす。

この分野は電光石火のスピードで進化しており、国内外の支援の調整を今すぐ始める必要があります。

科学コミュニティは、結果として得られるモデルのリスクを評価できる必要があり、一般公開には慎重になる必要がありますが、オープンな環境が正しいことであることは明らかです。する。

以上がChatGPT の使用を減らし、オープンソースをもっとサポートしてください。ニューヨーク大学ネイチャー教授が執筆：科学の未来のためにの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。