少し前、Microsoft は自らの間違いを犯しました。WizardLM-2 を大々的にオープンソース化し、その後すぐにきれいに撤回しました。
WizardLM-2 の現在入手可能なリリース情報。これは、複雑なチャット、多言語、推論、代理店のパフォーマンスが向上した「GPT-4 に真に匹敵する」オープンソースの大規模モデルです。
このシリーズには、WizardLM-2 8x22B、WizardLM-2 70B、WizardLM-2 7B の 3 つのモデルがあります。その中には:
さらに、人間による好みの評価により、WizardLM-28x22B の機能は「GPT-4-1106 プレビューよりもわずかに遅れていますが、CommandRPlus や GPT4-0314 よりは大幅に強力です。」
LLaMa 3 のような、新たなオープンソースのマイルストーンとなるでしょうか?
みんながモデルのダウンロードに忙しい中、チームは突然すべてを撤回しました。ブログ、GitHub、HuggingFace はすべて 404 になりました。
画像ソース: https://wizardlm.github.io/WizardLM2/
チームの説明は次のとおりです:Huggingface の友人の皆さん、こんにちは!申し訳ありませんが、モデルを削除しました。数か月前のモデルをリリースしてからしばらく時間が経ったため、新しいリリースのプロセスに慣れていません。モデルのリリース プロセスで必要な項目である毒性試験を誤って省略してしまいました。これは、現在すべての新しいモデルが完了する必要があるステップです。
現在、このテストを迅速に完了しており、できるだけ早くモデルを再リリースする予定です。心配しないでください。ご心配とご理解をいただきありがとうございます。
しかし、WizardLM-2 に対する AI コミュニティの注目と議論は止まらない:
まず、削除されたオープンソース プロジェクトは WizardLM-2 だけではありません。チーム 以前の WizardMath と WizardCoder を含む、すべての Wizard シリーズの作業が終了しました。
次に、モデルの重みを削除すると、なぜブログも削除されるのかと疑問に思う人もいます。テスト部分が欠落しているだけの場合は、完全に撤回する必要はありません。
チームの説明は、「関連する規定によると」です。具体的な規定は何ですか?まだ誰も知りません。
第三に、WizardLM の背後にあるチームが解雇され、Wizard シリーズ プロジェクトの撤退も余儀なくされたのではないかという憶測もあります。
しかし、この推測はチームによって否定されました:
出典: https://x.com/_Mira___Mira_/status/1783716276944486751
画像出典:https ://x.com/DavidFSWD/status/1783682898786152470
そして今、著者の名前を検索すると、Microsoft の公式 Web サイトから完全には消えていません:
出典: https://www .microsoft.com/en-us/research/people/qins/
第 4 に、Microsoft がこのオープン ソース モデルを撤回したのではないかと推測する人もいます。その理由は、第一にパフォーマンスが GPT-4 に近すぎるため、第二に技術的な問題が原因です。 OpenAI「Crash」のロードマップ。
具体的なルートは何ですか?元のブログ ページの技術的な詳細を確認できます。
チームは、LLM トレーニングを通じて、自然界で人間が生成したデータはますます枯渇しており、AI が慎重に作成したデータと AI ステップバイステップ教師付きモデルが、より強力な AI を実現する唯一の方法になると述べました。
過去 1 年間にわたり、Microsoft チームは、以下の図に示すように、人工知能を完全に活用した合成トレーニング システムを構築してきました。
は、大きくいくつかのセクションに分かれています:
データ前処理:
初期の修正により、新しい方法により、さまざまなエージェントが高品質の指示を自動的に生成できるようになります。 Evol-Answer: モデルが応答を複数回生成して書き換えるようにガイドします。これにより、ロジック、正確性、親和性が向上します。
独習: WizardLM は、教師あり学習用の新しい進化的トレーニング データと、活性化学習による強化学習用の優先データを生成できます。
フェーズ - DPO: オフライン強化学習をより効果的に実行するために、優先データがさまざまなフラグメントに分割され、モデルが段階的に改善されます。
以上が「GPT-4に非常に近い」WizardLM-2がMicrosoftによって緊急廃止されたその裏話とは?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。