清華大学、コース学習用初のオープンソース ライブラリである CurML をリリース

機械学習の開発プロセスでは、人間の学習方法がさまざまなアルゴリズムの設計に影響を与えることがよくあります。人間の学習の重要なパラダイムとして、コースを通じた学習は機械学習から借用され、カリキュラム学習と呼ばれる研究の方向性を形成しています。

一般に、人間の教育は高度に組織化された授業を通じて完了します。各コースまたは科目は単純な内容から始まり、徐々により複雑な概念を生徒に提示します。たとえば、大学で微積分の概念を受け入れる前に、学生はまず小学校で算数を、中学校で関数を、高校で微分を学ぶ必要があります。ただし、人間の教育とは異なり、従来の機械学習モデルのトレーニングでは、データ サンプルとモデルの現在の学習ステータス間の複雑さの違いを無視して、データ サンプルをモデルにランダムに入力する必要があります。したがって、機械学習の分野では、簡単なものから難しいものまで人間の学習を正確に模倣し、モデルにより良いトレーニング戦略を提供し、それによってモデルのパフォーマンスを向上させるカリキュラム学習が提案されました。

#コース学習コンセプトマップ

現在カリキュラム学習は、画像分類、ターゲット検出、セマンティック セグメンテーション、機械翻訳、音声認識、音声強化、ビデオ質疑応答などを含む、機械学習のさまざまなタスクで広く使用されています。また、教師あり、教師なし、半教師ありでも使用されます。教師あり学習、強化学習、その他のシナリオは多くの注目と研究を集めています。

コース学習の応用やシナリオがますます豊富になるにつれ、研究者や研究者による深い探求を促進するために、この分野について詳細な整理と要約を行うことが特に必要です。ユーザーのアプリケーションエクスペリエンスを向上させます。

したがって、コース学習に関する多数の学術論文の出版の蓄積と基盤に基づいて、清華大学の朱文武教授が率いるメディアおよびネットワークビッグデータ研究室、研究室メンバーの王Xin IEEE TPAMI はカリキュラム学習に関するレビュー論文を発表し、さらに研究室は世界初のカリキュラム学習用のオープンソース ライブラリである CurML (Curriculum Machine Learning) をリリースしました。

Zhu Wenwu教授とWang Xin助研究員のカリキュラム学習研究活動には、都市の関心のある場所の推奨に適用されるカリキュラムのメタ学習手法、ノイズの多い複数のフィードバック情報に基づくカリキュラムのデカップリング製品推奨、共有パラメータが含まれます。コース学習に基づくニューラルアーキテクチャ探索、コース難易度適応に基づく組み合わせ最適化問題解決など。研究結果は、SIGKDD、NeurIPS、ACM MM などのハイレベルな国際機械学習会議で発表されています。

##研究結果のフレームワーク図

コース学習レビューペーパーは、創発、定義、理論、応用など、コース学習のあらゆる側面を包括的にレビューし、統一されたコース学習フレームワークを設計し、コース学習アルゴリズムを、コース内のコアコンポーネントに基づいて 2 つの主要なカテゴリと複数のカテゴリに分割します。このサブカテゴリは、カリキュラム学習と他の機械学習概念の違いと関連性を区別し、この分野が直面する課題と将来の研究の方向性を指摘します。

#コース学習方法分類コース学習オープンソース ライブラリ CurML は、コース学習アルゴリズムのサポート プラットフォームです。10 を超えるコース学習アルゴリズムが統合されており、ノイズの多いアプリケーション シナリオとノイズのないアプリケーション シナリオの両方をサポートしているため、研究者やユーザーが再現、評価、比較、選択することが容易になります。コース学習のアルゴリズム。

CurML のメイン モジュールは CL Trainer で、これは 2 つのサブモジュール Model Trainer と CL Algorithm で構成され、これら 2 つは 5 つのインターフェイス関数を通じて相互作用し、コース学習ガイダンス用のマシンを実現します。学習過程。

#CurML フレームワーク図

メイン モジュール: CL Trainer

このモジュールは、オープンソース ライブラリ全体の主要部分です。このモジュールを呼び出すことで、ユーザーはわずか数行のコードでコース学習アルゴリズムを実装できます。データセット、モデル、ハイパーパラメータが与えられると、モジュールは一定期間トレーニングし、トレーニングされたモデルパラメータとタスクのテスト結果を出力します。このモジュールは主に使いやすさの要件を満たすように設計されているため、高度にカプセル化されており、コース学習アルゴリズムを使用したいが、特定の実装の詳細は気にしないユーザーに提供されます。

サブモジュール 1: モデル トレーナー

このモジュールは、次のような一般的な機械学習プロセスを完了するために使用されます。トレーニングとして 画像分類器または言語モデル。同時に、2 番目のサブモジュール CL アルゴリズムと対話するための 5 つのインターフェイス関数の位置を予約し、カスタム入力関数もサポートします。

#サブモジュール 2: CL アルゴリズム

このモジュールは、CurML でサポートされるすべてのコース学習アルゴリズムをカプセル化します。

このモジュールは、機械学習プロセスからデータとモデル情報を取得するために使用される 5 つのインターフェイス関数を通じて実装されます。次の図に示すように、モデルをガイドする学習戦略が含まれます。

CurML フローチャート #インターフェイス関数: data_prepare

この関数は、モデル トレーナー モジュールから CL アルゴリズム モジュールにデータ セット情報を提供するために使用されます。多くのコース学習アルゴリズムでは、データ サンプルの難易度をより適切に判断するためにデータ セットを全体的に理解する必要があるため、このインターフェイス機能が必要です。

インターフェイス関数: model_prepare

この関数は data_prepare に非常に似ていますが、違いは転送しないことです。データセット情報 モデルアーキテクチャ、パラメータオプティマイザー、学習率調整器など、モデルトレーニングに関連する情報です。多くのコース学習アルゴリズムは、これらの要素を調整することによって機械学習をガイドします。

#インターフェース関数: data_curriculum

この関数は、データ サンプルの難易度を計算するために使用され、それに基づいてデータの難易度およびモデルの現在の状態により、モデルに適切なデータが提供され、ほとんどのコースは同様の考え方を持っています。

#インターフェース関数:model_curriculum

この関数は、モデルを更新し、モデルから取得したモデルの精度を調整するために使用されます。データ サンプル。情報量がモデルの学習を間接的に導きます。現時点では、このようなアルゴリズムの数はまだ少ないですが、CurML はそのようなアルゴリズムの実装もサポートしています。

#インターフェイス関数: loss_curriculum

この関数は、損失関数値の重み付けを変更するために使用され、間接的な調整は次のとおりです。モデルに対するデータの影響: 損失値の重み付けは本質的にデータのソフト サンプリングであるため、このタイプのアルゴリズムはコース学習でより一般的です。 近年の 10 を超えるコース学習メソッドの要約を通じて、さまざまな種類のコース学習アルゴリズムを上記のモジュールとインターフェイス パラメーターを使用して統合して実装できるため、公平なシナリオで使用され、タスクの下でコース学習アルゴリズムを評価、比較、選択します。

今後の見通し

CurML の研究開発チームは、コース学習の開発と応用に対するさらなるサポートを提供するために、今後もこのオープン ソース ライブラリを更新し続けると述べました。

関連リンク:

• CurML オープン ソース コード ライブラリのリンク: https://github.com/THUMNLab/CurML
• CurML オープン ソース ソフトウェアの論文リンク: https://dl.acm.org/doi/pdf/10.1145/3503161.3548549
• コース学習の概要論文リンク: https://ieeexplore.ieee.org/abstract/document/9392296/
• コースのメタ学習ペーパーのリンク: https://dl.acm.org/doi/abs /10.1145/ 3447548.3467132
• コース分離学習ペーパーのリンク: https://proceedings.neurips.cc/paper/2021/file/e242660df1b69b74dcc7fde711f924ff-Paper.pdf
• コース ニューラル アーキテクチャ検索論文リンク: https://dl.acm.org/doi/abs/10.1145/3503161.3548271
• #コース難易度適応論文リンク: https:// ojs.aaai.org/index.php/AAAI/article/download/20899/version/19196/20658

以上が清華大学、コース学習用初のオープンソース ライブラリである CurML をリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。