機械学習のハイパーパラメータ調整: 一般的に使用される 8 つの方法

機械学習アルゴリズムでは、精度と汎用性のバランスをとるためにユーザー定義の入力が必要です。このプロセスはハイパーパラメータ調整と呼ばれます。ハイパーパラメータを調整するためのさまざまなツールや方法があります。

機械学習モデルのハイパーパラメーターを調整するための上位 8 つの方法のリストをまとめました。

1. ベイジアン最適化

ベイジアン最適化は、機械学習アルゴリズム、より具体的にはディープ ニューラル ネットワークなどの複雑なモデルのハイパーパラメーター調整に効果的なツールとなっています。これは、その形式を知らなくても高価なブラックボックス機能を最適化するための効率的なフレームワークを提供します。最適なロボット機構の学習、配列実験設計、合成遺伝子設計など、多くの分野に応用されています。

2. 遺伝的アルゴリズム

遺伝的アルゴリズム (EA) は、演算子と呼ばれる特定のルールに従って候補解 (母集団) のセットを変更することによって機能する最適化アルゴリズムです。 EA の主な利点の 1 つはその汎用性です。これは、EA がシンプルで根本的な問題に依存しないため、幅広い状況で使用できることを意味します。遺伝的アルゴリズムは、ハイパーパラメーター調整問題において、精度/速度に基づくグリッド検索手法よりも優れたパフォーマンスを発揮することが示されています。

3. 勾配ベースの最適化

勾配ベースの最適化は、ハイパーパラメーターの勾配計算に対する機械学習モデルの選択基準に基づいて複数のハイパーパラメーターを最適化する方法です。このハイパーパラメータ調整方法は、トレーニング基準の微分可能性と連続性の条件が満たされる場合に適用できます。

4. グリッド検索

グリッド検索は、ハイパーパラメーター調整の基本的な方法です。ユーザー指定のハイパーパラメータのセットに対して徹底的な検索を実行します。この方法は最も直接的であり、最も正確な予測につながります。この調整方法を使用すると、ユーザーは最適な組み合わせを見つけることができます。グリッド検索はいくつかのハイパーパラメータに対して機能しますが、検索スペースは限られています。

5.Keras Tuner

Keras Tuner は、ユーザーが機械学習または深層学習モデルに最適なハイパーパラメーターを見つけることができるライブラリです。このライブラリは、カーネル サイズ、最適化された学習率、およびさまざまなハイパーパラメータを見つけるのに役立ちます。 Keras Tuner を使用すると、さまざまな深層学習モデルの最適なパラメーターを取得し、最高の精度を実現できます。

6. 母集団ベースの最適化

母集団ベースの手法は、本質的にはランダム検索 (遺伝的アルゴリズムなど) に基づく一連の手法です。最も広く使用されている母集団ベースの手法の 1 つは、DeepMind によって提案された母集団ベースのトレーニング (PBT) です。 PBT は、次の 2 つの側面でユニークなアプローチです。

• トレーニング中に適応ハイパーパラメータの使用を可能にします
• 並列検索と逐次最適化を組み合わせます

7 .ParamILS

ParamILS (パラメータ設定空間の反復ローカル検索) は、自動アルゴリズム設定のための一般的なランダム ローカル検索方法です。 ParamILS は、高性能アルゴリズムとそのアプリケーションの開発を容易にする自動アルゴリズム構成手法です。

ParamILS はデフォルトのランダム設定で初期化され、補助的なローカル検索プロセスとして反復的な最初の改善を使用します。また、摂動のために固定数のランダムな動きを使用し、常により良い、または同等に良いパラメータ設定を受け入れますが、検索はランダムに再初期化されます。

8. ランダム検索

ランダム検索はグリッド検索の基本的な改良と言えます。この方法は、可能なパラメータ値の分布に対してハイパーパラメータをランダムに検索することを指します。検索プロセスは、必要な精度が達成されるまで続行されます。ランダム検索はグリッド検索に似ていますが、後者よりも優れた結果が得られることがわかっています。この方法は、新しく設計されたアルゴリズムの効率を測定するための HPO のベースラインとしてよく使用されます。ランダム検索はグリッド検索よりも効率的ですが、依然として計算量が多い方法です。

以上が機械学習のハイパーパラメータ調整: 一般的に使用される 8 つの方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。