Pengenalan menyeluruh kepada hiperparameter dan maksudnya

Hiperparameter ialah penalaan parameter dalam algoritma pembelajaran mesin, digunakan untuk meningkatkan prestasi algoritma dan proses latihan. Ia ditetapkan sebelum latihan, dan berat dan berat sebelah dioptimumkan melalui latihan. Dengan melaraskan hiperparameter, ketepatan dan keupayaan generalisasi model boleh dipertingkatkan.

Cara untuk menetapkan hiperparameter

Apabila mula-mula menetapkan hiperparameter, anda boleh merujuk kepada nilai hiperparameter yang digunakan dalam masalah pembelajaran mesin lain yang serupa, atau mencari hiperparameter optimum melalui latihan berulang.

Apakah hiperparameter

Hiperparameter yang berkaitan dengan struktur rangkaian

• Keciciran: Keciciran ialah teknik penyelarasan yang digunakan untuk mengelakkan keterlaluan dan meningkatkan ketepatan.
• Pengamatan berat rangkaian: Bergantung pada fungsi pengaktifan yang digunakan pada lapisan rangkaian saraf, adalah berguna untuk menggunakan skema permulaan berat yang berbeza. Dalam kebanyakan kes, gunakan pengedaran seragam.
• Fungsi pengaktifan: Fungsi pengaktifan digunakan untuk memperkenalkan ketaklinearan ke dalam model algoritma. Ini membolehkan algoritma pembelajaran mendalam meramalkan sempadan secara bukan linear.

Hiperparameter yang berkaitan dengan algoritma latihan

• Kadar pembelajaran: Kadar pembelajaran mentakrifkan seberapa cepat rangkaian mengemas kini parameter. Apabila kadar pembelajaran rendah, proses pembelajaran algoritma akan menjadi perlahan, tetapi ia akan menumpu dengan lancar;
• zaman: Bilangan kali keseluruhan data latihan dibentangkan kepada rangkaian semasa latihan.
• Saiz kelompok: merujuk kepada bilangan subsampel yang diberikan kepada rangkaian selepas kemas kini parameter berlaku.
• Momentum: Membantu mengelakkan ayunan, biasanya menggunakan momentum antara 0.5 dan 0.9.

Perbezaan antara hiperparameter dan parameter

Hiperparameter, juga dikenali sebagai hiperparameter model, adalah di luar model dan nilainya tidak boleh dianggarkan daripada data. Parameter

, juga dikenali sebagai parameter model, ialah pembolehubah konfigurasi di dalam model. Nilainya boleh dianggarkan daripada data. Model memerlukan parameter untuk membuat ramalan.

Parameter biasanya dipelajari daripada data dan tidak ditetapkan secara manual oleh pembangun biasanya ditetapkan secara manual oleh pembangun.

Penalaan hiperparameter

Penalaan hiperparameter adalah untuk mencari gabungan hiperparameter yang optimum pada asasnya mengawal kelakuan keseluruhan model pembelajaran mesin, jadi mencari nilai terbaik hiperparameter adalah penting untuk model algoritma. Katakan ia penting. Jika penalaan hiperparameter gagal, model akan gagal menumpu dan meminimumkan fungsi kehilangan dengan berkesan. Ini akan menyebabkan keputusan model tidak lagi tepat.

Kaedah penalaan hiperparameter biasa termasuk carian grid, carian rawak dan pengoptimuman Bayesian.

Carian grid ialah kaedah penalaan hiperparameter yang paling asas, yang akan merentasi semua gabungan hiperparameter yang mungkin.

Carian rawak sampel secara rawak dalam julat pratetap untuk mencari gabungan hiperparameter yang lebih baik.

Pengoptimuman Bayesian ialah algoritma pengoptimuman berasaskan model jujukan (SMBO) yang menggunakan nilai hiperparameter sebelumnya untuk meningkatkan hiperparameter seterusnya Kaedah ini berulang sehingga hiperparameter terbaik ditemui.

Atas ialah kandungan terperinci Pengenalan menyeluruh kepada hiperparameter dan maksudnya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!