Cara menggunakan Python untuk melatih AI untuk bermain permainan Ular

Ini ialah panduan ringkas tentang cara menggunakan pembelajaran pengukuhan untuk melatih AI untuk bermain permainan Ular. Artikel itu menunjukkan langkah demi langkah cara menyediakan persekitaran permainan tersuai dan menggunakan perpustakaan algoritma Stable-Baselines3 piawai python untuk melatih AI bermain Snake.

Dalam projek ini, kami menggunakan Stable-Baselines3, perpustakaan piawai yang menyediakan pelaksanaan algoritma pembelajaran tetulang (RL) berasaskan PyTorch yang mudah digunakan.

Pertama, sediakan persekitaran. Terdapat banyak persekitaran permainan terbina dalam pustaka Stable-Baselines Di sini kami menggunakan versi Ular klasik yang diubah suai, dengan dinding silang silang tambahan di tengah.

Pelan ganjaran yang lebih baik adalah dengan hanya memberi ganjaran langkah lebih dekat dengan makanan. Penjagaan mesti diambil di sini, kerana ular itu masih boleh belajar berjalan dalam bulatan, mendapat ganjaran apabila mendekati makanan, kemudian berpusing dan kembali. Untuk mengelakkan ini, kita juga mesti memberikan penalti yang setara untuk menjauhi makanan, dengan kata lain, kita perlu memastikan bahawa ganjaran bersih pada gelung tertutup adalah sifar. Kita juga perlu memperkenalkan penalti untuk memukul dinding, kerana dalam beberapa kes seekor ular akan memilih untuk memukul dinding untuk mendekati makanannya.

Kebanyakan algoritma pembelajaran mesin agak kompleks dan sukar untuk dilaksanakan. Nasib baik, Stable-Baselines3 sudah melaksanakan beberapa algoritma terkini yang kami gunakan. Dalam contoh, kami akan menggunakan Pengoptimuman Dasar Proksimal (PPO). Walaupun kami tidak perlu mengetahui butiran tentang cara algoritma berfungsi (lihat video penjelasan ini jika anda berminat), kami perlu mempunyai pemahaman asas tentang hiperparameternya dan perkara yang dilakukannya. Nasib baik, PPO hanya mempunyai beberapa daripadanya, dan kami akan menggunakan yang berikut:

kadar_pembelajaran: Menetapkan seberapa besar langkah untuk kemas kini dasar, sama seperti senario pembelajaran mesin yang lain. Menetapkannya terlalu tinggi boleh menghalang algoritma daripada mencari penyelesaian yang betul atau menolaknya ke arah yang tidak boleh pulih. Menetapkannya terlalu rendah akan menjadikan latihan mengambil masa yang lebih lama. Helah biasa ialah menggunakan fungsi penjadual untuk menalanya semasa latihan.

gamma: faktor diskaun untuk ganjaran masa hadapan, antara 0 (hanya ganjaran segera penting) dan 1 (ganjaran masa depan mempunyai nilai yang sama dengan ganjaran segera). Untuk mengekalkan kesan latihan, adalah lebih baik untuk mengekalkannya di atas 0.9.

clip_range1+-clip_range: Satu ciri penting PPO, ia wujud untuk memastikan model tidak berubah dengan ketara semasa latihan. Mengurangkannya membantu memperhalusi model dalam peringkat latihan kemudian.

ent_coef: Pada asasnya, lebih tinggi nilainya, lebih banyak algoritma digalakkan untuk meneroka tindakan tidak optimum yang berbeza, yang boleh membantu skim melarikan diri maksimum ganjaran tempatan.

Secara umumnya, mulakan sahaja dengan hiperparameter lalai.

Langkah seterusnya adalah untuk melatih beberapa langkah yang telah ditetapkan, kemudian lihat sendiri prestasi algoritma, dan kemudian mulakan semula dengan parameter baharu yang mungkin berprestasi terbaik. Di sini kami merancang ganjaran untuk masa latihan yang berbeza.

Selepas langkah yang mencukupi, algoritma latihan ular menumpu kepada nilai ganjaran tertentu, anda boleh melengkapkan latihan atau cuba memperhalusi parameter dan meneruskan latihan.

Langkah latihan yang diperlukan untuk mencapai ganjaran maksimum yang mungkin bergantung pada masalah, skema ganjaran dan hiperparameter, jadi adalah disyorkan untuk mengoptimumkan sebelum melatih algoritma. Pada akhir contoh melatih AI untuk bermain permainan Ular, kami mendapati bahawa AI dapat mencari makanan dalam labirin dan mengelak daripada berlanggar dengan ekor.

Atas ialah kandungan terperinci Cara menggunakan Python untuk melatih AI untuk bermain permainan Ular. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!