Regresi linear univariate

Regresi linear univariate ialah algoritma pembelajaran diselia yang digunakan untuk menyelesaikan masalah regresi. Ia sesuai dengan titik data dalam set data tertentu menggunakan garis lurus dan menggunakan model ini untuk meramalkan nilai yang tiada dalam set data.

Prinsip Regresi Linear Univariat

Prinsip regresi linear univariat ialah menggunakan hubungan antara pembolehubah tidak bersandar dan pembolehubah bersandar untuk menerangkan hubungan antara mereka dengan memasang garis lurus. Melalui kaedah seperti kaedah kuasa dua terkecil, jumlah kuasa dua jarak menegak dari semua titik data ke garis lurus yang sesuai ini diminimumkan, dengan itu memperoleh parameter garis regresi, dan kemudian meramalkan nilai pembolehubah bersandar data baharu. titik.

Bentuk umum model regresi linear univariat ialah y=ax+b, dengan a ialah cerun dan b ialah pintasan. Melalui kaedah kuasa dua terkecil, anggaran a dan b boleh diperolehi untuk meminimumkan jurang antara titik data sebenar dan garis lurus yang dipasang.

Regresi linear univariate mempunyai kelebihan berikut: kelajuan operasi yang pantas, kebolehtafsiran yang kuat dan mahir dalam menemui hubungan linear dalam set data. Walau bagaimanapun, apabila data bukan linear atau terdapat korelasi antara ciri, regresi linear univariat mungkin tidak memodelkan dan menyatakan data kompleks dengan baik.

Ringkasnya, regresi linear univariat ialah model regresi linear dengan hanya satu pembolehubah bebas.

Kebaikan dan Kelemahan Regresi Linear Univariat

Kelebihan regresi linear univariat termasuk:

• Kelajuan operasi model yang pantas dan seragam: Oleh kerana algoritma garisan seragam kepada model mudah dan selaras algoritma regresi Sangat pantas.
• Kebolehtafsiran yang kuat: Akhirnya, ungkapan fungsi matematik boleh diperoleh, dan pengaruh setiap pembolehubah boleh dijelaskan berdasarkan pekali yang dikira.
• Pandai mendapatkan perhubungan linear dalam set data.

Kelemahan regresi linear univariat termasuk:

• Untuk data bukan linear atau korelasi antara ciri data, regresi linear univariat mungkin sukar untuk dimodelkan.
• Sukar untuk menyatakan data yang sangat kompleks dengan baik.

Dalam regresi linear univariat, bagaimanakah fungsi kehilangan ralat kuasa dua dikira?

Dalam regresi linear univariate, kami biasanya menggunakan fungsi kehilangan ralat kuasa dua untuk mengukur ralat ramalan model.

Formula pengiraan fungsi kehilangan ralat kuasa dua ialah:

L(θ0,θ1)=12n∑i=1n(y_i−(θ0+θ1x_i))2

• n ialah bilangan sampel
• y_i ialah nilai sebenar sampel ke-i
• θ0 dan θ1 ialah parameter model
• x_i ialah nilai pembolehubah bebas bagi sampel ke-i

regresi linear univariate, kita andaikan y Terdapat hubungan linear antara x dan y=θ0+θ1x. Oleh itu, nilai ramalan boleh diperoleh dengan menggantikan pembolehubah bebas x ke dalam model, iaitu, y_pred=θ0+θ1x_i.

Semakin kecil nilai fungsi kehilangan L, semakin kecil ralat ramalan model dan semakin baik prestasi model. Oleh itu, kita boleh mendapatkan parameter model optimum dengan meminimumkan fungsi kehilangan.

Dalam kaedah turunan kecerunan, kami menghampiri penyelesaian optimum secara beransur-ansur dengan mengemas kini nilai parameter secara berulang. Pada setiap lelaran, nilai parameter dikemas kini mengikut kecerunan fungsi kehilangan, iaitu:

θ=θ-α*∂L(θ0,θ1)/∂θ

di mana, α ialah kadar pembelajaran, yang mengawal setiap Jumlah perubahan dalam parameter semasa lelaran.

Syarat dan langkah untuk regresi linear univariat menggunakan kaedah turunan kecerunan

Syarat untuk menggunakan kaedah turunan kecerunan untuk melakukan regresi linear univariat termasuk:

Objektifnya adalah berbeza. Dalam regresi linear univariat, fungsi kehilangan biasanya menggunakan kehilangan ralat kuasa dua, yang merupakan fungsi yang boleh dibezakan.

2) Terdapat minimum global. Untuk fungsi kehilangan ralat kuasa dua, terdapat minimum global, yang juga merupakan syarat untuk regresi linear univariat menggunakan keturunan kecerunan.

Langkah-langkah untuk menggunakan kaedah turunan kecerunan untuk melaksanakan regresi linear univariat adalah seperti berikut:

1. Pilih nilai awal, biasanya 0, sebagai nilai awal untuk parameter.

2. Kira kecerunan fungsi kehilangan. Mengikut hubungan antara fungsi kehilangan dan parameter, kecerunan fungsi kehilangan berkenaan dengan parameter dikira. Dalam regresi linear univariat, fungsi kehilangan biasanya kehilangan ralat kuasa dua, dan formula pengiraan kecerunannya ialah: θ−y(x)x.

3. Mengikut algoritma penurunan kecerunan, kemas kini nilai parameter, iaitu: θ=θ−αθ−y(x)x. Antaranya, α ialah kadar pembelajaran (saiz langkah), yang mengawal perubahan parameter dalam setiap lelaran.

4. Ulang langkah 2 dan langkah 3 sehingga syarat berhenti dipenuhi. Keadaan berhenti boleh jadi bilangan lelaran mencapai nilai pratetap, nilai fungsi kehilangan kurang daripada ambang pratetap atau keadaan lain yang sesuai.

Langkah di atas adalah proses asas menggunakan kaedah penurunan kecerunan untuk melakukan regresi linear univariat. Perlu diingatkan bahawa pilihan kadar pembelajaran dalam algoritma penurunan kecerunan akan mempengaruhi kelajuan penumpuan algoritma dan kualiti keputusan, jadi ia perlu diselaraskan mengikut situasi tertentu.

Atas ialah kandungan terperinci Regresi linear univariate. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!