Data sintetik: masa depan pembelajaran mesin

Penterjemah |. Bugatti

Pengulas |. Tetapi apa yang berlaku apabila akses kepada sumber berharga ini dihadkan? Oleh kerana banyak projek dan syarikat mula menunjukkan, ini adalah apabila data sintetik adalah pilihan yang berdaya maju, jika bukan yang hebat.

Apakah data sintetik?

Data sintetik ialah maklumat yang dijana secara buatan yang tidak diperoleh melalui pengukuran langsung. Data "palsu" bukanlah konsep baharu atau revolusioner. Ia pada asasnya adalah kaedah menjana data ujian atau latihan untuk model yang kekurangan maklumat yang tersedia atau perlu untuk berfungsi dengan baik.

Pada masa lalu, kekurangan data membawa kepada kaedah kemudahan menggunakan set titik data yang dijana secara rawak. Walaupun ini mungkin mencukupi untuk tujuan pengajaran dan ujian, data rawak bukanlah data yang anda mahu latih sebarang jenis model ramalan. Itulah yang berbeza tentang konsep data sintetik, ia boleh dipercayai.

Data sintetik pada asasnya ialah konsep unik di mana kita boleh menjana data rawak dengan bijak. Oleh itu, pendekatan ini boleh digunakan untuk kes penggunaan yang lebih kompleks, bukan hanya ujian.

Bagaimana untuk menjana data sintetik?

Walaupun cara data sintetik dijana tidak berbeza dengan data rawak - hanya melalui set input yang lebih kompleks, data sintetik memang mempunyai tujuan yang berbeza dan oleh itu mempunyai keperluan unik.

Kaedah sintetik adalah berdasarkan dan terhad kepada kriteria tertentu yang dimasukkan sebagai input terlebih dahulu. Sebenarnya, ia bukan sembarangan. Ia adalah berdasarkan set data sampel dengan pengedaran dan kriteria khusus yang menentukan julat, pengedaran dan kekerapan titik data yang mungkin. Secara kasarnya, matlamatnya adalah untuk mereplikasi data sebenar untuk mengisi set data yang lebih besar yang kemudiannya cukup besar untuk melatih model pembelajaran mesin.

Pendekatan ini menjadi menarik apabila meneroka kaedah pembelajaran mendalam untuk menapis data sintetik. Algoritma boleh bersaing antara satu sama lain, bertujuan untuk mengatasi satu sama lain dalam keupayaan mereka untuk menjana dan mengenal pasti data sintetik. Sebenarnya, matlamat di sini adalah untuk melibatkan diri dalam perlumbaan senjata buatan untuk menjana data hiper-realistik.

Mengapa data sintetik diperlukan?

Jika kita tidak dapat mengumpulkan sumber berharga yang diperlukan untuk memajukan tamadun, kita akan mencari jalan untuk menciptanya. Prinsip ini kini terpakai sama rata kepada dunia data pembelajaran mesin dan kecerdasan buatan.

Apabila melatih algoritma, adalah penting untuk mempunyai saiz sampel data yang sangat besar, jika tidak, corak yang dikenal pasti oleh algoritma mungkin terlalu mudah untuk aplikasi praktikal. Ini sebenarnya sangat logik. Sama seperti kecerdasan manusia sering mengambil jalan paling mudah untuk menyelesaikan masalah, perkara yang sama sering berlaku apabila melatih pembelajaran mesin dan kecerdasan buatan.

Sebagai contoh, pertimbangkan untuk menggunakan ini pada algoritma pengecaman objek yang boleh mengenal pasti anjing dengan tepat daripada set imej kucing. Jika jumlah data terlalu kecil, AI berisiko bergantung pada corak yang bukan ciri penting objek yang cuba dikenal pasti. Dalam kes ini, AI mungkin masih berkesan, tetapi rosak apabila ia menemui data yang tidak mengikut corak yang dikenal pasti pada mulanya.

Bagaimanakah data sintetik digunakan untuk melatih AI?

Jadi, apakah penyelesaiannya? Kami melukis banyak haiwan yang sedikit berbeza, memaksa rangkaian untuk mencari struktur asas imej, bukan hanya lokasi piksel tertentu. Tetapi daripada melukis sejuta anjing dengan tangan, adalah lebih baik untuk membina sistem khusus untuk melukis anjing yang boleh digunakan untuk melatih algoritma klasifikasi—yang sebenarnya adalah perkara yang kami lakukan apabila kami memberi data sintetik untuk melatih pembelajaran mesin.

Walau bagaimanapun, pendekatan ini mempunyai kelemahan yang jelas. Semata-mata menjana data daripada udara nipis tidak mewakili dunia sebenar, jadi algoritma mungkin gagal apabila menemui data sebenar. Penyelesaiannya adalah untuk mengumpul subset data, menganalisis dan mengenal pasti arah aliran dan julat di dalamnya, dan kemudian menggunakan data tersebut untuk menjana sejumlah besar data rawak yang mungkin mewakili rupa data itu jika kami mengumpul semuanya. diri kita sendiri.

Ini juga merupakan nilai data sintetik. Kami tidak lagi perlu mengumpul data tanpa henti dan kemudian perlu membersihkan dan memprosesnya sebelum digunakan.

Mengapakah data sintetik boleh menyelesaikan isu privasi data yang semakin membimbangkan?

Dunia kini sedang mengalami perubahan yang sangat dramatik, terutamanya di EU: privasi dan data yang dijana semakin dilindungi. Dalam bidang pembelajaran mesin dan AI, mengukuhkan perlindungan data adalah masalah yang telah lama wujud. Data terhad selalunya adalah perkara yang diperlukan untuk melatih algoritma untuk melaksanakan dan menyampaikan nilai kepada pengguna akhir, terutamanya untuk penyelesaian B2C.

Isu privasi sering ditangani apabila individu memutuskan untuk menggunakan penyelesaian dan oleh itu meluluskan penggunaan data mereka. Masalahnya di sini ialah sukar untuk meminta pengguna memberikan data peribadi mereka kepada anda sehingga anda mempunyai penyelesaian yang memberikan nilai yang cukup untuk bersedia menyerahkannya. Akibatnya, pembekal sering mendapati diri mereka dalam dilema ayam-dan-telur.

Data sintetik ialah penyelesaiannya dan syarikat boleh mendapatkan akses kepada subset data melalui pengguna awal. Mereka kemudiannya boleh menggunakan maklumat ini sebagai asas untuk menjana data yang mencukupi untuk melatih pembelajaran mesin dan AI. Pendekatan ini boleh mengurangkan keperluan yang memakan masa dan mahal untuk data peribadi dan masih membenarkan algoritma dibangunkan untuk pengguna sebenar.

Untuk industri tertentu seperti penjagaan kesihatan, perbankan dan undang-undang, data sintetik menyediakan cara yang lebih mudah untuk mengakses sejumlah besar data yang sebelum ini tidak tersedia, menghapuskan cabaran yang sering dihadapi oleh algoritma baharu dan lebih maju.

Bolehkah data sintetik menggantikan data sebenar?

Masalah dengan data sebenar ialah ia tidak dijana untuk tujuan melatih pembelajaran mesin dan algoritma AI, ia hanyalah hasil sampingan daripada peristiwa yang berlaku di sekeliling kita. Seperti yang dinyatakan sebelum ini, ini jelas mengehadkan ketersediaan dan kemudahan penggunaan data yang dikumpul, tetapi juga mengehadkan parameter data dan kemungkinan kecacatan (outlier) yang boleh merosakkan keputusan. Inilah sebabnya mengapa data sintetik, yang boleh disesuaikan dan dikawal, adalah lebih cekap apabila melatih model.

Walau bagaimanapun, walaupun sangat sesuai untuk senario latihan, data sintetik pasti akan sentiasa bergantung pada sekurang-kurangnya sebahagian kecil data sebenar untuk penciptaannya sendiri. Jadi data sintetik tidak pernah menggantikan data asal yang bergantung padanya. Secara lebih realistik, ia akan mengurangkan dengan ketara jumlah data sebenar yang diperlukan untuk latihan algoritma Proses ini memerlukan lebih banyak data daripada ujian - biasanya 80% daripada data digunakan untuk latihan dan 20% lagi digunakan untuk ujian.

Akhir sekali, jika dilakukan dengan betul, data sintetik menyediakan cara yang lebih pantas dan lebih cekap untuk mendapatkan data yang kami perlukan pada kos yang lebih rendah daripada mendapatkan data dari dunia nyata, sambil mengurangkan isu Privasi data yang menjengkelkan.

Tajuk asal: ​​Data sintetik: Masa depan pembelajaran mesin​​​, pengarang: Christian Lawaetz Halvorsen​

Atas ialah kandungan terperinci Data sintetik: masa depan pembelajaran mesin. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!