Perkara yang perlu anda ketahui tentang peranan ini dalam pasukan sains data

Penterjemah |. Li Rui

Penilai |. bawah" (suka) dan "thumbs down" (tidak suka). Sistem boleh mengesyorkan filem berdasarkan peratusan padanan, tetapi sesetengah orang menganggap ini tidak menyenangkan. Jadi bagaimana anda mengurangkan semua nuansa dalam seni pawagam kepada satu tindak balas binari primitif Sebenarnya, Netflix mendapati bahawa orang bertindak balas dengan buruk terhadap filem yang mereka fikir bagus Beri penarafan yang tinggi, tetapi ia tidak semestinya filem yang sebenarnya mereka suka? selamat menonton. Sekurang-kurangnya itulah yang dikatakan data. Jadi bagaimana analitik data berfungsi di syarikat seperti Netflix? Apakah peranan pasukan sains data?

Sistem Maklum Balas Netflix

Gibson Biddle ialah bekas Naib Presiden dan Ketua Pegawai Produk Netflix. Bercakap tentang cerapan pengguna, beliau menjelaskan tingkah laku pelanggan yang tidak dijangka yang membawa kepada perubahan dalam keseluruhan sistem penilaian. Apabila ditukar kepada perlawanan peratusan, Netflix berkata walaupun penonton mungkin menikmati menonton komedi Adam Sandler, rating mungkin serendah tiga bintang manakala penonton mungkin berasa lebih baik untuk menonton Senarai Schindler itu bagus dan memberikannya penarafan lima bintang , tetapi itu tidak menambah keseronokan keseluruhannya, dan memastikan pelanggan gembira adalah penting untuk Netflix. Oleh itu, mereka memudahkan sistem maklum balas untuk mengelakkan berat sebelah. Tetapi cerapan pelanggan ini mengagumkan dalam hak mereka sendiri, dan ia tidak akan dapat dicapai tanpa budaya yang menggalakkan penggunaan data dan infrastruktur data yang kukuh. Dari segi teknikal, ini dipanggil organisasi dipacu data.

Organisasi dipacu data

Orang ramai mungkin pernah mendengar istilah popular "terdorong data" berkali-kali, tetapi apakah maksudnya? Netflix sahaja merekodkan lebih daripada 700 bilion acara setiap hari, daripada log masuk dan mengklik lakaran kecil filem kepada menjeda video dan menghidupkan sari kata. Semua data ini tersedia untuk pengguna. Sesiapa sahaja boleh mengaksesnya menggunakan alat visualisasi seperti Tableau atau Musytari, atau mereka boleh mengaksesnya melalui Portal Data Besar - persekitaran yang membolehkan pengguna memeriksa laporan, menjana laporan atau menanyakan sebarang maklumat yang mereka perlukan. Data ini kemudiannya digunakan untuk membuat keputusan perniagaan, daripada lakaran kecil yang lebih kecil, seperti lakaran kecil yang mana untuk dipaparkan, kepada keputusan perusahaan, seperti yang menunjukkan Netflix harus melabur dan melancarkan seterusnya.

Netflix bukanlah satu-satunya organisasi yang dipacu data. Dianggarkan kira-kira 97% daripada syarikat Fortune 1000 melabur dalam projek seperti kecerdasan buatan dan data besar. Berikut ialah pandangan tentang teknologi infrastruktur data sebenar dan jurutera data yang menjadikannya berfungsi.

Teknologi Infrastruktur Data

Untuk menerangkan cara infrastruktur data berfungsi, ahli teknologi meminjam istilah "talian paip" yang biasanya mengangkut cecair atau gas. Saluran paip data mempunyai titik permulaan, titik penamat dan stesen perantaraan sendiri. Jadi ini adalah metafora yang sangat tepat. Sumber data boleh jadi apa-apa sahaja daripada mengklik butang tahan dan menyegarkan halaman kepada perbualan yang dirakam dengan sokongan pelanggan, daripada peranti pengesan kenderaan kepada penderia getaran turbin dalam loji kuasa. Dalam dunia hari ini, sebenarnya sukar untuk mengatakan apa yang tidak boleh dijana yang boleh memberitahu orang sesuatu walaupun tanpa data.

Sebaik sahaja item data dijana, ia akan turun ke saluran paip ke kawasan pementasan. Di sinilah semua data mentah disimpan. Data mentah belum sedia untuk digunakan lagi. Anda perlu bersedia. Jika tidak dilakukan, jurang mesti diisi, formatnya ditukar, atau data daripada sumber yang berbeza digabungkan untuk mendapatkan paparan yang lebih bernuansa. Setelah operasi ini selesai, anda akan mempunyai data yang berstruktur dan bersih. Semua operasi ini dilakukan secara automatik. Mereka diterangkan dalam dua perkataan.

Pengeluaran: Ekstrak data daripada sumber data dan hantar ke kawasan pementasan.

Transformasi: Sediakan data untuk penggunaan dan muatkan untuk menolak data yang disediakan lebih jauh ke dalam ETL.

Semua data yang disediakan masuk ke storan lain, gudang data.

• Gudang Data
• Berbeza dengan kawasan pementasan, gudang data ialah tempat semua rekod yang disimpan distrukturkan dan sedia untuk digunakan. Sama seperti sistem klasifikasi perpustakaan, maklumat gudang boleh ditanya, divisualisasikan dan dimuat turun. Untuk ini, mempunyai perisian perisikan perniagaan (BI) adalah satu kemestian. Ia membentangkan data kepada pengguna akhir.

Helaian Data dan Penganalisis Perniagaan

Helaian Data dan Penganalisis Perniagaan ialah orang yang melaksanakan tugas asas. Mereka mengakses data, menerokainya, memvisualisasikannya dan cuba memahami perniagaan. Sebagai contoh, adakah kempen pemasaran syarikat berjaya? Apakah saluran yang berprestasi paling teruk? Mereka bertindak seperti sistem deria, menyokong perniagaan dengan data sejarah dan memberikan cerapan kepada pengurusan dan akhirnya pembuat keputusan.

Jurutera Data

Jurutera Data bertanggungjawab untuk membina keseluruhan saluran paip. Kebanyakan juruteknik mahir dalam apa yang dipanggil "paip." Alihkan data dari sumber ke destinasi melalui saluran paip, mengubahnya sepanjang perjalanan. Mereka mereka bentuk seni bina saluran paip, menyediakan proses ETL, mengkonfigurasi gudang dan menyambungkannya dengan alat pelaporan. Sebagai contoh, Airbnb mempunyai kira-kira 50 jurutera data. Syarikat itu kadangkala menghadapi pendekatan yang lebih terperinci yang melibatkan beberapa peraturan tambahan. Sebagai contoh, jurutera kualiti data memastikan data ditangkap dan diubah dengan betul. Mempunyai data yang berat sebelah atau tidak betul adalah terlalu mahal apabila cuba membuat keputusan daripadanya. Mungkin ada jurutera berasingan yang bertanggungjawab hanya untuk ETL. Selain itu, pembangun risikan perniagaan hanya menumpukan pada penyepaduan alat pelaporan dan visualisasi. Walau bagaimanapun, alat pelaporan tidak menarik perhatian utama, dan jurutera data bukanlah pekerjaan terbaik abad ke-21, tetapi pembelajaran mesin dan saintis data mungkin begitu.

Pembelajaran Mesin dan Saintis Data

Adalah diketahui umum bahawa saintis data amat mahir dalam mengumpul data dan menjawab soalan rumit tentang data, seperti apakah pendapatan syarikat pada suku tahun hadapan? Bilakah kereta yang dijadualkan dengan Uber akan tiba? Apakah peluang untuk menyukai Senarai Schindler dan Permata Belum Dipotong?

Sebenarnya terdapat dua cara untuk menjawab soalan ini. Saintis data bekerja dengan alatan risikan perniagaan dan data gudang seperti penganalisis perniagaan dan penganalisis data. Jadi, mereka akan mendapatkan data dari gudang. Kadangkala saintis data menggunakan tasik data: satu lagi jenis storan untuk data penipuan tidak berstruktur. Mereka akan mencipta model ramalan dan menghasilkan ramalan yang boleh digunakan oleh pihak pengurusan. Ia bagus untuk pelaporan satu kali anggaran hasil, tetapi ia tidak berguna untuk meramalkan masa ketibaan kereta untuk janji temu Uber.

Nilai sebenar pembelajaran mesin ialah model pengeluaran boleh berfungsi secara automatik dan kerap menjana jawapan kepada soalan yang rumit, kadangkala beribu kali sesaat, dan perkara yang boleh dikendalikannya adalah lebih kompleks.

Menghasilkan Model Pembelajaran Mesin

Untuk membolehkan model berfungsi, infrastruktur juga diperlukan. Kadang-kadang ini adalah masalah besar. Saintis data meneroka data dalam gudang data dan tasik data, menjalankan eksperimen ke atasnya, memilih algoritma dan melatih model untuk menghasilkan kod pembelajaran mesin akhir. Ini memerlukan pemahaman yang mendalam tentang pangkalan data statistik, algoritma pembelajaran mesin dan bidang subjek.

Josh Wills, bekas ketua kejuruteraan data di SLAC, berkata di Twitter, "Saintis data ialah orang yang lebih baik dalam statistik daripada mana-mana kejuruteraan perisian

Sebagai contoh, pemesan menggunakan perisian ubereats Pesan makanan. Setelah pengguna mengesahkan pesanan, aplikasi mesti menganggarkan masa penghantaran, lokasi pesanan, restoran dan data pesanan untuk dihantar ke pelayan di mana model pembelajaran mesin ramalan penghantaran digunakan. Tetapi data ini tidak mencukupi. Model ini juga menarik data tambahan daripada pangkalan data berasingan yang mengandungi purata masa persediaan restoran dan butiran lain. Setelah semua data tersedia, model mengembalikan ramalan kepada pemesan. Walau bagaimanapun, proses itu tidak berakhir di sana. Ramalan itu sendiri disimpan dalam pangkalan data yang berasingan. Ia akan bertujuan untuk memantau prestasi model dan meneroka model melalui alat analisis supaya ia boleh dikemas kini kemudian. Semua data ini berakhir di tasik data dan gudang data.

Malah, perkhidmatan pesanan makanan UberEats sahaja menggunakan ratusan model berbeza yang berfungsi serentak untuk menjaringkan syor, meletakkan kedudukan restoran dalam carian dan menganggarkan masa penghantaran.

Kesimpulan

Adam Waxman, ketua teknikal teras Foursquare, percaya bahawa tidak akan ada lagi saintis data atau jurutera pembelajaran mesin pada masa hadapan, kerana dengan automasi latihan model dan pembinaan berterusan persekitaran pengeluaran, Banyak pekerjaan saintis data akan menjadi fungsi biasa dalam pembangunan perisian.

Tajuk asal: ​​Peranan dalam Pasukan Sains Data​​, pengarang: Anomi Ragendran

Atas ialah kandungan terperinci Perkara yang perlu anda ketahui tentang peranan ini dalam pasukan sains data. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!