Teknik Prapemprosesan Data untuk Model ML

Prapemprosesan data ialah tindakan menjalankan tindakan atau langkah tertentu pada set data sebelum ia digunakan untuk pembelajaran mesin atau tugas lain. Prapemprosesan data melibatkan pembersihan, pemformatan atau mengubah data untuk meningkatkan kualitinya atau memastikan ia sesuai untuk tujuan utamanya (dalam kes ini, melatih model). Set data yang bersih dan berkualiti tinggi meningkatkan prestasi model pembelajaran mesin.

Isu biasa dengan data berkualiti rendah termasuk:

• Nilai yang tiada
• Format tidak konsisten
• Nilai pendua
• Ciri yang tidak berkaitan

Dalam artikel ini, saya akan menunjukkan kepada anda beberapa teknik prapemprosesan data biasa untuk menyediakan set data untuk digunakan dalam model latihan. Anda memerlukan pengetahuan asas tentang Python dan cara menggunakan perpustakaan dan rangka kerja Python.

Keperluan:
Perkara berikut diperlukan untuk mendapatkan yang terbaik daripada panduan ini

• Python 3.12
• Buku Nota Jupyter atau buku nota kegemaran anda
• Numpy
• Panda
• Scipy
• Scikit belajar
• Set Data Perumahan Melbourne

Anda juga boleh menyemak output setiap kod dalam buku nota Jupyter ini di Github.

Persediaan

Jika anda belum memasang Python, anda boleh memuat turunnya daripada tapak web Python dan ikut arahan untuk memasangnya.

Setelah Python telah dipasang, pasang perpustakaan yang diperlukan

pip install numpy scipy pandas scikit-learn

Pasang Buku Nota Jupyter.

pip install notebook

Selepas pemasangan, mulakan Jupyter Notebook dengan arahan berikut

jupyter notebook

Ini akan melancarkan Jupyter Notebook dalam penyemak imbas web lalai anda. Jika tidak, semak terminal untuk mendapatkan pautan yang boleh anda tampalkan secara manual ke dalam penyemak imbas anda.

Buka buku nota baharu daripada menu Fail, import perpustakaan yang diperlukan dan jalankan sel

import numpy as np
import pandas as pd
import scipy
import sklearn

Pergi ke tapak Set Data Perumahan Melbourne dan muat turun set data. Muatkan set data ke dalam buku nota menggunakan kod berikut. Anda boleh menyalin laluan fail pada komputer anda untuk menampal dalam fungsi read_csv. Anda juga boleh meletakkan fail csv dalam folder yang sama dengan buku nota dan mengimport fail seperti yang dilihat di bawah.

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

Pisah data kepada set latihan dan pengesahan

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

Anda perlu membahagikan data kepada set latihan dan pengesahan untuk mengelakkan kebocoran data. Akibatnya, apa jua teknik prapemprosesan yang anda lakukan pada set ciri latihan adalah sama seperti yang anda lakukan pada set ciri pengesahan.

Kini set data sedia untuk diproses!

Pembersihan Data

Mengendalikan nilai yang tiada
Nilai yang hilang dalam set data adalah seperti lubang pada kain yang sepatutnya digunakan untuk menjahit pakaian. Ia merosakkan pakaian sebelum ia dibuat.

Terdapat 3 cara untuk mengendalikan nilai yang tiada dalam set data.

1. Lepaskan baris atau lajur dengan sel kosong

pip install numpy scipy pandas scikit-learn

Isu dengan kaedah ini ialah anda mungkin kehilangan maklumat berharga untuk melatih model anda. Melainkan kebanyakan nilai dalam baris atau lajur yang digugurkan tiada, tidak perlu menggugurkan sama ada baris atau lajur dengan sel kosong.

1. Imput nilai dalam sel kosong Anda boleh mengira atau mengisi sel kosong dengan min, median atau mod data dalam lajur tersebut. SimpleImputer dari Scikit belajar akan digunakan untuk mengimput nilai dalam sel kosong

pip install notebook

1. Imput dan maklumkan Cara ini berfungsi ialah anda mengaitkan nilai dalam sel kosong tetapi anda juga mencipta lajur yang menunjukkan bahawa sel itu pada mulanya kosong.

jupyter notebook

Penyingkiran pendua
Sel pendua bermaksud data berulang dan ia menjejaskan ketepatan model. Satu-satunya cara untuk menangani mereka adalah dengan menggugurkan mereka.

import numpy as np
import pandas as pd
import scipy
import sklearn

Berurusan dengan perkara luar
Outlier ialah nilai yang berbeza dengan ketara daripada nilai lain dalam set data. Mereka boleh menjadi luar biasa tinggi atau rendah berbanding dengan nilai data lain. Ia boleh timbul disebabkan oleh kesilapan kemasukan atau mereka benar-benar boleh menjadi outlier.

Adalah penting untuk menangani outlier atau ia akan membawa kepada analisis data atau model yang tidak tepat. Satu kaedah untuk mengesan outlier ialah dengan mengira skor-z.

Cara ia berfungsi ialah skor z digunakan untuk menyemak sama ada titik data berada 3 mata atau lebih jauh daripada nilai min. Pengiraan ini dilakukan untuk setiap titik data. Jika z-skor untuk titik data bersamaan dengan 3 atau nilai yang lebih tinggi, titik data adalah outlier.

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

Transformasi Data

Penormalan
Anda menormalkan ciri supaya ia boleh digambarkan sebagai taburan normal.

Taburan normal (juga dikenali sebagai taburan Gaussian) ialah taburan statistik di mana terdapat jarak atau taburan yang hampir sama di atas dan di bawah min. Graf titik data bagi data taburan normal membentuk lengkung loceng.

Maksud menormalkan data ialah jika algoritma pembelajaran mesin yang anda mahu gunakan menganggap bahawa data itu diedarkan secara normal. Contohnya ialah model Gaussian Naive Bayes.

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

Penstandardan
Penyeragaman mengubah ciri set data kepada min 0 dan sisihan piawai 1. Proses ini menskalakan setiap ciri supaya ia mempunyai julat yang serupa merentas data. Ini memastikan bahawa setiap ciri menyumbang secara sama rata kepada latihan model.

Anda menggunakan penyeragaman apabila:

• Ciri dalam data anda adalah pada skala atau unit yang berbeza.
• Model pembelajaran mesin yang anda mahu gunakan adalah berdasarkan pengoptimuman berasaskan jarak atau kecerunan (cth., regresi linear, regresi logistik, pengelompokan K-means).

Anda menggunakan StandardScaler() daripada perpustakaan sklearn untuk menyeragamkan ciri.

pip install numpy scipy pandas scikit-learn

Kesimpulan

Prapemprosesan data bukan sekadar peringkat awal. Ia adalah sebahagian daripada proses membina model pembelajaran mesin yang tepat. Ia juga boleh diubah suai agar sesuai dengan keperluan set data yang anda gunakan.

Seperti kebanyakan aktiviti, latihan menjadikan sempurna. Sambil anda meneruskan pramemproses data, kemahiran anda akan bertambah baik serta model anda.

Saya ingin membaca pendapat anda tentang perkara ini ?

Atas ialah kandungan terperinci Teknik Prapemprosesan Data untuk Model ML. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!