Cara menggunakan PHP untuk prapemprosesan data dan kejuruteraan ciri

Cara menggunakan PHP untuk prapemprosesan data dan kejuruteraan ciri

Prapemprosesan data dan kejuruteraan ciri merupakan langkah yang sangat penting dalam sains data, ia boleh membantu kami membersihkan data, mengendalikan nilai yang tiada, melaksanakan pengekstrakan dan transformasi ciri, serta bersedia untuk pembelajaran mesin dan Input. data yang diperlukan oleh model pembelajaran mendalam. Dalam artikel ini, kami akan membincangkan cara melakukan prapemprosesan data dan kejuruteraan ciri dengan PHP dan menyediakan beberapa contoh kod untuk membantu anda bermula.

1. Mengimport Data
   Pertama, kita perlu mengimport data daripada sumber data luaran. Bergantung pada situasi, anda boleh memuatkan data daripada pangkalan data, fail CSV, fail Excel atau sumber data lain. Di sini kami mengambil fail CSV sebagai contoh dan menggunakan fungsi fgetcsv PHP untuk membaca data dalam fail CSV.

$csvFile = 'data.csv';
$data = [];

if (($handle = fopen($csvFile, 'r')) !== false) {
    while (($row = fgetcsv($handle)) !== false) {
        $data[] = $row;
    }
    fclose($handle);
}

// 打印数据
print_r($data);

2. Pembersihan data
   Pembersihan data ialah sebahagian daripada prapemprosesan data, yang merangkumi pemprosesan nilai yang tiada, outlier dan nilai pendua. Di bawah ialah beberapa operasi pembersihan data biasa dan contoh kod PHP yang sepadan.

• Mengendalikan nilai yang hilang: Kendalikan nilai yang hilang dengan menentukan sama ada ciri itu batal atau kosong, dan lakukan operasi pengisian atau pemadaman yang sepadan.

foreach ($data as &$row) {
    for ($i = 0; $i < count($row); $i++) {
        if ($row[$i] === null || $row[$i] === '') {
            // 填充缺失值为0
            $row[$i] = 0;
        }
    }
}

• Mengendalikan outlier: Dengan menetapkan ambang, gantikan outlier dengan min, median atau mod, dsb.

foreach ($data as &$row) {
    for ($i = 0; $i < count($row); $i++) {
        if ($row[$i] < $lowerThreshold || $row[$i] > $upperThreshold) {
            // 替换异常值为平均值
            $row[$i] = $meanValue;
        }
    }
}

• Kendalikan nilai pendua: tentukan sama ada data diduplikasi dan padamkannya.

$newData = [];
$uniqueKeys = [];

foreach ($data as $row) {
    $key = implode('-', $row);
    if (!in_array($key, $uniqueKeys)) {
        $newData[] = $row;
        $uniqueKeys[] = $key;
    }
}

// 更新数据
$data = $newData;

3. Pengestrakan dan transformasi ciri
   Pengestrakan dan transformasi ciri adalah sebahagian daripada kejuruteraan ciri, yang boleh membantu kami mengekstrak ciri berkesan daripada data mentah untuk memudahkan latihan dan ramalan model. Di bawah ialah beberapa operasi pengekstrakan dan penukaran ciri biasa serta contoh kod PHP yang sepadan.

• Pengekodan ciri diskret: Tukar ciri diskret kepada pengekodan digital untuk memudahkan pemprosesan model.

$categories = ['cat', 'dog', 'rabbit'];
$encodedData = [];

foreach ($data as $row) {
    $encodedRow = [];
    foreach ($row as $value) {
        if (in_array($value, $categories)) {
            // 使用数字编码离散特征值
            $encodedRow[] = array_search($value, $categories);
        } else {
            // 原样保留其他特征值
            $encodedRow[] = $value;
        }
    }
    $encodedData[] = $encodedRow;
}

• Penyawaian ciri: Skalakan data ciri mengikut peraturan tertentu untuk memudahkan latihan dan ramalan model.

$normalizedData = [];

foreach ($data as $row) {
    $mean = array_sum($row) / count($row); // 计算平均值
    $stdDev = sqrt(array_sum(array_map(function ($value) use ($mean) {
        return pow($value - $mean, 2);
    }, $row)) / count($row)); // 计算标准差

    $normalizedRow = array_map(function ($value) use ($mean, $stdDev) {
        // 标准化特征值
        return ($value - $mean) / $stdDev;
    }, $row);
    $normalizedData[] = $normalizedRow;
}

4. Penyediaan data dan latihan model
   Selepas prapemprosesan data dan kejuruteraan ciri, kami boleh menyediakan data dan menggunakan pembelajaran mesin atau model pembelajaran mendalam untuk latihan dan ramalan. Di sini kami menggunakan algoritma pengelompokan K-Means dalam perpustakaan PHP-ML sebagai contoh untuk melatih model.

require 'vendor/autoload.php';

use PhpmlClusteringKMeans;

$clusterer = new KMeans(3); // 设定聚类数为3
$clusterer->train($normalizedData);

$clusterLabels = $clusterer->predict($normalizedData);

// 打印聚类结果
print_r($clusterLabels);

Di atas ialah contoh mudah cara menggunakan PHP untuk prapemprosesan data dan kejuruteraan ciri. Sudah tentu, terdapat banyak operasi dan teknik lain untuk prapemprosesan data dan kejuruteraan ciri, dan pemilihan dan pelaksanaan khusus boleh ditentukan berdasarkan masalah dan keperluan khusus. Saya harap artikel ini dapat membantu anda bermula dengan prapemprosesan data dan kejuruteraan ciri, dan meletakkan asas yang kukuh untuk anda melatih pembelajaran mesin dan model pembelajaran mendalam.

Atas ialah kandungan terperinci Cara menggunakan PHP untuk prapemprosesan data dan kejuruteraan ciri. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!