Apakah fungsi asas gudang data?

Fungsi asas gudang data termasuk: 1. Reka bentuk ETL, termasuk pengekstrakan dan penyegerakan data, pembersihan data dan penukaran data 2. Lapisan data, yang biasanya dibahagikan kepada lapisan ODS, lapisan CM dan ML; lapisan; 3. , pemodelan awal data.

Persekitaran pengendalian tutorial ini: sistem Windows 7, komputer Dell G3.

Data warehouse, nama Inggeris ialah Data Warehouse, yang boleh disingkatkan sebagai DW atau DWH. Gudang data ialah koleksi strategik yang menyediakan sokongan untuk semua jenis data untuk proses membuat keputusan di semua peringkat perusahaan. Ia ialah stor data tunggal yang dicipta untuk pelaporan analisis dan tujuan sokongan keputusan. Menyediakan panduan tentang penambahbaikan proses perniagaan, masa pemantauan, kos, kualiti dan kawalan untuk perusahaan yang memerlukan kecerdasan perniagaan.

Fungsi asas gudang data

Reka bentuk ETL: pengekstrakan dan penyegerakan data, pembersihan data dan penukaran data. Melibatkan pangkalan data hubungan (mysql, mariadb, oracle, dll.) dan pangkalan data dokumen (mongodb, elasticsearch, dll.).

Pelapis data: biasanya dibahagikan kepada lapisan ODS, lapisan CM dan lapisan ML. Lapisan ODS mewakili data yang tidak diproses. Lapisan CM mewakili data lapisan pembersihan dan penggabungan.

Pemodelan data awal: Sejajar dengan lapisan ML hierarki data, model hubungan (model kepingan salji) atau model bintang biasanya digunakan untuk membentuk jadual lebar untuk menyediakan sokongan data luaran.

Teknologi yang terlibat: HDFS, HIVE, HBASE, MR, SPARK, BENANG, dsb.

Seni Bina Gudang Data

Gambar di bawah menunjukkan seni bina data yang dirancang dengan merujuk kepada seni bina data banyak syarikat di tempat kerja, untuk rujukan sahaja.

Untuk pengetahuan lanjut berkaitan, sila lawati ruangan Soalan Lazim!

Atas ialah kandungan terperinci Apakah fungsi asas gudang data?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!