Quelles sont les fonctions de base d'un entrepôt de données ?

Les fonctions de base de l'entrepôt de données comprennent : 1. La conception ETL, y compris l'extraction et la synchronisation des données, le nettoyage des données et la conversion des données ; 2. La superposition des données, qui est généralement divisée en couche ODS, couche CM et couche ML 3 ; . Moule de construction de données préliminaires.

L'environnement d'exploitation de ce tutoriel : système Windows 7, ordinateur Dell G3.

Data Warehouse, le nom anglais est Data Warehouse, qui peut être abrégé en DW ou DWH. Un entrepôt de données est une collection stratégique qui prend en charge tous les types de données pour les processus décisionnels à tous les niveaux d'une entreprise. Il s'agit d'un magasin de données unique créé à des fins de reporting analytique et d'aide à la décision. Fournit des conseils sur l’amélioration des processus métier, la surveillance du temps, des coûts, de la qualité et du contrôle pour les entreprises ayant besoin de business intelligence.

Fonctions de base de l'entrepôt de données

Conception ETL : extraction et synchronisation des données, nettoyage des données et conversion des données. Impliquant des bases de données relationnelles (mysql, mariadb, oracle, etc.) et des bases de données documentaires (mongodb, elasticsearch, etc.).

Superposition de données : généralement divisée en couche ODS, couche CM et couche ML. La couche ODS représente les données non traitées. La couche CM représente les données de la couche de nettoyage et de fusion.

Modélisation préliminaire des données : Correspondant à la couche ML hiérarchique des données, le modèle relationnel (modèle en flocon de neige) ou modèle en étoile est généralement utilisé pour former un large tableau afin de fournir un support de données externes.

Technologies impliquées : HDFS, HIVE, HBASE, MR, SPARK, YARN, etc.

Architecture de l'entrepôt de données

L'image ci-dessous montre l'architecture de données prévue en se référant à l'architecture de données de nombreuses entreprises au travail, à titre de référence uniquement.

Pour plus de connaissances connexes, veuillez visiter la colonne FAQ !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!