Une brève discussion sur la technologie des entrepôts de données

Cet article parle principalement de la conception de l'architecture logique de l'entrepôt de données, qui a une certaine valeur d'apprentissage. Les amis intéressés peuvent en apprendre davantage.

Les entrepôts de données hors ligne sont généralement construits sur la base de la théorie de la modélisation dimensionnelle. Les entrepôts de données hors ligne sont généralement superposés de manière logique, principalement pour les considérations suivantes :

Isolement : Les utilisateurs doivent. utilisez des données qui ont été soigneusement traitées par l'équipe chargée des données, plutôt que des données brutes provenant du système d'entreprise. Le premier avantage est que les utilisateurs utilisent des données soigneusement préparées, standardisées et propres d'un point de vue commercial. Très facile à comprendre et à utiliser. Deuxièmement, si le système métier en amont est modifié ou même reconstruit (comme la structure des tables, les champs, la signification métier, etc.), l'équipe de données sera responsable de gérer tous ces changements et de minimiser l'impact sur les utilisateurs en aval.

2. Performances et maintenabilité : Les professionnels font des choses professionnelles. La superposition des données fait que le traitement des données est essentiellement effectué par l'équipe de données, de sorte que la même logique métier n'a pas besoin d'être exécutée à plusieurs reprises. , économisant ainsi les frais de stockage et de calcul correspondants. De plus, la superposition de données rend également la maintenance de l'entrepôt de données claire et pratique. Chaque couche n'est responsable que de ses propres tâches. S'il y a un problème avec le traitement des données sur une certaine couche, il vous suffit de modifier cette couche.

3. Normativité : Pour une entreprise et une organisation, le calibre des données est très important Quand tout le monde parle d'un indicateur, il faut qu'il se base sur un calibre clair et reconnu. Les tableaux, champs et mesures doivent être standardisés.

4. Couche ODS : La table de données du système source de l'entrepôt de données est généralement stockée intacte. C'est ce qu'on appelle la couche ODS (Operation Data Store), et la couche ODS est souvent également connue. en tant que zone intermédiaire, ils sont la source de traitement des données pour la couche d'entrepôt de données suivante (c'est-à-dire la couche de table de faits et de table de dimension générée sur la base de la modélisation dimensionnelle de Kimball, et les données de la couche récapitulative traitées sur la base de ces tables de faits et tables de détail) Dans le même temps, la couche ODS stocke également des données historiques incrémentielles ou des données complètes.

5. Couches DWD et DWS : Data Warehouse Detail (DWD) et Data Warehouse Summary (DWS) font l'objet de l'entrepôt de données. Les données des couches DWD et DWS sont générées par la couche ODS après nettoyage, conversion et chargement ETL, et elles sont généralement construites sur la base de la théorie de modélisation dimensionnelle de Kimball, et les dimensions de chaque sous-thème sont garanties par des dimensions et des bus de données cohérents. cohérence.

6. Couche application (ADS) : La couche application est principalement le data mart (Data Mart, DM) établi par chaque entreprise ou département sur la base du DWD et du DWS. est relatif à l'entrepôt de données (Data Warehouse, DW) de DWD et DWS. De manière générale, les données de la couche application proviennent de la couche DW, mais en principe, l'accès direct à la couche ODS n'est pas autorisé. De plus, par rapport à la couche DW, la couche application ne contient que des données de couche détaillées et récapitulatives qui intéressent les départements ou les parties eux-mêmes.

Si vous souhaitez connaître plus de tutoriels techniques, assurez-vous de faire attention au Site Web PHP chinois !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!