데이터 웨어하우스 기술에 대한 간략한 논의-MySQL 튜토리얼-php.cn

집

데이터 베이스

MySQL 튜토리얼

데이터 웨어하우스 기술에 대한 간략한 논의

little bottle

Apr 27, 2019 pm 05:34 PM

창고 기술

이 기사에서는 주로 학습 가치가 있는 데이터 웨어하우스 논리 아키텍처의 설계에 대해 설명합니다. 관심 있는 친구는 이에 대해 배울 수 있습니다.

오프라인 데이터 웨어하우스는 일반적으로 차원 모델링 이론을 기반으로 구축됩니다. 오프라인 데이터 웨어하우스는 주로 다음 사항을 고려하여 논리적으로 계층화됩니다.

1. 격리: 사용자가 사용하는 것은 데이터 팀에서 신중하게 처리해야 합니다. 이는 사용자가 비즈니스 관점에서 세심하게 준비되고 표준화된 깨끗한 데이터를 사용한다는 점입니다. 이해하고 사용하기가 매우 쉽습니다. 둘째, 업스트림 비즈니스 시스템이 변경되거나 재구성되는 경우(예: 테이블 구조, 필드, 비즈니스 의미 등) 데이터 팀은 이러한 모든 변경 사항을 처리하고 다운스트림 사용자에게 미치는 영향을 최소화할 책임이 있습니다.

2. 성능 및 유지 관리성: 데이터 계층화는 기본적으로 데이터 팀에서 모두 처리하므로 동일한 비즈니스 로직을 반복적으로 실행할 필요가 없으므로 해당 저장 및 계산 오버헤드가 절약됩니다. 또한 데이터 계층화를 통해 데이터 웨어하우스의 유지 관리가 명확하고 편리해지며, 각 계층은 자체 작업만 담당합니다. 특정 계층의 데이터 처리에 문제가 있는 경우 해당 계층만 수정하면 됩니다.

3. 표준화: 회사와 조직에서는 데이터의 수준이 매우 중요합니다. 모든 사람이 지표에 대해 이야기할 때는 명확하고 인정받는 수준을 기반으로 해야 하며, 외관, 필드 및 지표가 표준화되어야 합니다. .

4. ODS 레이어: 데이터 웨어하우스 소스 시스템의 데이터 테이블은 일반적으로 ODS(Operation Data Store) 레이어라고 합니다. 후속 데이터 웨어하우스 레이어(즉, Kimball 차원 모델링을 기반으로 생성된 팩트 테이블 및 차원 테이블 레이어와 동시에 이러한 팩트 테이블 및 세부 테이블을 기반으로 처리된 요약 레이어 데이터)에서 처리되는 데이터 소스입니다. ODS 계층은 또한 기록 증분 데이터 또는 전체 데이터를 저장합니다.

5. DWD 및 DWS 레이어: DWD(데이터 웨어하우스 세부 정보) 및 DWS(데이터 웨어하우스 요약)는 데이터 웨어하우스의 주제입니다. DWD 및 DWS 레이어의 데이터는 ETL 클리닝, 변환, 로딩 후 ODS 레이어에서 생성되며, 대개 Kimball의 차원 모델링 이론을 기반으로 구축되며 일관된 차원과 데이터 버스를 통해 각 하위 주제의 차원이 보장됩니다. 일관성.

6. 애플리케이션 계층(ADS): 애플리케이션 계층은 주로 DWD 및 DWS를 기반으로 각 사업부 또는 부서에서 구축한 데이터 마트(DM)입니다. (데이터 웨어하우스, DW). 일반적으로 애플리케이션 계층의 데이터는 DW 계층에서 오지만 원칙적으로 ODS 계층에 대한 직접 접근은 허용되지 않습니다. 또한 DW 레이어에 비해 애플리케이션 레이어에는 부서나 당사자가 직접 관심을 갖는 상세하고 요약된 레이어 데이터만 포함되어 있습니다.