데이터 웨어하우스에는 어떤 기술이 필요한가요?

데이터 웨어하우징(Data Warehousing)은 정보시스템 사업 개발의 ​​필요성에 따라 데이터베이스 시스템 기술을 기반으로 개발되어 점차 독립화되는 일련의 새로운 응용기술입니다. 데이터 웨어하우스에는 OLTP와 OLAP의 두 가지 주요 기술이 있습니다. 아래에서 분석해 보겠습니다. #

OLTP의 전체 이름은 온라인 트랜잭션 처리(Online Transaction Process)입니다. OLTP는 주로 트랜잭션 처리에 전통적인 관계형 데이터베이스를 사용합니다. OLTP의 핵심 요구사항은 단일 레코드를 효율적이고 빠르게 처리하는 것입니다. 인덱싱 기술과 하위 데이터베이스, 하위 테이블 등 가장 기본적인 요구 사항은 이러한 문제를 해결하는 것입니다.

OLAP의 정식 명칭은 Online Analytical Process입니다. OLAP은 데이터의 추가, 삭제, 수정, 동시성 제어를 고려해야 하는 OLTP 데이터베이스와 달리 대용량 데이터를 처리하고 계산할 수 있습니다. 데이터는 일반적으로 데이터 쿼리 요청만 처리하면 되며, 데이터 가져오기는 일괄적으로 가져오기 때문에 열 저장, 열 압축, 비트맵 인덱싱과 같은 기술을 통해 요청에 대한 응답을 크게 가속화할 수 있습니다.

2. OLTP와 OLAP 데이터의 단순 비교, 데이터 웨어하우스 논리 아키텍처 설계

오프라인 데이터 웨어하우스는 일반적으로 차원 모델링 이론을 기반으로 구축됩니다. 오프라인 데이터 웨어하우스는 일반적으로 논리적으로 계층화됩니다. 단어 분할은 주로 다음 고려 사항으로 인해 발생합니다: #🎜 🎜#

1. 격리: 사용자가 사용하는 데이터는 원본 데이터가 아닌 데이터 팀에서 신중하게 처리해야 합니다. 비즈니스 시스템의 장점은 사용자가 비즈니스 관점에서 세심하게 준비된 표준화된 깨끗한 데이터를 사용한다는 것입니다. 이해하고 사용하기가 매우 쉽습니다. 둘째, 업스트림 비즈니스 시스템이 변경되거나 재구성되는 경우(예: 테이블 구조, 필드, 비즈니스 의미 등) 데이터 팀은 이러한 모든 변경 사항을 처리하고 다운스트림 사용자에게 미치는 영향을 최소화할 책임이 있습니다.

2. 성능 및 유지 관리성: 전문가는 전문적인 작업을 수행합니다. 데이터 계층화는 기본적으로 데이터 팀에서 데이터 처리를 수행하므로 동일한 비즈니스 로직을 반복적으로 실행할 필요가 없으므로 해당 스토리지가 절약됩니다. 그리고 컴퓨팅 오버헤드. 또한 데이터 계층화를 통해 데이터 웨어하우스의 유지 관리가 명확하고 편리해지며, 각 계층은 자체 작업만 담당합니다. 특정 계층의 데이터 처리에 문제가 있는 경우 해당 계층만 수정하면 됩니다. 3. 표준화: 회사와 조직에서는 데이터의 수준이 매우 중요합니다. 모든 사람이 지표에 대해 이야기할 때는 명확하고 인정받는 수준을 기반으로 해야 합니다. 표준화되어야 합니다.

4. ODS 레이어: 데이터 웨어하우스 소스 시스템의 데이터 테이블은 일반적으로 ODS(Operation Data Store) 레이어라고도 합니다. 스테이징 영역)은 후속 데이터 웨어하우스 레이어(예: Kimball 차원 모델링을 기반으로 생성된 팩트 테이블 및 차원 테이블 레이어와 이러한 팩트 테이블 및 세부 테이블을 기반으로 처리된 요약 레이어 데이터)에서 처리되는 데이터 소스입니다. 동시에 ODS 계층은 기록 증분 데이터 또는 전체 데이터도 저장합니다.

5. DWD 및 DWS 레이어: DWD(데이터 웨어하우스 세부 정보) 및 DWS(데이터 웨어하우스 요약)는 데이터 웨어하우스의 주제입니다. DWD 및 DWS 레이어의 데이터는 ETL 클리닝, 변환, 로딩 후 ODS 레이어에서 생성되며, 대개 Kimball의 차원 모델링 이론을 기반으로 구축되며 일관된 차원과 데이터 버스를 통해 각 하위 주제의 차원이 보장됩니다. 일관성.

6. 애플리케이션 계층(ADS): 애플리케이션 계층은 주로 DWD 및 DWS를 기반으로 각 사업 또는 부서에서 구축한 데이터 마트(Data Mart, DM)입니다. 데이터 마트 DM은 DWD에 상대적입니다. DWS의 데이터 웨어하우스(DW)용입니다. 일반적으로 애플리케이션 계층의 데이터는 DW 계층에서 오지만 원칙적으로 ODS 계층에 대한 직접 접근은 허용되지 않습니다. 또한 DW 레이어에 비해 애플리케이션 레이어에는 부서나 당사자가 직접 관심을 갖는 상세하고 요약된 레이어 데이터만 포함되어 있습니다.

위 내용은 데이터 웨어하우스에는 어떤 기술이 필요한가요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!