목차
BIAPPS开发概要

BIAPPS开发

Jun 07, 2016 pm 04:00 PM
기반으로 개발하다

biapps是基于obiee的 BIAPPS开发概要 1. 搭建数据仓库 2. 数据抽取(ETL) 3. 搭建数据模型 4. 搭建报表系统 1、数据仓库 数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化

biapps是基于obiee的

\

BIAPPS开发概要

1. 搭建数据仓库

2. 数据抽取(ETL)

3. 搭建数据模型

4. 搭建报表系统

1、数据仓库

数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。详见百度百科。

2、ETL

在biapps的ETL过程中,有使用到Stage层,其实Stage层就是一些临时表内容,用于临时存储一些需要处理的数据。

因为时间维的数据不会随着时间的推移而发生变化,这里就再为时间维创建Stage临时表了。

WID

一般是将主键设置为WID,在SIL层进行WID的转换(维表也可能在SDE转换)事实表的维表代理键使用lookup组件进行关联写入(可见下图事实表)SDE和DIL实际上是在同一个用户下

增量和全量

从EBS源抽取数据的SDE过程的增量(这个增量过程的过滤条件可以在SQ中的Source Filter中写代码或者在Sql Query中写代买)全量是用 CUX_OM_CN_DOWN_USE_HEADER_ALL.LAST_UPDATE_DATE >= TO_DATE('$$LAST_EXTRACT_DATE', 'MM/DD/YYYY HH24:MI:SS') 区分即时间戳方式,变量在DAC中维护具体增量和全量的运行体现在不同的会话,运行全量时可以将增量的过滤条件拿掉或者在sql query中去掉where条件
SIL是从中间表到目标表的过程用UPDATE_FLAG(主键进行lookup并打上插入更新标记和时间,可见下图)标识在目标表里面数据是否存在即全表比对方式;有的时候SIL层的增量和全量是一样的,区分在于是否truncate,前提是要使用更新组件全量则只需在新的会话中放开这些过滤条件即可
\

练习SIL层增量全量还有问题?

OK,可参考虚拟机的demo,主要是组件的使用和增量操作,组件包括LKP组件、EXP组件、UPD组件和FLT组件的使用;

增量操作则是在SDE比较好实现即通过时间戳的方式,在SIL则通过和目标表的数据比对;

全量操作在SDE则去掉时间戳勾选truncate,在SIL则勾选truncate即可;

数据抽取方式?

数据抽取方式?
从数据库中抽取数据一般有以下几种方式:
1) 全量抽取
全量抽取类似于数据迁移或数据复制,它将数据源中的表或视图的数据原封不动的从数
据库中抽取出来,并转换成自己的ETL 工具可以识别的格式。全量抽取比较简单。
2) 增量抽取
增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL 使用过程中,增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求:准确性,能够将业务系统中的变化数据按一定的频率准确地捕获到;性能,不能对业务系统造成太大的压力,影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有:
a) 触发器方式(又称快照式) 在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据 发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。
优点:数据抽取的性能高,ETL 加载规则简单,速度快,不需要修改业务系统表结构,可以实现数据的递增加载。
缺点:要求业务表建立触发器,对业务系统有一定的影响,容易对源数据库构成威胁。
b) 时间戳方式 它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新修改表数据的时候,同时修改时间戳字段的值。当进行数据抽取时,通过比较上次抽取时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。
优点:同触发器方式一样,时间戳方式的性能也比较好,ETL 系统设计清晰,源数据抽取相对清楚简单,可以实现数据的递增加载。
缺点:时间戳维护需要由业务系统完成,对业务系统也有很大的倾入性(加入额外的时间戳字段),特别是对不支持时间戳的自动更新的数据库,还要求业务系统进行额外的更新时间戳操作;另外,无法捕获对时间戳以前数据的delete和update 操作,在数据准确性上受到了一定的限制。
c) 全表删除插入方式 每次ETL 操作均删除目标表数据,由ETL 全新加载数据。
优点:ETL 加载规则简单,速度快。
缺点:对于维表加外键不适应,当业务系统产生删除数据操作时,综合数据库将不会记录到所删除的历史数据,不可以实现数据的递增加载;同时对于目标表所建立的关联关系,需要重新进行创建。
d) 全表比对方式 全表比对的方式是ETL 工具事先为要抽取的表建立一个结构类似的临时表,该临时表记录源表主键以及根据所有字段的数据计算出来,每次进行数据抽取时,对源表和临时表进行的比对,如有不同,进行Update 操作,如目标表没有存在该主键值,表示该记录还没有,即进行Insert 操作。
优点:对已有系统表结构不产生影响,不需要修改业务操作程序,所有抽取规则由ETL完成,管理维护统一,可以实现数据的递增加载,没有风险。
缺点:ETL 比对较复杂,设计较为复杂,速度较慢。与触发器和时间戳方式中的主动通知不同,全表比对方式是被动的进行全表数据的比对,性能较差。当表中没有主键或唯一列且含有重复记录时,全表比对方式的准确性较差。
e) 日志表方式 在业务系统中添加系统日志表,当业务数据发生变化时,更新维护日志表内容,当作ETL 加载时,通过读日志表数据决定加载那些数据及如何加载。
优点:不需要修改业务系统表结构,源数据抽取清楚,速度较快。可以实现数据的递增加载。
缺点:日志表维护需要由业务系统完成,需要对业务系统业务操作程序作修改,记录日志信息。日志表维护较为麻烦,对原有系统有较大影响。工作量较大,改动较大,有一定风险。
f) Oracle 变化数据捕捉(CDC 方式) 通过分析数据库自身的日志来判断变化的数据。Oracle 的改变数据捕获(CDC,Changed Data Capture)技术是这方面的代表。CDC 特性是在Oracle9i 数据库中引入的。CDC 能够帮助你识别从上次抽取之后发生变化的数据。利用CDC,在对源表进行insert、update 或 delete 等操作的同时就可以提取数据,并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据,然后利用数据库视图以一种可控的方式提供给目标系统。CDC 体系结构基于发布/订阅模型。发布者捕捉变化数据并提供给订阅者。订阅者使用从发布者那里获得的变化数据。通常,CDC 系统拥有一个发布者和多个订阅者。发布者首先需要识别捕获变化数据所需的源表。然后,它捕捉变化的数据并将其保存在特别创建的变化表中。它还使订阅者能够控制对变化数据的访问。订阅者需要清楚自己感兴趣的是哪些变化数据。一个订阅者可能不会对发布者发布的所有数据都感兴趣。订阅者需要创建一个订阅者视图来访问经发布者授权可以访问的变化数据。CDC 分为同步模式和异步模式,同步模式实时的捕获变化数据并存储到变化表中,发布者与订阅都位于同一数据库中;异步模式则是基于Oracle 的流复制技术。
优点:提供了易于使用的API 来设置CDC 环境,缩短ETL 的时间。不需要修改业务系统表结构,可以实现数据的递增加载。
缺点:业务系统数据库版本与产品不统一,难以统一实现,实现过程相对复杂,并且需深入研究方能实现。或者通过第三方工具实现,价格昂贵。

3、搭建数据模型

衍生度量

选择 函数 -> 时间序列函数 -> ToDate

ToDate(《度量》,《级别》)

选择 逻辑表 -> F-销售事实 -> 销售金额 替换ToDate(《度量》,《级别》)中的《度量》

选择 时间维 -> Dim-时间维 -> 月份 替换ToDate(《度量》,《级别》)中的《级别》

ToDate("ATData"."F-销售事实"."销售金额" , "ATData"."Dim_时间维"."月份" )

衍生度量 销售数量MTD:

ToDate("ATData"."F-销售事实"."销售数量" , "ATData"."Dim_时间维"."月份" )

衍生度量 销售金额QTD:

ToDate("ATData"."F-销售事实"."销售金额" , "ATData"."Dim_时间维"."季度" )

衍生度量 销售数量QTD:

ToDate("ATData"."F-销售事实"."销售数量" , "ATData"."Dim_时间维"."季度" )

衍生度量 销售金额YTD:

ToDate("ATData"."F-销售事实"."销售金额" , "ATData"."Dim_时间维"."年份" )

衍生度量 销售数量YTD:

ToDate("ATData"."F-销售事实"."销售数量" , "ATData"."Dim_时间维"."年份" )

衍生度量 销售数量去年同期:

Ago("ATData"."F-销售事实"."销售数量" , "ATData"."Dim_时间维"."年份" , 1)

衍生度量 销售金额去年同期:

Ago("ATData"."F-销售事实"."销售金额" , "ATData"."Dim_时间维"."年份" , 1)

衍生度量 销售数量MTD去年同期:

Ago("ATData"."F-销售事实"."销售数量MTD" , "ATData"."Dim_时间维"."月份" , 12)

衍生度量 销售金额MTD去年同期:

Ago("ATData"."F-销售事实"."销售金额MTD" , "ATData"."Dim_时间维"."月份" , 12)

衍生度量 销售数量QTD去年同期:

Ago("ATData"."F-销售事实"."销售数量QTD" , "ATData"."Dim_时间维"."季度" , 4)

衍生度量 销售金额QTD去年同期:

Ago("ATData"."F-销售事实"."销售金额QTD" , "ATData"."Dim_时间维"."季度" , 4)

衍生度量 销售数量YTD去年同期:

Ago("ATData"."F-销售事实"."销售数量YTD" , "ATData"."Dim_时间维"."年份" , 1)

衍生度量 销售金额YTD去年同期:

Ago("ATData"."F-销售事实"."销售金额YTD" , "ATData"."Dim_时间维"."年份" , 1)

衍生度量 销售数量MTD上期:

Ago("ATData"."F-销售事实"."销售金额MTD" , "ATData"."Dim_时间维"."月份" , 1)

衍生度量 销售数量MTD上期:

Ago("ATData"."F-销售事实"."销售数量MTD" , "ATData"."Dim_时间维"."月份" , 1)

衍生度量 销售数量MTD环比增长率:

("ATData"."F-销售事实"."销售数量MTD" /"ATData"."F-销售事实"."销售数量MTD上期" -1) * 100

衍生度量 销售金额MTD环比增长率:

("ATData"."F-销售事实"."销售金额MTD" /"ATData"."F-销售事实"."销售金额MTD上期" -1) * 100

衍生度量 销售数量MTD同比增长率:

("ATData"."F-销售事实"."销售数量MTD" /"ATData"."F-销售事实"."销售数量MTD去年同期" -1)*100

衍生度量 销售金额MTD同比增长率:

("ATData"."F-销售事实"."销售金额MTD" /"ATData"."F-销售事实"."销售金额MTD去年同期" -1)*100

衍生度量 销售数量QTD同比增长率:

("ATData"."F-销售事实"."销售数量QTD" /"ATData"."F-销售事实"."销售数量QTD去年同期" -1)*100

衍生度量 销售金额QTD同比增长率:

("ATData"."F-销售事实"."销售金额QTD" /"ATData"."F-销售事实"."销售金额QTD去年同期" -1)*100

衍生度量 销售数量YTD同比增长率:

("ATData"."F-销售事实"."销售数量YTD" /"ATData"."F-销售事实"."销售数量YTD去年同期"-1)*100

衍生度量 销售金额YTD同比增长率:

("ATData"."F-销售事实"."销售金额YTD" /"ATData"."F-销售事实"."销售金额YTD去年同期"-1)*100

4、搭建报表系统(略)
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

권장되는 AI 지원 프로그래밍 도구 4가지 권장되는 AI 지원 프로그래밍 도구 4가지 Apr 22, 2024 pm 05:34 PM

이 AI 지원 프로그래밍 도구는 급속한 AI 개발 단계에서 유용한 AI 지원 프로그래밍 도구를 많이 발굴했습니다. AI 지원 프로그래밍 도구는 개발 효율성을 높이고, 코드 품질을 향상시키며, 버그 발생률을 줄일 수 있습니다. 이는 현대 소프트웨어 개발 프로세스에서 중요한 보조자입니다. 오늘 Dayao는 4가지 AI 지원 프로그래밍 도구(모두 C# 언어 지원)를 공유하겠습니다. 이 도구가 모든 사람에게 도움이 되기를 바랍니다. https://github.com/YSGStudyHards/DotNetGuide1.GitHubCopilotGitHubCopilot은 더 빠르고 적은 노력으로 코드를 작성하는 데 도움이 되는 AI 코딩 도우미이므로 문제 해결과 협업에 더 집중할 수 있습니다. 힘내

최고의 AI 프로그래머는 누구일까요? Devin, Tongyi Lingma 및 SWE 에이전트의 잠재력을 살펴보세요. 최고의 AI 프로그래머는 누구일까요? Devin, Tongyi Lingma 및 SWE 에이전트의 잠재력을 살펴보세요. Apr 07, 2024 am 09:10 AM

세계 최초의 AI 프로그래머 데빈(Devin)이 태어난 지 한 달도 채 안 된 2022년 3월 3일, 프린스턴 대학의 NLP팀은 오픈소스 AI 프로그래머 SWE-에이전트를 개발했습니다. GPT-4 모델을 활용하여 GitHub 리포지토리의 문제를 자동으로 해결합니다. SWE-bench 테스트 세트에서 SWE-agent의 성능은 Devin과 유사하며 평균 93초가 걸리고 문제의 12.29%를 해결합니다. SWE-agent는 전용 터미널과 상호 작용하여 파일 내용을 열고 검색하고, 자동 구문 검사를 사용하고, 특정 줄을 편집하고, 테스트를 작성 및 실행할 수 있습니다. (참고: 위 내용은 원문 내용을 약간 조정한 것이지만 원문의 핵심 정보는 그대로 유지되며 지정된 단어 수 제한을 초과하지 않습니다.) SWE-A

Go 언어를 사용하여 모바일 애플리케이션을 개발하는 방법을 알아보세요. Go 언어를 사용하여 모바일 애플리케이션을 개발하는 방법을 알아보세요. Mar 28, 2024 pm 10:00 PM

Go 언어 개발 모바일 애플리케이션 튜토리얼 모바일 애플리케이션 시장이 지속적으로 성장함에 따라 점점 더 많은 개발자가 Go 언어를 사용하여 모바일 애플리케이션을 개발하는 방법을 모색하기 시작했습니다. 간단하고 효율적인 프로그래밍 언어인 Go 언어는 모바일 애플리케이션 개발에서도 강력한 잠재력을 보여주었습니다. 이 기사에서는 Go 언어를 사용하여 모바일 애플리케이션을 개발하는 방법을 자세히 소개하고 독자가 빠르게 시작하고 자신의 모바일 애플리케이션 개발을 시작할 수 있도록 특정 코드 예제를 첨부합니다. 1. 준비 시작하기 전에 개발 환경과 도구를 준비해야 합니다. 머리

가장 인기 있는 다섯 가지 Go 언어 라이브러리 요약: 개발을 위한 필수 도구 가장 인기 있는 다섯 가지 Go 언어 라이브러리 요약: 개발을 위한 필수 도구 Feb 22, 2024 pm 02:33 PM

가장 인기 있는 다섯 가지 Go 언어 라이브러리 요약: Go 언어는 탄생 이후 광범위한 관심과 적용을 받아왔습니다. 새롭게 떠오르는 효율적이고 간결한 프로그래밍 언어인 Go의 급속한 발전은 풍부한 오픈 소스 라이브러리의 지원과 불가분의 관계입니다. 이 기사에서는 인기 있는 Go 언어 라이브러리 5개를 소개합니다. 이러한 라이브러리는 Go 개발에서 중요한 역할을 하며 개발자에게 강력한 기능과 편리한 개발 경험을 제공합니다. 동시에 이러한 라이브러리의 용도와 기능을 더 잘 이해하기 위해 구체적인 코드 예제를 통해 설명하겠습니다.

VSCode 이해: 이 도구는 어떤 용도로 사용됩니까? VSCode 이해: 이 도구는 어떤 용도로 사용됩니까? Mar 25, 2024 pm 03:06 PM

"VSCode 이해: 이 도구는 어떤 용도로 사용됩니까?" 》프로그래머로서 초보자이든 숙련된 개발자이든 코드 편집 도구를 사용하지 않으면 할 수 없습니다. 많은 편집 도구 중에서 Visual Studio Code(약칭 VSCode)는 가볍고 강력한 오픈 소스 코드 편집기로 개발자들 사이에서 매우 인기가 높습니다. 그렇다면 VSCode는 정확히 어떤 용도로 사용되나요? 이 기사에서는 VSCode의 기능과 사용법을 자세히 살펴보고 독자에게 도움이 되는 구체적인 코드 예제를 제공합니다.

종합 가이드: 자세한 Java Virtual Machine 설치 프로세스 종합 가이드: 자세한 Java Virtual Machine 설치 프로세스 Jan 24, 2024 am 09:02 AM

Java 개발 필수 사항: Java 가상 머신 설치 단계에 대한 자세한 설명, 필요한 특정 코드 예제 컴퓨터 과학 및 기술의 발전으로 Java 언어는 가장 널리 사용되는 프로그래밍 언어 중 하나가 되었습니다. 크로스 플랫폼과 객체 지향의 장점을 갖고 있으며 점차 개발자들이 선호하는 언어가 되었습니다. 개발을 위해 Java를 사용하기 전에 먼저 Java Virtual Machine(JavaVirtualMachine, JVM)을 설치해야 합니다. 이 기사에서는 JVM(Java Virtual Machine)의 설치 단계를 자세히 설명하고 구체적인 코드 예제를 제공합니다.

웹 개발에서 PHP는 프런트엔드인가요, 백엔드인가요? 웹 개발에서 PHP는 프런트엔드인가요, 백엔드인가요? Mar 24, 2024 pm 02:18 PM

PHP는 웹 개발의 백엔드에 속합니다. PHP는 주로 서버 측 로직을 처리하고 동적 웹 콘텐츠를 생성하는 데 사용되는 서버 측 스크립팅 언어입니다. 프런트엔드 기술과 비교하여 PHP는 데이터베이스와의 상호 작용, 사용자 요청 처리, 페이지 콘텐츠 생성과 같은 백엔드 작업에 더 많이 사용됩니다. 다음으로, 백엔드 개발에서 PHP 적용을 설명하기 위해 특정 코드 예제가 사용됩니다. 먼저 데이터베이스에 연결하고 데이터를 쿼리하기 위한 간단한 PHP 코드 예제를 살펴보겠습니다.

Go 언어 프런트엔드 기술 탐색: 프런트엔드 개발을 위한 새로운 비전 Go 언어 프런트엔드 기술 탐색: 프런트엔드 개발을 위한 새로운 비전 Mar 28, 2024 pm 01:06 PM

빠르고 효율적인 프로그래밍 언어인 Go 언어는 백엔드 개발 분야에서 널리 사용됩니다. 그러나 Go 언어를 프런트엔드 개발과 연관시키는 사람은 거의 없습니다. 실제로 프런트엔드 개발에 Go 언어를 사용하면 효율성이 향상될 뿐만 아니라 개발자에게 새로운 지평을 열어줄 수도 있습니다. 이 기사에서는 프런트엔드 개발에 Go 언어를 사용할 수 있는 가능성을 살펴보고 독자가 이 영역을 더 잘 이해할 수 있도록 구체적인 코드 예제를 제공합니다. 전통적인 프런트엔드 개발에서는 사용자 인터페이스를 구축하기 위해 JavaScript, HTML, CSS를 사용하는 경우가 많습니다.

See all articles