目录
BIAPPS开发概要

BIAPPS开发

Jun 07, 2016 pm 04:00 PM
基于 开发

biapps是基于obiee的 BIAPPS开发概要 1. 搭建数据仓库 2. 数据抽取(ETL) 3. 搭建数据模型 4. 搭建报表系统 1、数据仓库 数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化

biapps是基于obiee的

\

BIAPPS开发概要

1. 搭建数据仓库

2. 数据抽取(ETL)

3. 搭建数据模型

4. 搭建报表系统

1、数据仓库

数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。详见百度百科。

2、ETL

在biapps的ETL过程中,有使用到Stage层,其实Stage层就是一些临时表内容,用于临时存储一些需要处理的数据。

因为时间维的数据不会随着时间的推移而发生变化,这里就再为时间维创建Stage临时表了。

WID

一般是将主键设置为WID,在SIL层进行WID的转换(维表也可能在SDE转换)事实表的维表代理键使用lookup组件进行关联写入(可见下图事实表)SDE和DIL实际上是在同一个用户下

增量和全量

从EBS源抽取数据的SDE过程的增量(这个增量过程的过滤条件可以在SQ中的Source Filter中写代码或者在Sql Query中写代买)全量是用 CUX_OM_CN_DOWN_USE_HEADER_ALL.LAST_UPDATE_DATE >= TO_DATE('$$LAST_EXTRACT_DATE', 'MM/DD/YYYY HH24:MI:SS') 区分即时间戳方式,变量在DAC中维护具体增量和全量的运行体现在不同的会话,运行全量时可以将增量的过滤条件拿掉或者在sql query中去掉where条件
SIL是从中间表到目标表的过程用UPDATE_FLAG(主键进行lookup并打上插入更新标记和时间,可见下图)标识在目标表里面数据是否存在即全表比对方式;有的时候SIL层的增量和全量是一样的,区分在于是否truncate,前提是要使用更新组件全量则只需在新的会话中放开这些过滤条件即可
\

练习SIL层增量全量还有问题?

OK,可参考虚拟机的demo,主要是组件的使用和增量操作,组件包括LKP组件、EXP组件、UPD组件和FLT组件的使用;

增量操作则是在SDE比较好实现即通过时间戳的方式,在SIL则通过和目标表的数据比对;

全量操作在SDE则去掉时间戳勾选truncate,在SIL则勾选truncate即可;

数据抽取方式?

数据抽取方式?
从数据库中抽取数据一般有以下几种方式:
1) 全量抽取
全量抽取类似于数据迁移或数据复制,它将数据源中的表或视图的数据原封不动的从数
据库中抽取出来,并转换成自己的ETL 工具可以识别的格式。全量抽取比较简单。
2) 增量抽取
增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL 使用过程中,增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求:准确性,能够将业务系统中的变化数据按一定的频率准确地捕获到;性能,不能对业务系统造成太大的压力,影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有:
a) 触发器方式(又称快照式) 在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据 发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。
优点:数据抽取的性能高,ETL 加载规则简单,速度快,不需要修改业务系统表结构,可以实现数据的递增加载。
缺点:要求业务表建立触发器,对业务系统有一定的影响,容易对源数据库构成威胁。
b) 时间戳方式 它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新修改表数据的时候,同时修改时间戳字段的值。当进行数据抽取时,通过比较上次抽取时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。
优点:同触发器方式一样,时间戳方式的性能也比较好,ETL 系统设计清晰,源数据抽取相对清楚简单,可以实现数据的递增加载。
缺点:时间戳维护需要由业务系统完成,对业务系统也有很大的倾入性(加入额外的时间戳字段),特别是对不支持时间戳的自动更新的数据库,还要求业务系统进行额外的更新时间戳操作;另外,无法捕获对时间戳以前数据的delete和update 操作,在数据准确性上受到了一定的限制。
c) 全表删除插入方式 每次ETL 操作均删除目标表数据,由ETL 全新加载数据。
优点:ETL 加载规则简单,速度快。
缺点:对于维表加外键不适应,当业务系统产生删除数据操作时,综合数据库将不会记录到所删除的历史数据,不可以实现数据的递增加载;同时对于目标表所建立的关联关系,需要重新进行创建。
d) 全表比对方式 全表比对的方式是ETL 工具事先为要抽取的表建立一个结构类似的临时表,该临时表记录源表主键以及根据所有字段的数据计算出来,每次进行数据抽取时,对源表和临时表进行的比对,如有不同,进行Update 操作,如目标表没有存在该主键值,表示该记录还没有,即进行Insert 操作。
优点:对已有系统表结构不产生影响,不需要修改业务操作程序,所有抽取规则由ETL完成,管理维护统一,可以实现数据的递增加载,没有风险。
缺点:ETL 比对较复杂,设计较为复杂,速度较慢。与触发器和时间戳方式中的主动通知不同,全表比对方式是被动的进行全表数据的比对,性能较差。当表中没有主键或唯一列且含有重复记录时,全表比对方式的准确性较差。
e) 日志表方式 在业务系统中添加系统日志表,当业务数据发生变化时,更新维护日志表内容,当作ETL 加载时,通过读日志表数据决定加载那些数据及如何加载。
优点:不需要修改业务系统表结构,源数据抽取清楚,速度较快。可以实现数据的递增加载。
缺点:日志表维护需要由业务系统完成,需要对业务系统业务操作程序作修改,记录日志信息。日志表维护较为麻烦,对原有系统有较大影响。工作量较大,改动较大,有一定风险。
f) Oracle 变化数据捕捉(CDC 方式) 通过分析数据库自身的日志来判断变化的数据。Oracle 的改变数据捕获(CDC,Changed Data Capture)技术是这方面的代表。CDC 特性是在Oracle9i 数据库中引入的。CDC 能够帮助你识别从上次抽取之后发生变化的数据。利用CDC,在对源表进行insert、update 或 delete 等操作的同时就可以提取数据,并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据,然后利用数据库视图以一种可控的方式提供给目标系统。CDC 体系结构基于发布/订阅模型。发布者捕捉变化数据并提供给订阅者。订阅者使用从发布者那里获得的变化数据。通常,CDC 系统拥有一个发布者和多个订阅者。发布者首先需要识别捕获变化数据所需的源表。然后,它捕捉变化的数据并将其保存在特别创建的变化表中。它还使订阅者能够控制对变化数据的访问。订阅者需要清楚自己感兴趣的是哪些变化数据。一个订阅者可能不会对发布者发布的所有数据都感兴趣。订阅者需要创建一个订阅者视图来访问经发布者授权可以访问的变化数据。CDC 分为同步模式和异步模式,同步模式实时的捕获变化数据并存储到变化表中,发布者与订阅都位于同一数据库中;异步模式则是基于Oracle 的流复制技术。
优点:提供了易于使用的API 来设置CDC 环境,缩短ETL 的时间。不需要修改业务系统表结构,可以实现数据的递增加载。
缺点:业务系统数据库版本与产品不统一,难以统一实现,实现过程相对复杂,并且需深入研究方能实现。或者通过第三方工具实现,价格昂贵。

3、搭建数据模型

衍生度量

选择 函数 -> 时间序列函数 -> ToDate

ToDate(《度量》,《级别》)

选择 逻辑表 -> F-销售事实 -> 销售金额 替换ToDate(《度量》,《级别》)中的《度量》

选择 时间维 -> Dim-时间维 -> 月份 替换ToDate(《度量》,《级别》)中的《级别》

ToDate("ATData"."F-销售事实"."销售金额" , "ATData"."Dim_时间维"."月份" )

衍生度量 销售数量MTD:

ToDate("ATData"."F-销售事实"."销售数量" , "ATData"."Dim_时间维"."月份" )

衍生度量 销售金额QTD:

ToDate("ATData"."F-销售事实"."销售金额" , "ATData"."Dim_时间维"."季度" )

衍生度量 销售数量QTD:

ToDate("ATData"."F-销售事实"."销售数量" , "ATData"."Dim_时间维"."季度" )

衍生度量 销售金额YTD:

ToDate("ATData"."F-销售事实"."销售金额" , "ATData"."Dim_时间维"."年份" )

衍生度量 销售数量YTD:

ToDate("ATData"."F-销售事实"."销售数量" , "ATData"."Dim_时间维"."年份" )

衍生度量 销售数量去年同期:

Ago("ATData"."F-销售事实"."销售数量" , "ATData"."Dim_时间维"."年份" , 1)

衍生度量 销售金额去年同期:

Ago("ATData"."F-销售事实"."销售金额" , "ATData"."Dim_时间维"."年份" , 1)

衍生度量 销售数量MTD去年同期:

Ago("ATData"."F-销售事实"."销售数量MTD" , "ATData"."Dim_时间维"."月份" , 12)

衍生度量 销售金额MTD去年同期:

Ago("ATData"."F-销售事实"."销售金额MTD" , "ATData"."Dim_时间维"."月份" , 12)

衍生度量 销售数量QTD去年同期:

Ago("ATData"."F-销售事实"."销售数量QTD" , "ATData"."Dim_时间维"."季度" , 4)

衍生度量 销售金额QTD去年同期:

Ago("ATData"."F-销售事实"."销售金额QTD" , "ATData"."Dim_时间维"."季度" , 4)

衍生度量 销售数量YTD去年同期:

Ago("ATData"."F-销售事实"."销售数量YTD" , "ATData"."Dim_时间维"."年份" , 1)

衍生度量 销售金额YTD去年同期:

Ago("ATData"."F-销售事实"."销售金额YTD" , "ATData"."Dim_时间维"."年份" , 1)

衍生度量 销售数量MTD上期:

Ago("ATData"."F-销售事实"."销售金额MTD" , "ATData"."Dim_时间维"."月份" , 1)

衍生度量 销售数量MTD上期:

Ago("ATData"."F-销售事实"."销售数量MTD" , "ATData"."Dim_时间维"."月份" , 1)

衍生度量 销售数量MTD环比增长率:

("ATData"."F-销售事实"."销售数量MTD" /"ATData"."F-销售事实"."销售数量MTD上期" -1) * 100

衍生度量 销售金额MTD环比增长率:

("ATData"."F-销售事实"."销售金额MTD" /"ATData"."F-销售事实"."销售金额MTD上期" -1) * 100

衍生度量 销售数量MTD同比增长率:

("ATData"."F-销售事实"."销售数量MTD" /"ATData"."F-销售事实"."销售数量MTD去年同期" -1)*100

衍生度量 销售金额MTD同比增长率:

("ATData"."F-销售事实"."销售金额MTD" /"ATData"."F-销售事实"."销售金额MTD去年同期" -1)*100

衍生度量 销售数量QTD同比增长率:

("ATData"."F-销售事实"."销售数量QTD" /"ATData"."F-销售事实"."销售数量QTD去年同期" -1)*100

衍生度量 销售金额QTD同比增长率:

("ATData"."F-销售事实"."销售金额QTD" /"ATData"."F-销售事实"."销售金额QTD去年同期" -1)*100

衍生度量 销售数量YTD同比增长率:

("ATData"."F-销售事实"."销售数量YTD" /"ATData"."F-销售事实"."销售数量YTD去年同期"-1)*100

衍生度量 销售金额YTD同比增长率:

("ATData"."F-销售事实"."销售金额YTD" /"ATData"."F-销售事实"."销售金额YTD去年同期"-1)*100

4、搭建报表系统(略)
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前 By 尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

四款值得推荐的AI辅助编程工具 四款值得推荐的AI辅助编程工具 Apr 22, 2024 pm 05:34 PM

这个AI辅助编程工具在这个AI迅速发展的阶段,挖掘出了一大批好用的AI辅助编程工具。AI辅助编程工具能够提高开发效率、改善代码质量、降低bug率,是现代软件开发过程中的重要助手。今天大姚给大家分享4款AI辅助编程工具(并且都支持C#语言),希望对大家有所帮助。https://github.com/YSGStudyHards/DotNetGuide1.GitHubCopilotGitHubCopilot是一款AI编码助手,可帮助你更快、更省力地编写代码,从而将更多精力集中在问题解决和协作上。Git

AI程序员哪家强?探索Devin、通义灵码和SWE-agent的潜力 AI程序员哪家强?探索Devin、通义灵码和SWE-agent的潜力 Apr 07, 2024 am 09:10 AM

2022年3月3日,距世界首个AI程序员Devin诞生不足一个月,普林斯顿大学的NLP团队开发了一个开源AI程序员SWE-agent。它利用GPT-4模型在GitHub存储库中自动解决问题。SWE-agent在SWE-bench测试集上的表现与Devin相似,平均耗时93秒,解决了12.29%的问题。SWE-agent通过与专用终端交互,可以打开、搜索文件内容,使用自动语法检查、编辑特定行,以及编写和执行测试。(注:以上内容为原内容微调,但保留了原文中的关键信息,未超过指定字数限制。)SWE-A

学习如何利用Go语言开发移动应用程序 学习如何利用Go语言开发移动应用程序 Mar 28, 2024 pm 10:00 PM

Go语言开发移动应用程序教程随着移动应用市场的不断蓬勃发展,越来越多的开发者开始探索如何利用Go语言开发移动应用程序。作为一种简洁高效的编程语言,Go语言在移动应用开发中也展现出了强大的潜力。本文将详细介绍如何利用Go语言开发移动应用程序,并附上具体的代码示例,帮助读者快速入门并开始开发自己的移动应用。一、准备工作在开始之前,我们需要准备好开发环境和工具。首

五大热门Go语言库汇总:开发必备利器 五大热门Go语言库汇总:开发必备利器 Feb 22, 2024 pm 02:33 PM

五大热门Go语言库汇总:开发必备利器,需要具体代码示例Go语言自从诞生以来,受到了广泛的关注和应用。作为一门新兴的高效、简洁的编程语言,Go的快速发展离不开丰富的开源库的支持。本文将介绍五大热门的Go语言库,这些库在Go开发中扮演了至关重要的角色,为开发者提供了强大的功能和便捷的开发体验。同时,为了更好地理解这些库的用途和功能,我们会结合具体的代码示例进行讲

了解VSCode:这款工具到底是用来干什么的? 了解VSCode:这款工具到底是用来干什么的? Mar 25, 2024 pm 03:06 PM

《了解VSCode:这款工具到底是用来干什么的?》作为一个程序员,无论是初学者还是资深开发者,都离不开代码编辑工具的使用。在众多编辑工具中,VisualStudioCode(简称VSCode)作为一款开源、轻量级、强大的代码编辑器备受开发者欢迎。那么,VSCode到底是用来干什么的?本文将深入探讨VSCode的功能和用途,并提供具体的代码示例,以帮助读者

全面指南:详解Java虚拟机安装过程 全面指南:详解Java虚拟机安装过程 Jan 24, 2024 am 09:02 AM

Java开发必备:详细解读Java虚拟机安装步骤,需要具体代码示例随着计算机科学和技术的发展,Java语言已成为广泛使用的编程语言之一。它具有跨平台、面向对象等优点,逐渐成为开发人员的首选语言。在使用Java进行开发之前,首先需要安装Java虚拟机(JavaVirtualMachine,JVM)。本文将详细解读Java虚拟机的安装步骤,并提供具体的代码示

PHP在Web开发中是属于前端还是后端? PHP在Web开发中是属于前端还是后端? Mar 24, 2024 pm 02:18 PM

PHP在Web开发中是属于后端。PHP是一种服务器端脚本语言,主要用于处理服务器端的逻辑,生成动态网页内容。与前端技术相比,PHP更多地用于与数据库交互、处理用户请求以及生成页面内容等后端操作。接下来通过具体的代码示例来说明PHP在后端开发中的应用。首先,我们来看一个简单的PHP代码示例,用于连接数据库并查询数据:

Go语言前端技术探秘:前端开发新视野 Go语言前端技术探秘:前端开发新视野 Mar 28, 2024 pm 01:06 PM

Go语言作为一种快速、高效的编程语言,在后端开发领域广受欢迎。然而,很少有人将Go语言与前端开发联系起来。事实上,使用Go语言进行前端开发不仅可以提高效率,还能为开发者带来全新的视野。本文将探讨使用Go语言进行前端开发的可能性,并提供具体的代码示例,帮助读者更好地了解这一领域。在传统的前端开发中,通常会使用JavaScript、HTML和CSS来构建用户界面

See all articles