首页 数据库 mysql教程 数据仓库系统的技术体系架构设计

数据仓库系统的技术体系架构设计

Jun 07, 2016 pm 05:41 PM
bi 工作流 数据仓库 架构 设计

数据仓库系统的技术体系架构设计作者:成晓旭【声明】由于本文阐释的技术方案,源自在线生产系统,恕不提供完整而详细的技术方案,更不会提供源代码。欢迎大家讨

 数据仓库系统的技术体系架构设计

作者:成晓旭

 

【声明】

     由于本文阐释的技术方案,网站空间,源自在线生产系统,恕不提供完整而详细的技术方案,更不会提供源代码。欢迎大家讨论技术方案、交流设计心得。

 

    该数据仓库系统的主要功能是从众多外部系统中,采集相关的业务数据,集中存储到系统的数据库中。系统内部对所有的原始数据通过一系列处理转换之后,存储到数据仓库的基础库中;然后,通过业务需要进行一系列的数据转换到相应的数据集市,供其他上层数据应用组件进行专题分析。


    因此,从数据被采集、转换、存储、分析、应用的角度对系统内部技术构件进行抽象,将系统内部分为采集层、处理层、应用层、配置层4个逻辑层次。数据分析系统的技术体系架构如下图:

  

    在采集层,主要应用接口适配器、网络文件采集及转换器、ESB总线等技术。

    接口适配器技术,用于适配各专业系统的数据采集接口,通过接口适配器来屏蔽各专业接口方式的差异性;

    网络文件采集及转换器,用于从各专业系统的采集文件数据,美国服务器,主要针对特定格式的各类网络数据文件,负责对数据格式进行格式化、规范化等预处理;

    ESB总线对标准的WebService/JMS接口方式的数据进行采集。


    在处理层,主要应用数据持久化、J2EE、BI等技术。

    数据持久化主要采用关系数据库技术和文件数据库技术。关系数据库技术,用于存储系统采集、处理、计算等业务数据,存储系统各类运行参数配置信息,以及其他的运行过程信息;文件服务器,为各类文件型数据提供数据存储和访问服务;

    J2EE技术,是系统中所有B/S逻辑构件、应用程序、Web服务的容器,为各种B/S组件提供运行环境,并对其生命周期进行管控;

    BI的元数据管理为各类动态统计分析报表的数据聚合、多维分析、数据加载、数据生产、数据项、计算规则、展示方式等提供配置管理。


    在应用层,用于人机交互的主要应用BI、Web等技术。

    Web技术,提供系统的B/S界面的应用,包括HTML、CSS、JS、Ajax等;

    BI技术,为各类动态统计分析结果提供报表、图形、仪表盘等丰富的展示方式;用于系统交互的ESB总线技术,以数据总线的方式发布WebService调用、或者下发JMS数据,通过统一的数据发布系统为外部系统提供服务数据共享服务。采用第三方标准中间件产品来实现,例如:SAP的BOE(BusinessObjects Enterprise)、IBM的Cognos、MSTR的MicroStrategy等主流的BI中间件产品。


    在配置层,主要应用ETL可视化可配置平台、规则引擎、工作流引擎等技术。

    ETL可视化配置技术,用于提供可视化、可配置的ETL数据抽取、转换、加载的处理,主要针对数据库数据、FTP标准文件格式的数据或者经过网络文件采集及转换器预处理过的中间数据;

    规则引擎部分为采集成各类适配及采集器提供配置数据的集中管理,网站空间,包括提供接口文件的采集目录、文件名规则、数据项约定以及ETL数据抽取规则等的配置管理;

    工作流引擎,提供从数据采集接口配置、采集数据项、ETL参数配置、指标关联映射、BI参数关联映射等全过程的流程化配置向导。


    

本文出自 “IT旁观者” 博客,请务必保留此出处

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前 By 尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

复古潮流!HMD与喜力联合推出翻盖手机:透明外壳设计 复古潮流!HMD与喜力联合推出翻盖手机:透明外壳设计 Apr 17, 2024 pm 06:50 PM

4月17日消息,HMD携手知名啤酒品牌喜力以及创意公司Bodega,联袂推出了一款别具一格的翻盖手机——无聊手机(TheBoringPhone)。这款手机不仅在设计上充满新意,更在功能上返璞归真,旨在引领人们回归真实的人际交往,享受与朋友畅饮的纯粹时光。无聊手机采用了独特的透明翻盖设计,展现出一种简约而不失优雅的美感。其内部配备了2.8英寸QVGA显示屏,外部则是一块1.77英寸的显示屏,为用户提供了基本的视觉交互体验。在摄影方面,虽然仅搭载了30万像素的摄像头,但足以应对日常的简

首发899元 中兴5G随身Wi-Fi U50S开售:最高网速500Mbps 首发899元 中兴5G随身Wi-Fi U50S开售:最高网速500Mbps Apr 26, 2024 pm 03:46 PM

4月26日消息,中兴5G随身Wi-FiU50S目前已经正式开售,首发899元。外观设计上,中兴U50S随身Wi-Fi简约时尚,易于手持和包装。其尺寸为159/73/18mm,携带方便,让您随时随地畅享5G高速网络,实现畅行无阻的移动办公与娱乐体验。中兴5G随身Wi-FiU50S该设备支持先进的Wi-Fi6协议,峰值速率高达1800Mbps,依托骁龙X55高性能5G平台,为用户提供极速的网络体验。不仅支持5G双模SA+NSA网络环境和Sub-6GHz频段,实测网速更可达惊人的500Mbps,轻松满

台电M50 Mini小平板来了:8.7寸IPS屏、5000mAh电池 台电M50 Mini小平板来了:8.7寸IPS屏、5000mAh电池 Apr 04, 2024 am 08:31 AM

4月3日消息,台电即将推出的M50Mini平板电脑是一款功能丰富、性能强大的设备。这款8英寸小平板新品搭载了8.7英寸的IPS屏幕,为用户提供了出色的视觉体验。其金属机身设计不仅美观,还增强了设备的耐用性。在性能方面,M50Mini搭载了紫光展锐T606八核处理器,拥有两个A75核心和六个A55核心,确保了流畅且高效的运行体验。同时,该平板还配备了6GB+128GB的存储方案,并支持8GB内存扩展,满足了用户对于存储和多任务处理的需求。在续航上,M50Mini配备了5000mAh的电池,支持Ty

荣耀Magic V3首发AI离焦护眼技术:有效缓解近视发展 荣耀Magic V3首发AI离焦护眼技术:有效缓解近视发展 Jul 18, 2024 am 09:27 AM

7月12日消息,荣耀MagicV3系列今日正式发布,搭载全新荣耀视力舒缓绿洲护眼屏,在屏幕本身具备高规格和高素质的同时,还开创性的引入AI主动式护眼技术。据悉,传统的缓解近视的方式是“近视镜”,近视眼镜度数均匀分布,保证了视线中心区域成像在视网膜之上,但周边区域成像在视网膜后,视网膜感应到成像在后,促进眼轴向后生长,从而使度数加深。目前主要的缓解近视发展的方式之一是“离焦镜”,其中心区域度数正常,周边区域通过光学设计分区调整,从而使周边区域成像落在视网膜前,

ppt结束页如何设计才足够吸引人 ppt结束页如何设计才足够吸引人 Mar 20, 2024 pm 12:30 PM

在工作中,ppt是职场人士常常使用的办公软件。一个完整的ppt必须有一个好的结束页。不同的职业要求赋予不同的ppt制作特点。关于结束页的制作,如何才能设计的比较吸引人呢?下边我们一起看一看,如何设计ppt结束页吧!ppt结束页的设计可以在文字和动画方面进行一些调整,根据需要选择简洁或炫目的风格。接下来,我们将重点关注如何通过创新的表达方式来打造出符合要求的ppt结束页。那我们开始今天的教程吧。1、对于结束页的制作上,使用图片中的任何文字都可以,结束页重要的是表示我的演示结束了。2、除了这些文字,

1.3ms耗时!清华最新开源移动端神经网络架构 RepViT 1.3ms耗时!清华最新开源移动端神经网络架构 RepViT Mar 11, 2024 pm 12:07 PM

论文地址:https://arxiv.org/abs/2307.09283代码地址:https://github.com/THU-MIG/RepViTRepViT在移动端ViT架构中表现出色,展现出显着的优势。接下来,我们将探讨本研究的贡献所在。文中提到,轻量级ViTs通常比轻量级CNNs在视觉任务上表现得更好,这主要归功于它们的多头自注意力模块(MSHA)可以让模型学习全局表示。然而,轻量级ViTs和轻量级CNNs之间的架构差异尚未得到充分研究。在这项研究中,作者们通过整合轻量级ViTs的有效

Spring Data JPA 的架构和工作原理是什么? Spring Data JPA 的架构和工作原理是什么? Apr 17, 2024 pm 02:48 PM

SpringDataJPA基于JPA架构,通过映射、ORM和事务管理与数据库交互。其存储库提供CRUD操作,派生查询简化了数据库访问。此外,它使用延迟加载,仅在必要时检索数据,从而提高了性能。

golang框架架构的学习曲线有多陡峭? golang框架架构的学习曲线有多陡峭? Jun 05, 2024 pm 06:59 PM

Go框架架构的学习曲线取决于对Go语言和后端开发的熟悉程度以及所选框架的复杂性:对Go语言的基础知识有较好的理解。具有后端开发经验会有所帮助。复杂性不同的框架导致学习曲线差异。

See all articles