Oracle Golden Gate实时数据集成
前几天参加了Oracle Golden Gate实时数据集成研讨会,这里总结和分析一下Oracle的数据集成家族产品。 在数据集成方面,Or
前几天参加了Oracle Golden Gate实时数据集成研讨会,这里总结和分析一下Oracle的数据集成家族产品。
在数据集成方面,Oracle主要有三大产品:(1)Oracle新收购的Golden Gate,主要强调数据的实时性,号称数据提取最快,对源端开销影响最小;(2)Oracle原有的产品ODI(Oracle Data Integrator),用于数据集成的绝大多数场景;(3)Data Quality/Profiling,主要在ETL时保证数据质量和分类的辅助工具。和IBM的相应产品家族相比,几乎一一对应。对于(2)和(3),IBM有收购的DataStage相应产品对应,对于(1)的实时性,IBM有MQ家族中的一个real-time版本对应。微软Microsoft有相应(2)(3)的产品,(1)还没有。
Golden Gate工作原理:在源数据库端(支持各种数据库)提取日志文件以获得变化的发生,如Oralce数据库就是监控Redo Log或Archieve Log,,将变化的数据写入一个本地的跟踪文件Trail File(可以想象成一个TXT文件),然后将记录加密、压缩后路由到目的端的跟踪文件Trail File,最后在目标端用SQL写入目标数据库。在目标和源端的跟踪文件都有一个检查点记录最后一个成功的记录位置。说实话,Golden Gate的工作原理很简单,在国内ISV开发的应用中也有用完全类似的方法来实现功能,如银行业的前置机项目和电信的BOSS项目中导程控交换机的话单。
Golden Gate的适用面还是相对窄的,主要是强调实时性的地方,说白了就是ODI不能满足要求的地方,否则客户为什么不使用数据库内置的ODI工具,还非要额外花钱购买Golden Gate呢?Oracle提供的适用场景例子有银行信用卡欺诈检测、网上促销优化、基于位置的服务、SCM的改善等。
Oracle用了很多市场化的溢美之词来给Golden Gate贴金,搞清楚上面的工作原理后也就无需大惊小怪了。事务的可靠性是通过基于日志来提取变化实现的;最快的数据提取是通过近似记录的传递,大大加快了传递的频率来实现的;网络带宽占用小是通过由日志到记录再到压缩的记录来实现的。
Oracle研讨会上不能完全同意的观点:E-LT比ETL好,因为省掉了中间服务器。这完全是偷换概念。Oralce只不过将LT的功能放在目标数据库端的机器上而已。IBM的DataStage或Microsoft的Integration Service都可以,TL还是LT,反正工作量都少不了。

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

Oracle 数据库日志的保留期限取决于日志类型和配置,包括:重做日志:由 "LOG_ARCHIVE_DEST" 参数配置的最大大小决定。归档重做日志:由 "DB_RECOVERY_FILE_DEST_SIZE" 参数配置的最大大小决定。在线重做日志:不归档,在数据库重启时丢失,保留期限与实例运行时间一致。审计日志:由 "AUDIT_TRAIL" 参数配置,默认保留 30 天。

Oracle 中计算两个日期之间天数的函数是 DATEDIFF()。具体用法如下:指定时间间隔单位:interval(如 day、month、year)指定两个日期值:date1 和 date2DATEDIFF(interval, date1, date2) 返回天数差

Oracle 数据库启动顺序为:1. 检查前置条件;2. 启动监听器;3. 启动数据库实例;4. 等待数据库打开;5. 连接到数据库;6. 验证数据库状态;7. 启用服务(如果需要);8. 测试连接。

Oracle 中的 INTERVAL 数据类型用于表示时间间隔,语法为 INTERVAL <精度> <单位>,可使用加减乘除运算操作 INTERVAL,适用于存储时间数据、计算日期差值等场景。

在 Oracle 中,可使用嵌套 INSTR 函数判断一个字符串是否同时包含两个子字符串:当INSTR(string1, string2a)大于0且INSTR(string1, string2b)大于0时,则包含;否则不包含。

要在 Oracle 中查找字符出现的次数,执行以下步骤:获取字符串的总长度;获取字符所在子字符串的长度;计算字符出现的次数:用总长度减去子字符串长度。

Oracle 数据库服务器硬件配置要求:处理器:多核,主频至少 2.5 GHz,大型数据库建议 32 核以上。内存:小型数据库至少 8GB,中等规模 16-64GB,大型数据库或高负载工作负载高达 512GB 或更多。存储:SSD 或 NVMe 磁盘,RAID 阵列提高冗余和性能。网络:高速网络(10GbE 或更高),专用网卡,低延迟网络。其他:稳定电源、冗余组件、兼容操作系统和软件、散热和冷却系统。

Oracle 所需内存量取决于数据库大小、活动水平和所需性能水平:用于存储数据缓冲区、索引缓冲区、执行 SQL 语句和管理数据字典缓存。具体数量受数据库大小、活动水平和所需性能水平影响。最佳实践包括设置适当的 SGA 大小、调整 SGA 组件大小、使用 AMM 和监控内存使用情况。
