데이터 베이스 MySQL 튜토리얼 Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

Jun 07, 2016 pm 03:01 PM
oracle 깊이 들어가다 이해하다 시리즈

检查点将进程的当前读写位置存储在磁盘中用于恢复目的。检查点不仅可以真实地标记 Extract 进程捕获的要进行同步的数据变化以及 Replicat 进程应用到 target 数据库的数据变化,防止进程进行冗余的数据处理,还可以提供容错机制,防止在系统、网络或 Oracle

 

      检查点将进程的当前读写位置存储在磁盘中用于恢复目的。检查点不仅可以真实地标记 Extract进程捕获的要进行同步的数据变化以及 Replicat进程应用到 target数据库的数据变化,防止进程进行冗余的数据处理,还可以提供容错机制,防止在系统、网络或 Oracle GoldenGate进程需要重启时发生数据丢失。对于复杂的同步配置,检查点可以确保多个 ExtractReplicat进程从同一组 trail文件中进行读取操作。检查点和进程间的回执机制共同防止了网络间的信息丢失。 Oracle GoldenGate采用了一套专有的可靠信息传递技术。

 

      Extract进程创建检查点来存储其在数据源中的读取位置以及trail文件中的写入位置信息。由于 Extract进程只捕获已提交的事务,因此 Extract进程必须跟踪所有 open(未提交)事务的操作,才能实时感知这些事务的提交状态。这就要求 Extract进程记录一个检查点来表示该进程当前在事务日志中的读取位置以及最早开始的 open(未提交)事务的起始位置(可能在当前读取的事务日志中,也可能在之前的事务日志中)。为了控制 Extract进程发生中断后必须重新处理的事务日志量,Extract进程会以特定的时间间隔将正在处理的事务(包括长时间运行的事务的状态和数据)的当前状态及数据写入磁盘。当 Extract进程在这些时间间隔中任意某个间隔点停止时,Extract进程可以直接从上一个时间间隔内的某个时间点或者上一个检查点位置开始进行恢复,而不用从事务日志中最早开始的长时间运行事务的起始位置开始进行恢复。这一过程实质上就是 Extract进程的Bounded Recovery机制,详情请参考《Oracle GoldenGate 系列:Extract 进程的恢复原理》,地址:http://blog.csdn.net/xiangsir/article/details/8785484

 

      Replicat进程创建检查点来存储其在 trail文件中的读取位置。Replicat进程将其检查点信息存储在 target 数据库中的检查点表中来保护其处理的事务的提交信息以及在 trail文件中的读取位置。当数据库进行恢复后,检查点表可以保证数据的一致性,确保即使是在 Replicat进程或者数据库进程发生故障后,一个事务也只会被应用一次。为了实现报告目的,Replicat进程还会在OGG根目录下的 dirchk子目录下写一个检查点文件。对于 initial load之类的非持续性同步配置,不需要检查点机制。    

 

? Extract进程负责维护:

? 3 个输入检查点

? 1 个输出检查点

 Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

 

通过 info extractextract_name,showch命令可以查看上述检查点信息:

 

Extract进程检查点信息示例

 

GGSCI(prod.oracle.com) 11> info escott,showch

 

EXTRACT    ESCOTT   Last Started 2013-05-23 20:51  Status RUNNING

Checkpoint Lag       00:00:00 (updated 00:00:01 ago)

Log ReadCheckpoint  Oracle Redo Logs

                     2013-05-23 20:52:01  Seqno 201, RBA 352256

                     SCN 0.1649108 (1649108)

Current CheckpointDetail:

 

-----三个输入检查点

Read Checkpoint #1

  Oracle Redo Log

  Startup Checkpoint (starting position in thedata source):

    Thread #: 1

    Sequence #: 200

    RBA: 4214800

    Timestamp: 2013-05-23 17:33:36.000000

    SCN: 0.1628299 (1628299)

    Redo File:/u01/app/oracle/oradata/prod/redo02.log

 

  RecoveryCheckpoint (position of oldest unprocessed transaction in the data source):

    Thread #: 1

    Sequence #: 201

    RBA: 347152

    Timestamp: 2013-05-23 20:51:58.000000

    SCN: 0.1649106 (1649106)

    Redo File:/u01/app/oracle/oradata/prod/redo03.log

 

  CurrentCheckpoint (position of last record read in the data source):

    Thread #: 1

    Sequence #: 201

    RBA: 352256

    Timestamp: 2013-05-23 20:52:01.000000

    SCN: 0.1649108 (1649108)

    Redo File:/u01/app/oracle/oradata/prod/redo03.log

 

----一个输出检查点

Write Checkpoint #1

  GGS Log Trail

 

  CurrentCheckpoint (current write position):

    Sequence #: 30

    RBA: 1079

    Timestamp: 2013-05-23 20:52:04.923545

    Extract Trail: ./dirdat/aa

 

ExtractPump)进程检查点信息示例

 

GGSCI(prod.oracle.com) 15> info pscott,showch

 

EXTRACT    PSCOTT   Last Started 2013-05-23 21:25  Status RUNNING

Checkpoint Lag       00:00:00 (updated 00:00:06 ago)

Log ReadCheckpoint  File ./dirdat/aa000030

                     First Record  RBA 1079

Current CheckpointDetail:

Read Checkpoint #1

  GGS Log Trail

  Startup Checkpoint (starting position in thedata source):

    Sequence #: 30

    RBA: 1079

    Timestamp: 2013-05-23 20:51:22.385499

    Extract Trail: ./dirdat/aa

 

  CurrentCheckpoint (position of last record read in the data source):

    Sequence #: 30

    RBA: 1079

    Timestamp: Not Available

    Extract Trail: ./dirdat/aa

 

Write Checkpoint #1

  GGS Log Trail

  CurrentCheckpoint (current write position):

    Sequence #: 16

    RBA: 1251

    Timestamp: 2013-05-23 21:37:59.020538

    Extract Trail: ./dirdat/pa

 

 

     Oracle建议在 target数据库中创建检查点表,GoldenGate会同时在检查点文件和检查点表(如果存在)中维护检查点数据。

? Replicat进程负责维护2个输入检查点:

Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

 

ReplicatDelivery进程检查点信息示例

GGSCI(dss.oracle.com) 2> info rscott,showch

 

REPLICAT   RSCOTT   Last Started 2013-05-23 21:33  Status RUNNING

Checkpoint Lag       00:00:00 (updated 00:00:00 ago)

Log ReadCheckpoint  File ./dirdat/pa000016

                     First Record  RBA 1251

Current CheckpointDetail:

Read Checkpoint #1

  GGS Log Trail

  StartupCheckpoint (starting position in the data source):

    Sequence #: 16

    RBA: 1251

    Timestamp: 2013-05-23 21:26:10.516047

    Extract Trail: ./dirdat/pa

 

  CurrentCheckpoint (position of last record read in the data source):

    Sequence #: 16

    RBA: 1251

    Timestamp: Not Available

    Extract Trail: ./dirdat/pa

 

CSN stateinformation:

  CRC: 6D-46-5-9A

  Latest CSN: 1619129

  Latest TXN: 2.32.1145

  Latest CSN of finished TXNs: 1619129

  Completed TXNs: 2.32.1145

 

除了上述 infoprocess_name,showch 命令可以查看进程的详细检查点信息外,对于 Replicat进程,我们一般还会配置 checkpoint表,我们还可以在 checkpoint表中获取这些信息。

 

OGG进程的检查点文件位于 dirchk子目录下,Extract进程的检查点文件扩展名为 cpsReplicat进程的检查点文件扩展名为 cpr

 

The different OGG checkpoint files are located underthe dirchk/ location, e.g.

 

- extract related : *.cpe;

- extract pump (datapump) related : *.cpe;

- bounded recovery related : *.cpb; - refer to 'Bounded Recovery

- replicat related : *.cpr

 

源文档 http://www.manishsrivastava-dba.com/2012/11/comparison-of-golden-gate-vs-streams.html>

 

 

[oracle@proddirchk]$ ls -lt ESCOTT*

-rw-rw-r-- 1 oracleoinstall 67584 May 23 21:58 ESCOTT.cpe

 

[oracle@proddirchk]$ ls -lt PSCOTT*

-rw-rw-r-- 1 oracleoinstall 67584 May 23 21:58 PSCOTT.cpe

 

[oracle@dss dirchk]$ls -lt RSCOTT*

-rw-rw-r-- 1 oracleoinstall 22528 May 23 21:55 RSCOTT.cpr

 

对于 Replicat进程,我们一般还会配置 checkpoint表,可以直接通过查询检查点表获取进程的检查点信息:

select * fromggs.ggs_checkpoint

 

Oracle GoldenGate检查点机制工作原理详解:

 Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

 

ExtractCapture)进程如何记录检查点

 

如上图所示,源数据库中共运行了4个事务:TX1TX2TX3 TX4CaptureExtract)进程将从事务日志中捕获的最早开始运行的未提交的事务 Begin,TX1 检查点信息、从事务日志中读取的最后一条操作记录Delete,TX4的检查点信息以及按照事务提交顺序写入trail文件的最后一条commit操作 COMMIT,TX3 的检查点信息写入检查点文件(见图中的文本图标)。注意,上图虽未包含事务日志的读取起点信息,并不代表 Extract进程不会将该检查点信息写入磁盘文件。

 

 Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

 

ExtractPump)进程如何记录检查点

 

如上图所示,Pump进程将其在 Extract进程所写的 trail文件中的当前读取位置Commit,TX2以及在自己所写的 remote trail文件中的当前写入位置 Commit,TX2记录到磁盘上的检查点文件中。

 

 Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

 

ReplicatDelivery)进程如何记录检查点

 

如上图所示,Replicat进程将其在 Pump文件传送过来的 trail文件中的当前读取位置Commit,TX2写入检查点文件。


作者:xiangsir

QQ:444367417

MSN:xiangsir@hotmail.com



본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

오라클을 열 수 없다면해야 할 일 오라클을 열 수 없다면해야 할 일 Apr 11, 2025 pm 10:06 PM

Oracle에 대한 솔루션은 개설 할 수 없습니다. 1. 데이터베이스 서비스 시작; 2. 청취자를 시작하십시오. 3. 포트 충돌을 확인하십시오. 4. 환경 변수를 올바르게 설정하십시오. 5. 방화벽이나 바이러스 백신 소프트웨어가 연결을 차단하지 않도록하십시오. 6. 서버가 닫혀 있는지 확인하십시오. 7. RMAN을 사용하여 손상된 파일을 복구하십시오. 8. TNS 서비스 이름이 올바른지 확인하십시오. 9. 네트워크 연결 확인; 10. Oracle 소프트웨어를 다시 설치하십시오.

Oracle에서 모든 데이터를 삭제하는 방법 Oracle에서 모든 데이터를 삭제하는 방법 Apr 11, 2025 pm 08:36 PM

Oracle에서 모든 데이터를 삭제하려면 다음 단계가 필요합니다. 1. 연결 설정; 2. 외국의 주요 제약을 비활성화합니다. 3. 테이블 데이터 삭제; 4. 거래 제출; 5. 외국 키 제약 조건을 활성화합니다 (선택 사항). 데이터 손실을 방지하려면 실행하기 전에 데이터베이스를 백업하십시오.

Oracle Cursor를 닫는 문제를 해결하는 방법 Oracle Cursor를 닫는 문제를 해결하는 방법 Apr 11, 2025 pm 10:18 PM

Oracle Cursor Closure 문제를 해결하는 방법에는 다음이 포함됩니다. Close 문을 사용하여 커서를 명시 적으로 닫습니다. For Update 절에서 커서를 선언하여 범위가 종료 된 후 자동으로 닫히십시오. 연관된 PL/SQL 변수가 닫히면 자동으로 닫히도록 사용 절에서 커서를 선언하십시오. 예외 처리를 사용하여 예외 상황에서 커서가 닫혀 있는지 확인하십시오. 연결 풀을 사용하여 커서를 자동으로 닫습니다. 자동 제출을 비활성화하고 커서 닫기를 지연시킵니다.

Oracle Loop에서 커서를 만드는 방법 Oracle Loop에서 커서를 만드는 방법 Apr 12, 2025 am 06:18 AM

Oracle에서 FOR 루프 루프는 커서를 동적으로 생성 할 수 있습니다. 단계는 다음과 같습니다. 1. 커서 유형을 정의합니다. 2. 루프를 만듭니다. 3. 커서를 동적으로 만듭니다. 4. 커서를 실행하십시오. 5. 커서를 닫습니다. 예 : 커서는 상위 10 명의 직원의 이름과 급여를 표시하기 위해주기별로 만들 수 있습니다.

Oracle 데이터베이스를 이끄는 방법 Oracle 데이터베이스를 이끄는 방법 Apr 11, 2025 pm 08:42 PM

Oracle 데이터베이스 페이징은 rownum pseudo-columns 또는 fetch 문을 사용하여 구현합니다. Fetch 문은 지정된 첫 번째 행 수를 얻는 데 사용되며 간단한 쿼리에 적합합니다.

Oracle 데이터베이스를 중지하는 방법 Oracle 데이터베이스를 중지하는 방법 Apr 12, 2025 am 06:12 AM

Oracle 데이터베이스를 중지하려면 다음 단계를 수행하십시오. 1. 데이터베이스에 연결하십시오. 2. 즉시 종료; 3. 셧다운은 완전히 중단됩니다.

Oracle Dynamic SQL을 만드는 방법 Oracle Dynamic SQL을 만드는 방법 Apr 12, 2025 am 06:06 AM

SQL 문은 Oracle의 동적 SQL을 사용하여 런타임 입력을 기반으로 작성 및 실행할 수 있습니다. 단계에는 다음이 포함됩니다 : 동적으로 생성 된 SQL 문을 저장할 빈 문자열 변수 준비. 즉시 실행 또는 준비 명령문을 사용하여 동적 SQL 문을 컴파일하고 실행하십시오. 바인드 변수를 사용하여 사용자 입력 또는 기타 동적 값을 동적 SQL로 전달하십시오. 동적 SQL 문을 실행하려면 즉시 실행 또는 실행을 사용하십시오.

HDFS에서 CentOS를 구성하는 데 어떤 단계가 필요합니까? HDFS에서 CentOS를 구성하는 데 어떤 단계가 필요합니까? Apr 14, 2025 pm 06:42 PM

Centos 시스템에서 Hadoop 분산 파일 시스템 (HDF)을 구축하려면 여러 단계가 필요합니다. 이 기사는 간단한 구성 안내서를 제공합니다. 1. 초기 단계에서 JDK를 설치할 준비 : 모든 노드에 JavadevelopmentKit (JDK)을 설치하면 버전이 Hadoop과 호환되어야합니다. 설치 패키지는 Oracle 공식 웹 사이트에서 다운로드 할 수 있습니다. 환경 변수 구성 : /etc /프로파일 파일 편집, Java 및 Hadoop 설정 설정 시스템에서 JDK 및 Hadoop의 설치 경로를 찾을 수 있습니다. 2. 보안 구성 : SSH 비밀번호가없는 로그인 SSH 키 : 각 노드에서 ssh-keygen 명령을 사용하십시오.

See all articles