데이터 베이스 MySQL 튜토리얼 Oracle海量数据迁移之使用shell启用多个动态并行

Oracle海量数据迁移之使用shell启用多个动态并行

Jun 07, 2016 pm 04:44 PM

在Oracle数据迁移中,可能有成百上千个表,有些表很大,有些表又很

在Oracle数据迁移中,可能有成百上千个表,有些表很大,有些表又很小。
 如果启用了多个并行的进程,可能会有资源分配上的问题。
 比如下面有10个表,100代表预计的时间为100分钟。
table1  100
 table2  90
 table3  90
 table4  80
 table5  80
 table6  70
 table7  60
 table8  60
 table9  50
 table10 40

如果分为4个进程来并行执行,可能一种比较理想的方案就是
parallel1: table1,table8
 parallel2: table2,table5,table9
 parallel3: table3,table6,table9
 parallel4: table4,table7

但是在实际的执行中,可能因为表的分区,表的数据类型,,表的存储的不同,可能实际的执行时间会有很大的差别,
 可能paralle2,3,4已经执行完了,而parallel1还没有执行完50%。
 这样,table8就一直pending在那了。

 在这样的情况下,可以考虑使用动态并行,就是能够在后台启用一些并行的进程,比如需要4个并行进程,就使用nohup启用4个并行的进程。
 不做具体的数据操作。

parfile=par2_tab_parall.lst
 logfile=`echo $parfile|awk -F. '{print $1}`".log"
 while true
 do
 if [ -f $parfile ]
 then
    tab_exists_flag=`cat $parfile |wc -l`
    if [ ${tab_exists_flag} -eq 0 ]
      then
      sleep 5;
    elif [ ${tab_exists_flag} -gt 0 ]
      then
      tab_name=`cat $parfile`
      ksh appendata.sh $tab_name >> $logfile
      touch ${parfile}.tmp
      mv ${parfile}.tmp ${parfile}
    fi
 fi
 done

我们使用appendata.sh来模拟实现数据的插入,其实不会做数据的真实插入,这是模拟日志的内容。
 
echo $1
 sqlplus -s  n1/n1  set time on
 set timin on
 set pages 0
 select 'insert into '||'$1;' from dual;

select 'commit;' from dual;
 EOF
 if [ $? -eq 0 ]
 then
 echo '' >parallel1.lst
 fi


使用如下的命令来启用一个进程,比如下面的命令启用进程2,如果启用其他的进程,命令类似

nohup ksh par2.sh > par2_tab_parall.log &


只需要在一个文件中放入处理的表名即可。如果是进程2,就在par2_tab_parall.lst中放入表名,假设表为test
 par2_tab_parall.lst
 [ora11g@rac1 parallel]$ cat par2_tab_parall.lst
 test

如果放入表test,之后,就会发现第2个进程就开始处理表test了

 

test
 insert into test;

Elapsed: 00:00:00.00
 commit;

Elapsed: 00:00:00.01

再放入一个表,马上就会发现进程开始处理表tab_test了,如果没有表的时候,它就在后台做sleep工作。
[ora11g@rac1 parallel]$ echo tab_test > par2_tab_parall.lst

tab_test
 insert into tab_test;

Elapsed: 00:00:00.01
 commit;

Elapsed: 00:00:00.00

在CentOS 6.4下安装Oracle 11gR2(x64)

Oracle 11gR2 在VMWare虚拟机中安装步骤

Debian 下 安装 Oracle 11g XE R2

本文永久更新链接地址:

linux

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

뜨거운 기사 태그

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Docker에서 MySQL 메모리 사용을 줄입니다 Docker에서 MySQL 메모리 사용을 줄입니다 Mar 04, 2025 pm 03:52 PM

Docker에서 MySQL 메모리 사용을 줄입니다

Alter Table 문을 사용하여 MySQL에서 테이블을 어떻게 변경합니까? Alter Table 문을 사용하여 MySQL에서 테이블을 어떻게 변경합니까? Mar 19, 2025 pm 03:51 PM

Alter Table 문을 사용하여 MySQL에서 테이블을 어떻게 변경합니까?

MySQL의 문제를 해결하는 방법 공유 라이브러리를 열 수 없습니다. MySQL의 문제를 해결하는 방법 공유 라이브러리를 열 수 없습니다. Mar 04, 2025 pm 04:01 PM

MySQL의 문제를 해결하는 방법 공유 라이브러리를 열 수 없습니다.

Linux에서 MySQL을 실행합니다 (Phpmyadmin이있는 Podman 컨테이너가 포함되지 않음) Linux에서 MySQL을 실행합니다 (Phpmyadmin이있는 Podman 컨테이너가 포함되지 않음) Mar 04, 2025 pm 03:54 PM

Linux에서 MySQL을 실행합니다 (Phpmyadmin이있는 Podman 컨테이너가 포함되지 않음)

sqlite 란 무엇입니까? 포괄적 인 개요 sqlite 란 무엇입니까? 포괄적 인 개요 Mar 04, 2025 pm 03:55 PM

sqlite 란 무엇입니까? 포괄적 인 개요

MacOS에서 여러 MySQL 버전을 실행 : 단계별 가이드 MacOS에서 여러 MySQL 버전을 실행 : 단계별 가이드 Mar 04, 2025 pm 03:49 PM

MacOS에서 여러 MySQL 버전을 실행 : 단계별 가이드

MySQL 연결에 대한 SSL/TLS 암호화를 어떻게 구성합니까? MySQL 연결에 대한 SSL/TLS 암호화를 어떻게 구성합니까? Mar 18, 2025 pm 12:01 PM

MySQL 연결에 대한 SSL/TLS 암호화를 어떻게 구성합니까?

일반적인 취약점 (SQL 주입, 무차별 적 공격)에 대해 MySQL을 어떻게 보호합니까? 일반적인 취약점 (SQL 주입, 무차별 적 공격)에 대해 MySQL을 어떻게 보호합니까? Mar 18, 2025 pm 12:00 PM

일반적인 취약점 (SQL 주입, 무차별 적 공격)에 대해 MySQL을 어떻게 보호합니까?

See all articles