Hive与Oracle表关联语句对比
在将ORACLE存储过程迁移到HIVE平台时,不可避免地会遇到表关联的相应语法问题。本文详细对比了ORALCE和HIVE的各种表关联语法,包
在将Oracle存储过程迁移到HIVE平台时,不可避免地会遇到表关联的相应语法问题。
本文详细对比了ORALCE和HIVE的各种表关联语法,,包括内关联,左,右关联,全外关联和笛卡尔积。
一.创建表
ORACLE:
create table a
(
a1 number(10),
a2 varchar2(50)
);
create table b
(
b1 number(10),
b2 varchar2(50)
);
HIVE:
CREATE TABLE IF NOT EXISTS a (
a1 STRING,
a2 STRING)
COMMENT 'TABLE A'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
TBLPROPERTIES ( 'created_at'='2014-04-28','creator'='HENRY' );
二.插入数据
ORACLE:
insert into a(a1,a2) values(1,'X');
insert into a(a1,a2) values(2,'Y');
insert into a(a1,a2) values(3,'Z');
insert into b(b1,b2) values(1,'X');
insert into b(b1,b2) values(2,'Y');
insert into b(b1,b2) values(4,'Z');
HIVE:
hive (default)> load data local inpath './data1' into table a;
Copying data from file:/home/Hadoop/roger/sql/renguihe/data
Copying file: file:/home/hadoop/roger/sql/renguihe/data
Loading data to table default.a
Table default.a stats: [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 12, raw_data_size: 0]
OK
Time taken: 1.961 seconds
hive (default)> load data local inpath './data1' into table b;
Copying data from file:/home/hadoop/roger/sql/renguihe/data
Copying file: file:/home/hadoop/roger/sql/renguihe/data
Loading data to table default.b
Table default.b stats: [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 12, raw_data_size: 0]
OK
Time taken: 0.392 seconds
其中data1数据文件内容为:
1|X
2|Y
3|Z
data2数据文件内容为:
1|X
2|Y
4|Z
三.等值关联
ORACLE:
select * from a,b where a.a1 = b.b1;
或:
select * from a join b on a.a1 = b.b1;
结果如下图所示:
HIVE:
select * from a join b on a.a1 = b.b1;
注意HIVE中不能使用where来表示关联条件。
执行过程及结果如下图所示:
hive (default)> select * from a join b on a.a1 = b.b1;
Total MapReduce jobs = 1
setting HADOOP_USER_NAME hadoop
Execution log at: /tmp/hadoop/.log
2014-04-29 09:13:27 Starting to launch local task to process map join; maximum memory = 1908932608
2014-04-29 09:13:27 Processing rows: 3 Hashtable size: 3 Memory usage: 110981704 rate: 0.058
2014-04-29 09:13:27 Dump the hashtable into file: file:/tmp/hadoop/hive_2014-04-29_09-13-25_273_8486588204512196396/-local-10002/HashTable-Stage-3/MapJoin-mapfile00--.hashtable
2014-04-29 09:13:27 Upload 1 File to: file:/tmp/hadoop/hive_2014-04-29_09-13-25_273_8486588204512196396/-local-10002/HashTable-Stage-3/MapJoin-mapfile00--.hashtable File size: 438
2014-04-29 09:13:27 End of local task; Time Taken: 0.339 sec.
Execution completed successfully
Mapred Local Task Succeeded . Convert the Join into MapJoin
Mapred Local Task Succeeded . Convert the Join into MapJoin
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201404251509_0131, Tracking URL = IP:50030/jobdetails.jsp?jobid=job_201404251509_0131
Kill Command = /home/hadoop/package/hadoop-1.0.4/libexec/../bin/hadoop job -kill job_201404251509_0131
Hadoop job information for Stage-3: number of mappers: 1; number of reducers: 0
2014-04-29 09:13:39,979 Stage-3 map = 0%, reduce = 0%
2014-04-29 09:13:46,025 Stage-3 map = 100%, reduce = 0%, Cumulative CPU 1.59 sec
2014-04-29 09:13:47,034 Stage-3 map = 100%, reduce = 0%, Cumulative CPU 1.59 sec
2014-04-29 09:13:48,044 Stage-3 map = 100%, reduce = 0%, Cumulative CPU 1.59 sec
2014-04-29 09:13:49,052 Stage-3 map = 100%, reduce = 0%, Cumulative CPU 1.59 sec
2014-04-29 09:13:50,061 Stage-3 map = 100%, reduce = 0%, Cumulative CPU 1.59 sec
2014-04-29 09:13:51,069 Stage-3 map = 100%, reduce = 0%, Cumulative CPU 1.59 sec
2014-04-29 09:13:52,077 Stage-3 map = 100%, reduce = 100%, Cumulative CPU 1.59 sec
MapReduce Total cumulative CPU time: 1 seconds 590 msec
Ended Job = job_201404251509_0131
MapReduce Jobs Launched:
Job 0: Map: 1 Cumulative CPU: 1.59 sec HDFS Read: 211 HDFS Write: 16 SUCCESS
Total MapReduce CPU Time Spent: 1 seconds 590 msec
OK
a1 a2 b1 b2
1 X 1 X
2 Y 2 Y
更多详情见请继续阅读下一页的精彩内容:

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











전체 테이블 스캔은 MySQL에서 인덱스를 사용하는 것보다 빠를 수 있습니다. 특정 사례는 다음과 같습니다. 1) 데이터 볼륨은 작습니다. 2) 쿼리가 많은 양의 데이터를 반환 할 때; 3) 인덱스 열이 매우 선택적이지 않은 경우; 4) 복잡한 쿼리시. 쿼리 계획을 분석하고 인덱스 최적화, 과도한 인덱스를 피하고 정기적으로 테이블을 유지 관리하면 실제 응용 프로그램에서 최상의 선택을 할 수 있습니다.

InnoDB의 전체 텍스트 검색 기능은 매우 강력하여 데이터베이스 쿼리 효율성과 대량의 텍스트 데이터를 처리 할 수있는 능력을 크게 향상시킬 수 있습니다. 1) InnoDB는 기본 및 고급 검색 쿼리를 지원하는 역 색인화를 통해 전체 텍스트 검색을 구현합니다. 2) 매치 및 키워드를 사용하여 검색, 부울 모드 및 문구 검색을 지원합니다. 3) 최적화 방법에는 워드 세분화 기술 사용, 인덱스의 주기적 재건 및 캐시 크기 조정, 성능과 정확도를 향상시키는 것이 포함됩니다.

예, MySQL은 Windows 7에 설치 될 수 있으며 Microsoft는 Windows 7 지원을 중단했지만 MySQL은 여전히 호환됩니다. 그러나 설치 프로세스 중에 다음 지점이 표시되어야합니다. Windows 용 MySQL 설치 프로그램을 다운로드하십시오. MySQL의 적절한 버전 (커뮤니티 또는 기업)을 선택하십시오. 설치 프로세스 중에 적절한 설치 디렉토리 및 문자를 선택하십시오. 루트 사용자 비밀번호를 설정하고 올바르게 유지하십시오. 테스트를 위해 데이터베이스에 연결하십시오. Windows 7의 호환성 및 보안 문제에 주목하고 지원되는 운영 체제로 업그레이드하는 것이 좋습니다.

MySQL은 오픈 소스 관계형 데이터베이스 관리 시스템입니다. 1) 데이터베이스 및 테이블 작성 : CreateAbase 및 CreateTable 명령을 사용하십시오. 2) 기본 작업 : 삽입, 업데이트, 삭제 및 선택. 3) 고급 운영 : 가입, 하위 쿼리 및 거래 처리. 4) 디버깅 기술 : 확인, 데이터 유형 및 권한을 확인하십시오. 5) 최적화 제안 : 인덱스 사용, 선택을 피하고 거래를 사용하십시오.

클러스터 인덱스와 비 클러스터 인덱스의 차이점은 1. 클러스터 된 인덱스는 인덱스 구조에 데이터 행을 저장하며, 이는 기본 키 및 범위별로 쿼리에 적합합니다. 2. 클러스터되지 않은 인덱스는 인덱스 키 값과 포인터를 데이터 행으로 저장하며 비 예산 키 열 쿼리에 적합합니다.

MySQL 데이터베이스에서 사용자와 데이터베이스 간의 관계는 권한과 테이블로 정의됩니다. 사용자는 데이터베이스에 액세스 할 수있는 사용자 이름과 비밀번호가 있습니다. 권한은 보조금 명령을 통해 부여되며 테이블은 Create Table 명령에 의해 생성됩니다. 사용자와 데이터베이스 간의 관계를 설정하려면 데이터베이스를 작성하고 사용자를 생성 한 다음 권한을 부여해야합니다.

MySQL 및 MariaDB는 공존 할 수 있지만주의해서 구성해야합니다. 열쇠는 각 데이터베이스에 다른 포트 번호와 데이터 디렉토리를 할당하고 메모리 할당 및 캐시 크기와 같은 매개 변수를 조정하는 것입니다. 연결 풀링, 애플리케이션 구성 및 버전 차이도 고려해야하며 함정을 피하기 위해 신중하게 테스트하고 계획해야합니다. 두 개의 데이터베이스를 동시에 실행하면 리소스가 제한되는 상황에서 성능 문제가 발생할 수 있습니다.

MySQL은 B-Tree, Hash, Full-Text 및 Spatial의 4 가지 인덱스 유형을 지원합니다. 1.B- 트리 색인은 동일한 값 검색, 범위 쿼리 및 정렬에 적합합니다. 2. 해시 인덱스는 동일한 값 검색에 적합하지만 범위 쿼리 및 정렬을 지원하지 않습니다. 3. 전체 텍스트 색인은 전체 텍스트 검색에 사용되며 다량의 텍스트 데이터를 처리하는 데 적합합니다. 4. 공간 지수는 지리 공간 데이터 쿼리에 사용되며 GIS 응용 프로그램에 적합합니다.
