하이브와 함께 제공되는 기능은 무엇입니까?

Hive 내장 기능

정의:                                                                                                                                                   1 UDF 함수를 select 문에 직접 적용하여 쿼리 구조를 형식화할 수 있습니다. .

2. UDF 함수를 작성할 때 다음 사항에 주의해야 합니다.

a) 사용자 정의 UDF는 org.apache.hadoop.hive.ql.UDF를 상속해야 합니다.

b) 평가 기능을 구현해야 합니다.

c) 평가 함수는 오버로딩을 지원합니다.

hive의 로컬 모드:

대부분의 Hadoop 작업에는 빅 데이터를 처리하기 위해 hadoop이 제공하는 완전한 확장성이 필요합니다.

그러나 때로는 하이브에 입력되는 데이터의 양이 매우 작을 때도 있습니다. 이 경우 쿼리에 대한 작업을 실행하는 데 소요되는 시간이 실제 작업 실행 시간보다 훨씬 길어질 수 있습니다.

대부분의 상황에서 Hive는 로컬 모드를 통해 단일 시스템에서 모든 작업을 처리할 수 있습니다. 작은 데이터 세트의 경우 실행 시간이 크게 단축됩니다.

이런 방식으로 상대적으로 적은 양의 데이터를 사용하는 작업을 로컬에서 실행할 수 있으며, 이는 실행을 위해 클러스터에 작업을 제출하는 것보다 훨씬 빠릅니다.

Hive의 로컬 모드를 활성화하려면 다음 매개변수를 구성하세요.

UDF(User-Defined-Function)，用户自定义函数对数据进行处理。
UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。
UDAF(User Defined Aggregation Function)用户自定义聚合函数，操作多个数据行，产生一个数据行。

작업이 다음 조건을 충족하는 경우에만 로컬 모드를 실제로 사용할 수 있습니다.

작업의 입력 데이터 크기는 작업의 입력 데이터 크기보다 작아야 합니다. 매개변수: hive.exec.mode .local.auto.inputbytes.max(기본값 128MB)

작업의 맵 수는 매개변수: hive.exec.mode.local.auto.tasks.max(기본값)보다 작아야 합니다. 4)작업에 포함된 감속기의 개수는 0 또는 1이어야 합니다

위 내용은 하이브와 함께 제공되는 기능은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!