HADOOP의 세 가지 핵심 구성요소_HADOOP의 세 가지 핵심 구성요소는 무엇인가요?-일반적인 문제-php.cn

HADOOP의 세 가지 핵심 구성 요소는 무엇입니까?

小老鼠

풀어 주다： 2024-01-04 10:52:34

원래의

7155명이 탐색했습니다.

HADOOP의 세 가지 핵심 구성 요소는 HDFS, MapReduce 및 YARN입니다. 자세한 소개: 1. HDFS: Hadoop 클러스터에 대량의 데이터를 저장하는 데 사용되는 분산 파일 시스템입니다. 내결함성이 높고 여러 데이터 노드에 데이터를 저장할 수 있으며 높은 처리량의 데이터 액세스를 제공합니다. 2. MapReduce: 대규모 데이터 세트의 병렬 처리에 사용됩니다. 빅데이터 작업을 여러 개의 작은 작업으로 분해하고 여러 노드에서 병렬로 처리한 후 최종적으로 결과를 요약합니다. 3. YARN: 클러스터 리소스 할당 및 관리를 담당합니다.

HADOOP의 세 가지 핵심 구성 요소는 무엇입니까?

Hadoop의 세 가지 핵심 구성 요소는 HDFS(분산 파일 저장소), MapReduce(분산 컴퓨팅) 및 YARN(리소스 스케줄링)입니다.

1. HDFS: HADOOP 분산 파일 시스템

HDFS(Hadoop Distributed File System)는 Hadoop 프로젝트의 핵심 하위 프로젝트로, 클러스터 데이터의 저장 및 읽기를 주로 담당합니다. 분산 파일 시스템을 위한 슬레이브(마스터/슬레이브) 아키텍처. HDFS는 사용자나 응용 프로그램이 디렉터리를 생성한 다음 이러한 디렉터리에 파일을 저장할 수 있는 전통적인 계층적 파일 구성 구조를 지원합니다. 파일 시스템 네임스페이스의 계층 구조는 대부분의 기존 파일 시스템과 유사하며 파일 경로를 통해 파일에 대한 파일 생성, 읽기, 업데이트 및 삭제 작업을 수행할 수 있습니다. 하지만 분산 스토리지의 특성상 기존 파일 시스템과는 분명히 다릅니다.

HDFS 장점:

높은 내결함성. HDFS가 업로드한 데이터는 자동으로 여러 복사본을 저장하며, 복사본에 데이터를 추가하면 내결함성을 높일 수 있습니다. 복제본이 손실되면 HDFS는 복제본을 다른 시스템에 복제하므로 구현에 대해 걱정할 필요가 없습니다.
빅데이터 처리에 적합합니다. HDFS는 기가바이트, 테라바이트, 심지어 페타바이트 규모의 데이터를 처리할 수 있으며 크기는 수백만에 달하며 이는 매우 큰 규모입니다. (1PB=1024TB, 1TB=1014GB)
스트리밍 데이터 액세스. HDFS는 스트리밍 데이터 액세스 모델을 사용하여 매우 큰 파일을 저장하고 한 번 쓰고 여러 번 읽습니다. 즉, 파일이 일단 작성되면 수정할 수 없고 추가만 가능합니다. 이를 통해 데이터 일관성이 유지됩니다.

2. MapReduce: 대규모 데이터 처리

MapReduce는 Map(매핑)을 포함한 대규모 데이터 세트(1TB 이상)의 병렬 작업에 적합한 프로그래밍 모델입니다. ) 및 감소(감소).

MapReduce 작업이 시작되면 Map 측은 HDFS의 데이터를 읽고 데이터를 필요한 키-값 쌍 유형으로 매핑한 다음 이를 Reduce 측으로 전송합니다. Reduce 측은 Map 측에서 전달된 키-값 쌍 유형 데이터를 수신하여 이를 다른 키에 따라 그룹화하고, 동일한 키로 각 데이터 그룹을 처리하고, 새로운 키-값 쌍을 획득하여 HDFS로 출력하는 것이 핵심입니다. MapReduce의 아이디어.

전체 MapReduce 프로세스에는 데이터 입력 및 샤딩, 맵 단계 데이터 처리, Reduce 단계 데이터 처리, 데이터 출력 및 기타 단계가 포함됩니다.

입력 데이터 읽기. MapReduce 프로세스의 데이터는 HDFS 분산 파일 시스템에서 읽혀집니다. HDFS에 파일을 업로드할 때 일반적으로 128MB에 따라 여러 개의 데이터 블록으로 나누어지므로 MapReduce 프로그램을 실행하면 각 데이터 블록마다 Map이 생성되지만 파일 조각 크기를 재설정하여 Map 수를 조정할 수도 있습니다. MapReduce를 실행하면 설정된 분할 크기에 따라 파일이 다시 분할(Split)되고 분할 크기의 데이터 블록이 Map에 해당됩니다.
지도 스테이지. 프로그램에는 기본 스토리지 또는 샤드 수에 따라 결정되는 하나 이상의 맵이 있습니다. Map 단계의 경우 키-값 쌍의 형태로 데이터를 읽습니다. 키 값은 일반적으로 각 줄의 첫 번째 문자와 파일의 초기 위치 사이의 오프셋, 즉 그 사이의 문자 수입니다. , 값은 이 라인의 데이터 레코드입니다. 요구 사항에 따라 키-값 쌍을 처리하고 이를 새 키-값 쌍으로 매핑한 다음 새 키-값 쌍을 감소 측에 전달합니다.
Shuffle/Sort 단계: 이 단계는 Map 출력에서 시작하여 Map 출력을 입력으로 Reduce로 전송하는 프로세스를 나타냅니다. 이 프로세스에서는 먼저 동일한 Map의 동일한 키를 가진 출력 데이터를 통합하여 전송되는 데이터의 양을 줄이고 통합 후 키에 따라 데이터를 정렬합니다.
Reduce 단계: Map 단계에서 설정된 데이터 파티션에 따라 결정되는 여러 개의 Reduce 작업이 있을 수도 있습니다. 하나의 파티션 데이터가 하나의 Reduce로 처리됩니다. 각 Reduce 작업에 대해 Reduce는 다양한 Map 작업에서 데이터를 수신하며 각 Map의 데이터는 순서대로 정렬됩니다. Reduce 작업의 각 처리는 동일한 키를 가진 모든 데이터에 대한 데이터를 줄여 새로운 키-값 쌍으로 HDFS에 출력하는 것입니다.

3. Yarn: Resource Manager

Hadoop의 MapReduce 아키텍처는 YARN(Yet Another Resource Negotiator, 또 다른 리소스 코디네이터)이라고 하며, 이는 보다 효율적인 리소스 관리의 핵심입니다.

YARN에는 주로 리소스 관리자(RM), 노드 관리자(NM) 및 애플리케이션 마스터(AM)의 세 가지 주요 모듈이 포함됩니다.