카프카의 특징은 무엇인가?

Kafka의 특징은 다음과 같습니다. 1. 게시 및 구독 모두에 높은 처리량을 제공합니다. 2. 지속성 작업을 수행하고 메시지를 디스크에 유지할 수 있으므로 일괄 소비에 사용할 수 있습니다. 3. 외부 확장이 용이합니다. 4. 온라인 및 오프라인 시나리오를 지원합니다.

Kafka 기능 및 사용 시나리오

Kafka는 분산 게시-구독 메시징 시스템입니다. 원래 LinkedIn Corporation에서 개발했으며 나중에 Apache 프로젝트의 일부가 되었습니다. Kafka는 분산되고 분할 가능하며 중복되고 지속적인 로그 서비스입니다.

주로 활성 스트리밍 데이터를 처리하는 데 사용됩니다. 빅데이터 시스템에서는 전체 빅데이터가 다양한 하위 시스템으로 구성되어 있어 데이터가 높은 성능과 짧은 지연 시간으로 지속적으로 순환되어야 하는 경우가 많습니다.

기존 기업 메시징 시스템은 대규모 데이터 처리에 적합하지 않습니다. 온라인 애플리케이션(메시지)과 오프라인 애플리케이션(데이터 파일, 로그)을 동시에 처리하기 위해 카프카(Kafka)가 등장했다. Kafka는 두 가지 역할을 수행할 수 있습니다.

• 시스템 네트워킹의 복잡성을 줄입니다.

• 프로그래밍 복잡성이 줄어듭니다. 각 하위 시스템은 더 이상 서로 인터페이스를 협상하지 않습니다. Kafka는 고속 데이터 버스의 역할을 맡습니다.

동시에 출시되며 구독을 통해 높은 처리량을 제공합니다. Kafka는 초당 약 250,000개의 메시지(50MB)를 생성하고 초당 550,000개의 메시지(110MB)를 처리할 수 있는 것으로 알려져 있습니다.

• 지속성 작업이 가능합니다. 실시간 애플리케이션은 물론 ETL과 같은 일괄 사용에 사용할 수 있도록 메시지를 디스크에 유지합니다. 데이터를 하드 디스크에 유지하고 복제하여 데이터 손실을 방지합니다.

• 분산형 시스템으로 외부 확장이 용이합니다. 모든 생산자, 브로커 및 소비자는 여러 개를 가지며 모두 분산됩니다. 가동 중지 시간 없이 기계를 확장할 수 있습니다.

• 메시지 처리 상태는 서버 측이 아닌 소비자 측에서 유지됩니다. 장애 발생 시 자동으로 균형을 유지합니다.

• 온라인 및 오프라인 시나리오를 지원합니다.

• Kafka의 설계 포인트:

1. Linux 파일 시스템의 캐시를 직접 사용하여 데이터를 효율적으로 캐시합니다.

2. Linux Zero-Copy를 사용하여 전송 성능을 향상하세요. 기존 데이터 전송에는 4개의 컨텍스트 전환이 필요합니다. sendfile 시스템 호출을 사용한 후 데이터는 커널 상태에서 직접 교환되며 시스템 컨텍스트 전환은 2개로 줄어듭니다. 테스트 결과에 따르면 데이터 전송 성능이 60% 향상될 수 있습니다.

3. 디스크의 데이터 액세스 비용은 O(1)입니다. Kafka는 메시지 관리를 위해 주제를 사용합니다. 각 주제에는 여러 부분(이션)이 포함되어 있습니다. 각 부분은 논리 로그에 해당하며 여러 세그먼트로 구성됩니다. 여러 메시지가 각 세그먼트에 저장됩니다(아래 그림 참조). 메시지 ID는 논리적 위치에 따라 결정됩니다. 즉, 메시지 ID를 위치에 추가로 매핑할 필요 없이 메시지 ID를 메시지 저장 위치에 직접 찾을 수 있습니다. 각 부분은 메모리의 인덱스에 해당하며 각 세그먼트의 첫 번째 메시지의 오프셋이 기록됩니다. 게시자가 토픽에 보낸 메시지는 여러 부분에 균등하게 배포됩니다(무작위로 또는 사용자가 지정한 콜백 기능에 따라 배포). 브로커는 게시된 메시지를 수신하여 해당 부분의 마지막 세그먼트에 메시지를 추가합니다. 세그먼트의 메시지 수가 구성된 값에 도달하거나 메시지 게시 시간이 임계값을 초과하면 세그먼트의 메시지가 디스크에 플러시됩니다. 세그먼트에 도달한 후에는 디스크에 플러시된 메시지의 구독자만 구독할 수 있습니다. 특정 크기를 초과하면 더 이상 사용할 수 없습니다. 데이터가 세그먼트에 다시 기록되고 브로커가 새 세그먼트를 생성합니다.

4. 명시적 배포, 즉 여러 생산자, 브로커 및 소비자가 모두 배포됩니다. 생산자와 브로커 사이에는 로드 밸런싱 메커니즘이 없습니다. Zookeeper는 브로커와 소비자 간의 로드 밸런싱에 사용됩니다.

모든 브로커와 소비자는 사육사에 등록되며 사육사는 메타데이터 정보 중 일부를 저장합니다. 브로커나 소비자가 변경되면 다른 모든 브로커와 소비자에게 알림이 전송됩니다.

위 내용은 카프카의 특징은 무엇인가?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!