Kafka 메시지 큐의 기본 작동 원리 해독-java지도 시간-php.cn

Kafka 메시지 큐의 기본 작동 원리 해독

WBOY

풀어 주다： 2024-02-01 09:06:16

원래의

1146명이 탐색했습니다.

Kafka 메시지 큐의 기본 작동 원리 해독

Kafka 메시지 대기열의 구현 메커니즘

Kafka는 생산자가 주제에 메시지를 게시할 수 있도록 하는 분산 게시-구독 메시징 시스템이며, 소비자는 이러한 주제를 구독하고 메시지를 받을 수 있습니다. Kafka는 파티션을 사용하여 메시지를 저장하며 각 파티션에는 복제본 세트가 있습니다. 복제본 세트의 각 복제본은 해당 파티션에 대한 데이터를 저장하고 생산자의 쓰기 요청과 소비자의 읽기 요청을 처리할 수 있습니다.

Kafka는 ZooKeeper를 사용하여 주제, 파티션, 복제본 세트를 포함한 클러스터의 메타데이터를 관리합니다. ZooKeeper는 생산자와 소비자를 조정하는 데에도 사용됩니다. 생산자는 ZooKeeper를 사용하여 주제에 대한 파티션을 찾고, 소비자는 ZooKeeper를 사용하여 구독한 주제에 대한 파티션을 찾습니다.

Kafka 메시지 큐 구현 코드 예제

// 创建一个生产者
Producer<String, String> producer = new KafkaProducer<>(properties);

// 创建一个主题
producer.createTopic("my-topic");

// 向主题发送消息
producer.send(new ProducerRecord<>("my-topic", "Hello, Kafka!"));

// 关闭生产者
producer.close();

// 创建一个消费者
Consumer<String, String> consumer = new KafkaConsumer<>(properties);

// 订阅主题
consumer.subscribe(Arrays.asList("my-topic"));

// 轮询主题中的消息
while (true) {
  ConsumerRecords<String, String> records = consumer.poll(100);

  for (ConsumerRecord<String, String> record : records) {
    System.out.println(record.key() + ": " + record.value());
  }
}

// 关闭消费者
consumer.close();

로그인 후 복사

Kafka 메시지 큐 구현 메커니즘에 대한 심층 분석

Kafka는 파티션을 사용하여 메시지를 저장하며 각 파티션에는 복제본 세트가 있습니다. 복제본 세트의 각 복제본은 해당 파티션에 대한 데이터를 저장하고 생산자의 쓰기 요청과 소비자의 읽기 요청을 처리할 수 있습니다. Kafka는 ZooKeeper를 사용하여 주제, 파티션, 복제본 세트를 포함한 클러스터의 메타데이터를 관리합니다. ZooKeeper는 생산자와 소비자를 조정하는 데에도 사용됩니다. 생산자는 ZooKeeper를 사용하여 주제에 대한 파티션을 찾고, 소비자는 ZooKeeper를 사용하여 구독된 주제에 대한 파티션을 찾습니다.

Kafka는 메시지 신뢰성을 보장하기 위해 "복제 인자"라는 메커니즘을 사용합니다. 복제 인수는 복제본 세트의 복제본 수를 나타냅니다. 하나의 복제본이 실패하면 다른 복제본이 계속해서 서비스를 제공할 수 있습니다. Kafka는 또한 "일관성 수준"이라는 메커니즘을 사용하여 메시지의 질서를 보장합니다. 일관성 수준은 "모두" 또는 "1"로 설정할 수 있습니다. 일관성 수준이 "all"로 설정된 경우 커밋된 것으로 간주되려면 메시지가 모든 복제본에 의해 성공적으로 복제되어야 합니다. 일관성 수준이 "1"로 설정된 경우 메시지가 하나의 복제본에 의해 성공적으로 복제되면 커밋된 것으로 간주될 수 있습니다.

Kafka는 "파티션 키"라는 메커니즘을 사용하여 메시지의 균일한 배포를 보장합니다. 파티션 키는 메시지가 저장되는 파티션을 결정하는 메시지 필드입니다. Kafka는 "해시 함수"라는 알고리즘을 사용하여 파티션 키의 해시 값을 계산한 다음 해시 값을 기반으로 메시지를 여러 파티션에 배포합니다.

Kafka는 "오프셋"이라는 메커니즘을 사용하여 소비자가 메시지를 읽는 위치를 추적합니다. 오프셋은 소비자가 읽은 메시지 수를 나타내는 숫자입니다. 소비자는 오프셋을 사용하여 Kafka에게 메시지 읽기를 시작할 위치를 알려줍니다.

Kafka는 "커밋 오프셋"이라는 메커니즘을 사용하여 소비자가 메시지를 두 번 읽지 않도록 합니다. 소비자는 일괄 메시지 읽기를 마치면 오프셋을 Kafka에 제출합니다. Kafka는 ZooKeeper에 커밋된 오프셋을 저장합니다. 소비자가 다음에 메시지를 읽으면 커밋된 오프셋부터 읽기 시작합니다.

Kafka Message Queue의 장점