Kafka는 파티션과 메시지 키로 어떻게 빨라질까?
Kafka는 토픽을 여러 파티션으로 나눠 동시에 읽어서 처리량을 늘리고, 순서는 파티션 안에서만 지킵니다. 같은 키가 같은 파티션으로 가는 원리와 키 쏠림, 파티션을 늘리면 키가 옮겨 가는 문제를 Kafka 4.3에서 직접 확인합니다.
@Hong2026-09-30조회 242

Kafka는 토픽을 여러 파티션으로 나눠 동시에 읽어서 처리량을 늘리고, 순서는 파티션 안에서만 지킵니다. 같은 키가 같은 파티션으로 가는 원리와 키 쏠림, 파티션을 늘리면 키가 옮겨 가는 문제를 Kafka 4.3에서 직접 확인합니다.

폴링 대신 Binlog를 읽어 DB 변경을 Kafka 이벤트로 보내는 CDC를 MySQL 8.4, Debezium, Kafka로 직접 따라갑니다. 커넥터를 등록하고 UPDATE 한 줄이 바뀌기 전과 뒤 값을 함께 담은 이벤트가 되는 과정을 확인합니다.