Flink 잡이 죽었다 다시 뜨면 마지막 체크포인트 이후 구간을 다시 처리하고, at-least-once 싱크는 그 결과를 출력 토픽에 한 번 더 씁니다. Flink 2.2와 Kafka 4.3에서 TaskManager를 강제로 종료해 중복을 재현하고, exactly-once 싱크를 read_committed 컨슈머로 읽으면 중복이 사라지는지 직접 확인합니다.
사용자별로 집계하는 Flink 잡은 키마다 상태를 하나씩 들고 있어서, 새 키가 계속 들어오면 체크포인트도 끝없이 커집니다. Flink 2.2에서 키 24만 개를 넣으며 체크포인트 크기를 재고, table.exec.state.ttl을 주었을 때 크기가 어떻게 달라지는지, 입력이 멈추면 만료된 상태가 언제 정리되는지 확인합니다.
Flink의 이벤트 시간 윈도우는 워터마크가 윈도우 끝을 지나야 결과를 내고, 그 뒤에 도착한 이벤트는 기본적으로 집계에서 빠집니다. Flink 2.2와 Kafka 4.3에서 순서가 섞인 클릭 이벤트를 보내 워터마크 지연값에 따라 집계가 달라지는 과정과 늦은 이벤트를 따로 모으는 방법을 직접 확인합니다.