Airflow 태스크 100개를 걸었는데 왜 일부만 돌까?
태스크 100개짜리 DAG를 Airflow 3.3.2에서 돌려 동시에 running인 태스크가 몇 개에서 멈추는지, 어느 설정이 그 숫자를 막는지 확인합니다. parallelism과 max_active_tasks를 바꿔 가며 상태별 태스크 수와 scheduler 로그를 기록하고, pool과 slot으로 여러 DAG의 동시 실행 수를 묶어 봅니다.
@Hong2026-10-14조회 238
아티클
전체보기AI 에이전트KafkaMySQLRAGRedis분산 시스템DockerAirflowCassandraFlinkNATSPostgreSQLReactive실시간 채팅KubernetesNGINXgRPC
Airflow에서 서울 0시에 돈 run의 ds는 왜 어제일까?
서울 타임존으로 매일 0시에 도는 DAG에서 ds가 서울 날짜보다 하루 이르게 찍히는 이유를 Airflow 3.3.2에서 직접 확인합니다. 템플릿 날짜가 UTC로 남는 문제와, data interval timetable에서 하루 더 어긋나는 경우, in_timezone으로 바로잡는 방법을 기록합니다.
@Hong2026-10-14조회 218
Airflow 태스크, 재시도와 backfill로 다시 돌려도 안전할까?
INSERT만 하는 Airflow 태스크가 재시도, clear, backfill을 거치며 같은 날짜의 집계를 몇 번씩 쌓는 과정을 Airflow 3.3과 PostgreSQL 17로 재현합니다. 구간 DELETE 후 INSERT, UPSERT로 바꾼 DAG는 같은 과정을 거쳐도 날짜마다 1행인지 확인합니다.
@Hong2026-10-02조회 267