기본 · CH00
Airflow는 작업의 순서와 실패를 관리합니다
Airflow는 데이터를 직접 처리하는 도구가 아닙니다. 여러 작업을 정해진 순서와 시간에 돌리고, 실패하면 다시 시도하고, 무엇이 언제 돌았는지 기록하는 도구입니다.
DAG = 작업들과 그 순서를 적은 파일 하나
DAG(Directed Acyclic Graph)는 "A가 끝나면 B, B가 끝나면 C"처럼 방향이 있고 되돌아가지 않는 작업 흐름입니다. Airflow에서는 이 흐름을 Python 파일 하나로 적습니다. 파일 안의 작업 하나하나를 태스크(Task)라고 부릅니다.
Airflow가 맡는 일과 맡지 않는 일
| Airflow가 맡는 일 | Airflow에 맡기지 않는 일 |
|---|---|
| 매일 9시, 매시 정각처럼 정해진 때 실행 | 수억 행 데이터 변환 자체 (Spark·DuckDB·데이터웨어하우스가 함) |
| 앞 작업이 성공해야 다음 작업 실행 | 실시간 스트리밍 처리 (Kafka·Flink가 함) |
| 실패 시 재시도, 실패 기록과 알림 | 대시보드 화면 (BI 도구가 함) |
| 빠진 날짜를 한꺼번에 다시 돌리기(백필) | 회사 업무 규칙을 DAG 안에 길게 적어 두기 |
마지막 줄이 중요합니다. 레딧에는 "수백 개 DAG 안에 업무 로직을 묻어 둬서 다른 도구로 옮길 수가 없다"는 글이 자주 올라옵니다. 계산은 SQL 파일이나 별도 Python 모듈에 두고, DAG에는 "무엇을 어떤 순서로 부를지"만 적습니다.
Airflow 3에서 달라진 구조
Airflow 3부터 화면과 API를 담당하던 웹서버가 API 서버로 바뀌었고, DAG 파일을 읽는 DAG 프로세서가 따로 떠야 합니다. 태스크는 메타데이터베이스에 직접 붙지 않고 API 서버를 거쳐 상태를 주고받습니다. 실습에서는 airflow standalone 한 줄이 이 구성 요소를 모두 띄워 주므로 신경 쓸 일이 적지만, 오류 메시지에 이름이 나오니 알아 두세요.
스케줄러
지금 돌아야 할 DAG와 태스크를 정해 실행을 맡깁니다.
DAG 프로세서
dags 폴더의 파일을 읽어 DAG로 등록합니다. 파일 오류도 여기서 잡힙니다.
API 서버
웹 화면, REST API, 태스크가 상태를 보고하는 창구를 함께 맡습니다.
이것만 기억하세요
Airflow는 "언제, 어떤 순서로, 실패하면 어떻게"를 관리합니다. 데이터 계산은 다른 도구에 맡기고 DAG에는 순서만 적습니다.