강의 소개
Airflow 3 실전 입문
매일 같은 시간에 데이터를 모으고, 실패하면 다시 돌리고, 끝나면 다음 작업을 이어 주는 도구가 Apache Airflow입니다. 2026년 11월에 나온 3.4.0을 내 컴퓨터에 직접 설치해 돌려 보며, 첫 DAG부터 서울 날씨를 매시간 모으는 파이프라인까지 만듭니다.

3.4.02026-11-06 출시 버전 기준
11장설치부터 운영 판단까지
5개직접 돌려 본 실습 DAG
10문항사전·사후 평가
2026년에도 Airflow를 배워야 하나요
배울 가치가 있습니다. 2026년 11월 6일에 3.4.0이 나왔고, PyPI에서는 본체 패키지만 한 달에 650만 번 넘게 내려받습니다(2026-11-21 pypistats 기준). 레딧 데이터 엔지니어 커뮤니티에서도 "처음 고르는 오케스트레이터라면 Airflow가 무난한 선택"이라는 답이 가장 많은 추천을 받습니다. 다만 인터넷에 있는 튜토리얼 상당수가 Airflow 2 기준이라 그대로 따라 하면 3에서는 오류가 납니다. 이 교안은 처음부터 3.4 문법으로 씁니다.
지금
cron과 스크립트로 돌릴 때
- 실패해도 아무도 모릅니다
- 앞 작업이 끝났는지 확인하지 않고 다음 작업이 돕니다
- 지난주 빠진 날짜를 다시 돌리려면 손으로 날짜를 바꿉니다
강의 후
Airflow로 돌릴 때
- 실패하면 정해 둔 횟수만큼 다시 시도하고 화면에 빨갛게 남습니다
- 앞 작업이 성공해야 다음 작업이 돕니다
- 빠진 날짜는 백필 한 번으로 채웁니다
강의 흐름
기본
띄우고, 만들고, 돌리기
설치해서 화면을 띄우고, 첫 DAG를 만들고, 스케줄·시간대·백필·재시도를 직접 겪어 봅니다.
- 00 Airflow가 하는 일
- 01 설치하고 화면 띄우기
- 02 첫 DAG 만들기
- 03 스케줄과 시간대, 백필
- 04 실패와 재시도
실전
진짜 데이터로 파이프라인
공공 날씨 API를 매시간 받아 검증하고 DuckDB에 저장한 뒤, 저장이 끝나면 요약 DAG가 자동으로 돕니다.
- 05 API → 검증 → 저장
- 06 Asset으로 DAG 잇기
최신
3.4 새 기능과 옮기기, AI와 같이 쓰기
Task Loops와 AI 작업을 써 보고, Airflow 2 코드를 3으로 옮기는 점검법, AI가 쓴 DAG를 검증하는 순서, 운영 방식 고르는 기준까지 다룹니다.
- 07 Task Loops와 AI 작업
- 08 Airflow 2 코드 옮기기
- 09 AI에게 DAG 맡기고 검증하기
- 10 운영 방식과 도구 고르기
이런 분께 맞습니다
- 데이터 엔지니어·분석가 취업을 준비하며 Airflow를 처음 배우는 분
- cron이나 n8n으로 돌리던 데이터 작업을 실패 관리가 되는 도구로 옮기고 싶은 분
- Airflow 2를 써 봤고, 3에서 무엇이 바뀌었는지 빠르게 확인하고 싶은 분
Python 함수를 읽을 수 있으면 따라올 수 있습니다. 터미널 명령은 그대로 복사해 붙여 넣으면 됩니다.