Загрузка данных и DAG-и

Airflow выполняет клиентские DAG-и. Исходники DAG входят в утверждённый клиентский пакет; кабинет не редактирует исполняемый Python.

Постоянные и ручные задачи

Раздел Пайплайны показывает DAG-и по расписанию отдельно от ручных. Кнопки «Запустить» и «История» открывают модальное окно с двумя вкладками; после запуска открывается история. Для периодической загрузки DAG может брать новые записи за прошедший день. Для исторических данных пакет содержит отдельный ручной DAG с включительным периодом period_start–period_end, порционной загрузкой и checkpoint. Повторный запуск не должен создавать дубли. Справочники могут запускаться без периода.

Форма ручного запуска строится из типизированных Airflow Params: строка, число, целое, булево значение, перечисление и дата. Необъявленные параметры и секреты через параметры запуска не принимаются.

ETL и ELT

В режиме ETL DAG преобразует строки в Python и пишет целевую таблицу. В режиме ELT DAG кладёт сырые данные в PostgreSQL, затем SQL views или клиентский Go worker строят целевую структуру. Выбор способа отражён в утверждённом клиентском пакете. Секреты источников Airflow получает во время выполнения через локальный сервис секретов, после их ввода администратором в кабинете.