Система сквозного логирования с передачей единого идентификатора между независимыми задачами Airflow

beeline meetup: data engineering tools
20 декабря в билайне прошел первый митап по инженерии данных.
В этом видео выступит Никита Хилов с темой «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow».
Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте.