beeline meetup: data engineering tools. О митапе, команде инженеров и разработчиков и о чаптере

20 декабря в билайне прошел первый митап по инженерии данных.
В этом видео Михаил Благов, лидер чаптера инженеров данных и разработчиков расскажет об устройстве команды и почему мы решили провести это мероприятие.
Не пропустите наши следующие ролики:
- Сергей Евсеев - «Как настроить ETL с JSON'ами в Apache NiFi». Сергей расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение.
- Никита Хилов - «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow». Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте.
- Александр Булатов - «Apache Flink: Flink Table API & SQL». Александр расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.