Filip Stępniak - Dagster dbt, czyli jak zbudować platformę Big Data (PyData Bydgoszcz #20)

PyData Bydgoszcz spotkanie 20
czwartek 7.12.2023
Młyny Rothera (Spichrz Zbożowy, 2. piętro), Mennica 10, Bydgoszcz
Filip Stępniak
Mąż i tata dwójki dzieci, bydgoszczanin na emigracji (aktualnie tymczasowo w Bydgoszczy). Absolwent licencjatu na SGH (metody ilościowe) i studiów magisterskich z matematyki ekonomicznej na KIT (Karlsruhe, Niemcy). Pracuje od ponad 5 lat w niemieckiej firmie IT - esentri AG. Urodzony data scientist, doświadczony inżynier danych. Życiowym mottem jest budowanie mostów: zawodowo między data science a inżynierią danych, a prywatnie - między Polska a Niemcami.
"Dagster dbt, czyli jak zbudować platformę Big Data"
U jednego z naszych klientów, miliardowej firmy leasingowej, tworzymy platformę danych opartą o Modern Data Stack. Dane z różnych źródeł są agregowane i udostępniane do raportowania, analizy danych i tworzenia modeli uczenia maszynowego.
Dagster jest odpowiedzialny za orkiestrację procesów ELT, natomiast dbt za przekształcenia danych, w miejscu ich przechowywania - w naszym przypadku na platformie danych - Snowflake.
Celem tej prezentacji jest pokazanie na podstawie DEMO, jak tworzyć solidne i przejrzyste przepływy danych oraz jak doskonale współdziałają ze sobą poszczególne komponenty naszego stacka danych.
PyData Bydgoszcz
www.meetup.com...
[e-mail]
/ pydatabydgoszcz
/ pydatabydgoszcz
#BydgoszczIT
Nagranie sponsorowane przez firmy Huuuge Games
huuugegames.com
Realizacja wideo:
Jacek Owczarz
Jack Jack Films
[phone]