Co to jest ETL, czyli migracja danych i praca z hurtowniami danych (datawarehouse) #59

ETL - czyli, extract, transform ,loadDziś będzie o migracji danych. Jeśli zastanawiasz się nad karierą w branży IT, chcesz zostać ETL developerem to musisz obejrzeć to nagranie.
Korzyści z bazy danych: • Baza danych czy Excel?...
Implementacje baz danych: • Odc 50: Co to jest imp...
Tabela zewnętrzna: • Kurs SQL 21: Jak dział...
Zapisy na kurs: www.nieinforma...
Blog: www.nieinforma...
Kod z odcinka: www.nieinforma...
Facebook: / nieinformatyk
Instagram: / nieinformatyk
Twitter: / nieinformatyk
Zasubskrybuj mój kanał: www.youtube.co... #etl #migracja #daneWitaj na moim kanale :)
Jestem programistą baz danych Oracle oraz developerem hurtownii danych (ETL). W tym miejscu dzielę się z oglądającymi wiedzą dotyczącą relacyjnych baz danych, praktycznych technik pisania SQL oraz optymalizacji kodu PL/SQL. Jeśli chcesz zdobyć praktyczną i rzetelną więdzę o bazach danych to trafiłeś na właściwe miejsce.
Więcej informacji o baza danych znajdziesz zupełnie ZA DARMO na www.nieinforma...

[@walerypapiez4535]

Jak zwykle świetny i profesjonalny materiał. Zapewne wiele osób zdało sobie właśnie sprawę, że zajmuję się na codzień procesami ETL w swojej pracy. Dziękuję i pozdrawiam serdecznie.

[@nieinformatyk]

dzięki za miłe słowa :)

[@ewatywoniuk6872]

Materiał nadal aktualny Dzięki za wyjaśnienie tematu

[@nieinformatyk]

polecam się na przyszłość :)

[@mikjag8732]

Bardzo fajnie wyjaśnione, aż miło się slucha

[@nieinformatyk]

dzięki :)

[@tomasztarasinski9008]

Dziękuję bardzo za wyjaśnienie, okazuje się, że codziennie w pracy nieświadomie zajmowałem się procesami ETL używając Pythona, SQL i JSON :)

[@nieinformatyk]

Lucky you :)

[@draxnorex]

Świetny materiał. Dużo wiedzy, w krótkim czasie. Świetnie prezentujesz :)))

[@nieinformatyk]

Dziękuję :)

[@l.4287]

Materiał przekazany w prosty sposób. Dziękuję!

[@nieinformatyk]

polecam się na przyszłość :)

[@ukaszhya5354]

Ładnie wyjaśnione, dzięki :)

[@nieinformatyk]

cieszę się, że pomogłem :)

[@vleksander]

Bardzo przystępnie przekazana wiedza! Dzieki

[@nieinformatyk]

Polecam się :)

[@kamilniedziela1835]

Materiał TOP 😄

[@nieinformatyk]

dzięki :)

[@mateuszbodziu5200]

Łapka w górę, super kanał. Materiały w nim zawarte pozwalają wielu osobom uświadomić sobie, że wykonują jakąś robotę operacyjną bardzo zbliżoną do tego co ma miejsce w świecie szeroko rozumianych baz danych (przykład ETL to właśnie te pliki excelowe, które trzeba odpowiednio zaczytać do systemu poprzez dedykowaną w ich firmie aplikacje).

[@nieinformatyk]

Zgadza się. Spojrzenie na to z innej perspektywy daje szansę na większe zrozumienie całego procesu :)

[@Matt-jj5po]

Świetne wyjaśnienie tematu i bardzo przyjemnie się Ciebie słucha ;)

[@nieinformatyk]

dzięki :)

[@robydj5289]

Tradycyjnie odcinek super!

[@nieinformatyk]

cieszę się, że się spodobał :)

[@kamiladrobek5202]

dzięki za wyjaśnienie !

[@nieinformatyk]

proszę bardzo :)

[@ZenonMcRae]

Dla zasięgu!

[@nieinformatyk]

dzięki :)

[@merktor2090]

Dzięki za kolejny odcinek

[@nieinformatyk]

polecam się na przyszłość :)

[@laspaw]

Dobra robota. Dzięki!

[@nieinformatyk]

dzięki za feedback :)

[@tommylub]

Fajnie przekazane informacje 🙂

[@nieinformatyk]

dziękuje, cieszę się, że mogłem pomóc :)

[@mich3835]

Fajny kanał, umiesz w prosty sposób wytłumaczyć trudne zagadnienia i przekazujesz wiedzę w uporządkowany sposób. Może nagrasz film o tym co jest trudne, mniej przyjemne w pracy SQL/ETL deva, z czym najtrudniej sobie poradzić, nie tylko z perspektywy początkującego ale też jakie są największe wyzwania już na dalszym etapie?

[@nieinformatyk]

Okej, nagram taki odcinek - dodałem go do listy.

[@adrreb]

Serdecznie pozdrawiam.

[@nieinformatyk]

:)

[@pawelnowak9176]

Bardzo pomocne materiały!

[@nieinformatyk]

dziękuję, cieszę się, że pomogłem :)

[@marcingolec6618]

bardzo fajnie, podobało mi się !

[@nieinformatyk]

super, zapraszam do kolejnego :)

[@michanowak7415]

Dobra robota! Dzięki :)

[@nieinformatyk]

To ja dziękuję za komentarz. Bardzo mi tak pomagasz :)

[@paulinamanda1803]

Bardzo przydatny odcinek, dzięki :)

[@nieinformatyk]

dziękuje Paulina za komentarz :)

[@ewelinakordys7809]

Bardzo fajny materiał :)

[@nieinformatyk]

dziękuje za pozytywny komentarz :)

[@agnieszkazinczuk9737]

"na tapet", nie na tapetę. Tapet to był taki zielony stół, gdzie się obradowało. Poza tym bardzo spoko :)

[@nieinformatyk]

nawet Wikipedia tak twierdzi :) dzięki, codziennie człowiek się czegoś uczy

[@marcinlesniewski4571]

Elegancko

[@nieinformatyk]

Dzieki

[@AgaGrusz]

Aż mi się zachciało być ETL developerem😃

[@nieinformatyk]

ofert pracy nie brakuje, polecam:)

[@jacekmisique1085]

Fajne podoba mi się

[@nieinformatyk]

dzięki :)

[@anderzet]

Fajne:) przydałby się przykład który pokazywałyby na rzeczywistych plikach jak taki ETL przwbiega. Może nawet w innym filmie

[@nieinformatyk]

Zajrzyj tutaj: kzbin.info/www/bejne/jKGtdYNrlLqnfJI

[@emiliansuchecki6513]

sporo mi pomogło, dzięki ;)

[@nieinformatyk]

cieszę się, że mogłem pomóc :) Jeśli pojawiły Ci się jakieś pytania to pisz śmiało, mogę nagrać o tym odcinek(jeśli moja wiedza mi pozwoli)

[@emiliansuchecki6513]

@@nieinformatyk w sumie na pewno przydałoby się coś o ETLu w praktyce :) czy to w Visual Studio czy w czymś innym ;) jak to wyglada od kuchni :)

[@nieinformatyk]

@@emiliansuchecki6513 pewnie, już zapisałem do listy tematów na yt :)

[@nieinformatyk]

@@emiliansuchecki6513 Proszę bardzo: kzbin.info/www/bejne/jKGtdYNrlLqnfJI

[@Chofloti11]

Super odcinek! Wiesz może od czego warto rozpocząć naukę ETL, mam solidne podstawy SQL i chciałbym się wznieść na poziom wyżej ;)

[@nieinformatyk]

od nauki budowy hurtowni danych - fakty, wymiary, proces ETL, model gwiazdy, płatka śniegu, itd. :)

[@Sandra-b4c1r]

Hej Darek, super materiał! Mam jednak pytanie kiedy ETL zaczyna być ELT? Czy proces migracji który wykonałeś w filmiku to bardziej ETL, czy ELT ze względu na to że najpierw załadowałeś pliki do bazy, a następnie dokonywaliśmy na nich transformacji? Z góry dzięki za odpowiedź :D

[@nieinformatyk]

ETL i ELT rozróżniamy ze względu na kolejność i miejsce przeprowadzania operacji przetwarzania danych. ETL to eksport ze źródła do dedykowanego serwera ETL, tam dane transformujemy i ładujemy do naszej hurtowni. W ETL dane ze źródła ładujemy od razu do DWH i tam też później je przetwarzamy. To co pokazałem w nagraniu to raczej ELT, bo nie używałem dedykowanego serwera i dane przetwarzaliśmy już po załadowaniu.

[@pawelkubrak547]

bardzo fajnie

[@nieinformatyk]

dziękuję

[@MistrzOwiWolno]

Fajne, pokrywa sie z tym z czym mam styczność.

[@nieinformatyk]

super :) a czym dokładnie się zajmujesz?

[@pawelkubrak547]

I like very much.

[@nieinformatyk]

thanks

[@karolignas3813]

A możesz wyjaśnić w prosty sposób czym jest LOOKUP?

[@nieinformatyk]

Ten artykuł jest wystarczająco przystępny? oracle-base.com/articles/misc/one-true-lookup-tables-otlt

[@Cisi204]

Cześć, co myślisz o narzędziu wspomagającym procesy ETL czyli pentaho ?

[@nieinformatyk]

Cześć, nie korzystałem z Pentaho. Myślę, że na każdym projekcie musi istnieć jakiś automat do migracji danych. Tam gdzie się da to lepiej korzystać z gotowców z rynku. Tam gdzie się nie da trzeba rzeźbić samodzielnie. Ale generalnie pomysł na +, bo bardzo lubię automatyzację :)

[@Cisi204]

@@nieinformatyk tak naprawdę dużą część procesu ETL mozna przeprowadzić za pomocą Python, od pobrania danych zewnętrznych do zapisu w hurtowni, czy stage

[@nieinformatyk]

@@Cisi204 Pewnie, że się da. Każdą aplikacje można być też napisać w c++ :) Natywne rozwiązania są zazwyczaj lepsze.

[@rockrobimir7323]

jest ok

[@nieinformatyk]

dziękuje za komentarz :)