Really appreciate your hard work. Thank you for the great explanation.
@BigDataThoughts28 күн бұрын
thanks
@souravdas9683ytm2 жыл бұрын
Logical plan is nothing but Lineage, which tells us how to create an RDD by applying what transformation. Whenever an action is called, this lineage will be converted into a DAG, basically a Physical plan.
@karthikbhat29452 жыл бұрын
Clear and Precise Explanation. These videos needs more outreach
@BigDataThoughts2 жыл бұрын
Thanks Karthik
@chinmaytornekar4683 Жыл бұрын
Thanks for such a clear Explanation!!Amazing Walk through the DAG visualization!!
@BigDataThoughts Жыл бұрын
Thanks
@TotuBabyBird2 жыл бұрын
Thanks for such a detailed and crystal clear explanation. ❤
@BigDataThoughts2 жыл бұрын
Thanks Sumiran
@karthikeyanr11714 ай бұрын
your videos on spark are hidden gems
@BigDataThoughts4 ай бұрын
Thanks
@anuraggupta-xw2jm Жыл бұрын
Very good explanation..appreciate your efforts..keep it up👍🏻
@souravkrburnwal35192 жыл бұрын
Just Amazing!!! Detailed information through PPT walkthrough and great way to explain everything at once.
@BigDataThoughts2 жыл бұрын
Thanks saurav
@user-fj9me2hd7m6 ай бұрын
Awesome , Superb explanation. Good efforts.
@BigDataThoughts6 ай бұрын
Thanks
@pradyumnaanand6892 Жыл бұрын
Clear and simple explanation. Thanks a ton.
@BigDataThoughts Жыл бұрын
Thanks
@mattasid852 жыл бұрын
Thanks Shreya, this was a very helpful and informative video like any other video of yours. Looking forward to more such content on your channel!
@BigDataThoughts2 жыл бұрын
Thanks Sid
@saiprakash69162 жыл бұрын
very Informative and understandable. Thanks shreya
@BigDataThoughts2 жыл бұрын
Thanks sai prakash
@sanketdhamane59413 ай бұрын
Really Thanks to Good And Indepth Explantion
@BigDataThoughts3 ай бұрын
Thanks
@syedmudasser63111 ай бұрын
perfect explanation keep it up...👍
@BigDataThoughts11 ай бұрын
Thanks
@user-zm2me1gc5z5 ай бұрын
Nicely explained and thanks. helping a lot
@mateen161 Жыл бұрын
Nice explanation. Thank you!
@BigDataThoughts Жыл бұрын
Thanks
@srikanth47882 жыл бұрын
Great Explanation
@BigDataThoughts2 жыл бұрын
Tha ks srikanth
@satviknaren9681 Жыл бұрын
Really like your content !! really helpful ! thank you so much shreya
@BigDataThoughts Жыл бұрын
Thanks
@channuangadi7504 Жыл бұрын
Very well explained
@BigDataThoughts Жыл бұрын
Thanks
@sonip472 Жыл бұрын
awesome explanation, thanks a lot.
@BigDataThoughts Жыл бұрын
Thanks soni
@syedhussain63582 жыл бұрын
Excellent explanation
@BigDataThoughts2 жыл бұрын
Thanks syed
@reevarastogi62242 жыл бұрын
very nice explanation!!
@BigDataThoughts2 жыл бұрын
Thanks Reeva
@askdoubts63592 жыл бұрын
Your all videos are grate and easy to understand.. please make more videos on spark with real time code examples
@BigDataThoughts2 жыл бұрын
Thanks sure
@ankitachauhan6084 Жыл бұрын
Great work
@maheshalam78932 жыл бұрын
It is great video and helps alot.. Shreya . Interesting to know below . 1 . Why complete stage is skipped 2 . Shuffle should create different stage . But In snap of DAG , it is in same stage .
@BigDataThoughts2 жыл бұрын
Thanks Mahesh
@alokranjan73239 ай бұрын
He had questions as well
@prasadj63702 жыл бұрын
Thanks for sharing the valuable information in most simplest way. It saved a lots of time in reading spark tutorial. sincere thanks to you. I have one question - where can we see or generate this DAG visualization in spark ? We want to see the plan in case to analyse our spark programme ? Please let us know . 🙏 Thank you
@BigDataThoughts2 жыл бұрын
Thanks Prasad yes DAG visualization can be seen on spark UI.
@BigDataThoughts2 жыл бұрын
A detailed analysis stage wise can be done on the UI
@ryas83602 жыл бұрын
shouldn't linkage of RDD's represented by Lineage?
@artemvolkov5682 Жыл бұрын
I confused a bit... I just watched Spark Summit videos. It states that on Physical Planning stage Spark applies 'Strategy' (a function that converts a logical plan tree to a physical plan tree)... Where does DAG come into play?
@BigDataThoughts Жыл бұрын
Dag is created once a spark job is submitted. Think of the vertices as RDDs and the edges as the operations. The dag schedulers job is to convert the dag into stages and tasks that will perform actual execution .
@anirbansarkar6306 Жыл бұрын
Hi Ma'am, in that 16 stages snapshot, what is the difference between gray boxes and blue boxes?