This is very helpful video to start with spark memory management. Thanks for posting
@svdfxd3 жыл бұрын
Great explanation on Spark Memory Management.
@santoshkumarthammineni38973 жыл бұрын
Thanks for your contributing your knowledge and experience to IT society.
@BigDataThoughts3 жыл бұрын
Thanks Santosh
@himanshgautam3 жыл бұрын
This is gold .
@BigDataThoughts3 жыл бұрын
Thanks Himansh
@venkatesanr94553 жыл бұрын
1 second ago Hi Shreya, Thanks for the video, wonderful presentation, and knowledge sharing. you are doing a great job and continue. Also, I like you to do practical experiments like spark in the future for practicing purpose.
@BigDataThoughts3 жыл бұрын
Thanks Venkatesan
@gauravsehrawat21913 жыл бұрын
This is what I am looking for Thankyou 🙏
@BigDataThoughts3 жыл бұрын
Thanks Gaurav
@dn94163 жыл бұрын
Hi Shreya, thanks for the video, all viewers be safe
@BigDataThoughts3 жыл бұрын
Thanks DN
@rajnimehta51563 жыл бұрын
Awesome and concepts are very nicely guided
@BigDataThoughts3 жыл бұрын
Thanks Rajni
@nnkumar132 жыл бұрын
Hi Shreya, Very clear and precise info. Hoping for more on spark performance issues.
@BigDataThoughts2 жыл бұрын
Thanks Naveen
@ranjithpals3 жыл бұрын
Very insightful!! Great job Shreya!
@BigDataThoughts3 жыл бұрын
Thanks Ranjith
@shivratanmishra14593 жыл бұрын
Just awesome tutorial.
@BigDataThoughts3 жыл бұрын
Thanks Shivratan
@devanand99433 жыл бұрын
Well explained. Please make videos on performance tuning in Spark
@BigDataThoughts3 жыл бұрын
Thanks Anand. yes have plans to make on performance
@shankarsaripalli32603 жыл бұрын
Clear and lucid presentation mam 🙂
@BigDataThoughts3 жыл бұрын
Thanks Shankar
@GuruVideoAC8 ай бұрын
Good job!
@BigDataThoughts8 ай бұрын
Thanks
@ait89542 жыл бұрын
Nice explanation 👌👍👏
@shivamahankali4252 Жыл бұрын
nice explanation mam
@BigDataThoughts Жыл бұрын
thanks shiva
@rajnimehta91893 жыл бұрын
Its just awesome
@BigDataThoughts3 жыл бұрын
Thanks Rajni
@SagarSingh-ie8tx Жыл бұрын
Very nice
@vishalmishra19373 жыл бұрын
plz cover encoders in spark
@udaynayak47882 жыл бұрын
Can you please share information on calculating num executors, memory core, memory drivers
@BigDataThoughts2 жыл бұрын
will make a video on that
@ferrerolounge1910 Жыл бұрын
Good video but noise in background
@guptaashok1212 жыл бұрын
Thanks for this. Could you explain the meaning of propagating internal data between cluster, which is done in storgae memory, is it not same as shuffling, which is taken xare in execution memory
@ravikirantuduru10613 жыл бұрын
Can you make videos with practical example and can we use kryoserrialser in pyspark.
@BigDataThoughts3 жыл бұрын
kyro is for java
@guptaashok1212 жыл бұрын
If you could explain user memory in little more details.
@arnabdutta78762 жыл бұрын
around approx 07:20 - 08:00 mark, isnt the spark.memory.fraction and not spark.memory.storagefraction value that defines the amount of memory available for Unified memory(Execution+Storage). Out of that default spark.memory.storagefraction defines how much of that memory can be blocked for Storage so that amount of data doesnt get evicted?
@dhanunjaymantri1442 Жыл бұрын
yes the spark.memory.storageFracation is fraction of storage space out of total space allocated by spark.memory.fraction for execution and storage.
@pranayr17182 жыл бұрын
what is Kyro. you used this jargon so asking? how broadcasting works in detail is another question?
@guptaashok1212 жыл бұрын
Why there is no need of GC in off heap, how does that do clean up.
@anirbansom668210 ай бұрын
GC is only applicable for a JVM process. The off-heap memory is managed outside the executor JVM process. That's why GC cycle on executor JVM doesn't clean off-heap memory