Ch.03-12 - Secondary Sort - Part 1 | Map Reduce | Hadoop

#هادوب #Hadoop_In_Arabic #Big_Data_In_Arabic #بالعربي
In this episode, we explain the following topics:
Secondary Sort implementation using Map-Reduce.
Github Code: github.com/gar...
----------------------------------------------------------------------------------------------------------------------
"Big Data Engineering in Depth": gability.com/e...
----------------------------------------------------------------------------------------------------------------------
Lecture Notes: gability.com/e...
About Garage Education: gability.com/e...
This disclaimer informs the audience that the views, thoughts, and opinions presented in the video belong solely to the author and not necessarily to the author's employer, organization, committee or other group or individual.
----------------------------------------------------------------------------------------------------------------------
Follow us:
Twitter: / garageeducation
Facebook: / garageeducationcourses
KZbin: / garageeducation
Website: gability.com/

[@mostafatarek5088]

شكرا علي المجهود. why not just use the Year/Month as a key in the mapper, and Temp as a value. partitioning is default, group comparator is disabled. i think that will return the same results. صح ولا انا فاهم غلط ؟

[@labib311]

ربنا يجزيك الخير كمل

[@GarageEducation]

ولك بالمثل

[@progamereg8046]

السلام عليكم طبعا المحتوى جميل بس في جزئيه انا مش مستوعب لحد دلوقتي partitionar بيعمل grouping علي حسب ال key واحنا هنا عملناها علي اساس yearmonthبس وبالتالي كل key موجود فيه نفس الشهر والسنة هيروح نفس reducer في نفس الوقت عشان كلهم جالهم نفس الناتج بتاع الhashing طب ايه لازمة ال comparetor وهو بيجمع نفس الkeys في نفس ال reducer في خطوة واحدة مش دا نفس الي بيعمله ال partionar

[@progamereg8046]

وفي حالة ان عندنا الpartitionar وcomparetor الpartionar بياخد الoutputبتاع mapper as key yearmonthtempreture,value as temperature بعد كدا بيجمع كل الkey المشتركين في نفس yearmonthوبعد كدا بيوديهم عند comparetor اللي المفروض يعمل سورت للkeys علي حسب الtempreture بس وبعد كدا يجمع كل القيم مترتبين للreducer ويطلع الoutput انا عارف ان اللي بقوله مختلف عن الكلام اللي اتقال بس جزئية الcomparetor وجودوة مش فاهمه في ظل وجود partitionar

[@sayedabdallah8715]

السلام عليكم اولا شكرا على المجهود طبعا بس فيه حاجه ملغبطاني او اكيد انا مش فاهمها صح اوي دلوقتي انا فاهم ان ال reducer gets its input as Key and a list of values and this happed because partitioner makes sure that every key goes to the same reducer فالمفروض فى الحاله دي فى الطبيعي يدخل لل reducer input in the format (YYYYMM , List(temperatures)) ليه بقى لما عملنا رن من غير grouping Comparator اللى طلع كان كل value فى سطر لوحدها مع ان المفروض اصلا هيدخل لل reducer YYYYMM and list of values for this key نفس الحاجه بتحصل مثلا فى ال word count example اني بيدخل لل reducer one word and list of integers represent how many times this word appear

[@GarageEducation]

I loved 🥰 your comment. I will create a new quick video to explain this part. The reason is we have a composite key year+month & temperatures. This will make the keys unique for hashing. If we remove the temperature from the hashing it will work to be combined but not sorted.

[@sayedabdallah8715]

@@GarageEducation هل فى الحاله التانيه دي لو remove temperature from key we can do sort-in-reduce because we will have all values for each YYYYMM as list to the reduce method ولا ده حاجه تاني

[@GarageEducation]

اه ينفع بس هيحصل OOO شوف الجزء ده في الفيديو اتكلمنا عنه

[@sayedabdallah8715]

@@GarageEducation تمام انا شوفت الفيديو كله بتأكد بس ان ده اللى انت تقصده ب in-reduce-sort ان لما يبقى عندي ال key and list of all values for that key I can sort in reducer method شكرا للتوضيح

[@GarageEducation]

انا هعمل فيديو اوضحها اكتر تكملة عشان النقطة ديه مهمة لانها اساس ال Joins in hadoop and spark