Big data tahlili

Reduce va combine
Har bir chiqish juftligi uchun reduce o‘z vazifasini bajarish uchun chaqiriladi. mapda bo‘lgani kabi, reduce ham barcha vazifalar qayta ishlanayotganda uning natijasini to‘playdi. Barcha xaritalash tugamaguncha va barcha holatlar tugamaguncha tugallangunga qadar reduce ni boshlash mumkin emas. Natijada reduce ham kalit va qiymatdir. Bu qisqartirish uchun o‘z ishini bajarish uchun zarur bo‘lsa-da, bu ilovangiz uchun eng samarali chiqish formati bo‘lmasligi mumkin. Hadoop OutputFormat funktsiyasini ta’minlaydi va InputFormat bilan juda o‘xshash ishlaydi. OutputFormat kalit-qiymat juftligini oladi va chiqishni HDFS-ga yozish uchun tartibga soladi. Oxirgi muammo - bu ma’lumotlarni HDFS-ga yozishdir. Bu RecordWriter tomonidan amalga oshiriladi va u RecordReader-ga o‘xshash ishlaydi, boshqacha holatlar bundan mustasno. OutputFormat ma’lumotlarini oladi va uni HDFS-ga dastur talab qiladigan shaklda yozadi.
Hadoopning oldingi versiyalarida vazifalar rejalashtiruvchisi ushbu tadbirlarning barchasini muvofiqlashtirishni boshqargan. Ushbu rejalashtiruvchi elementar edi va vazifalar to‘plami o‘zgarib, o‘sib borishi bilan boshqacha yondashuv zarurligi ayon bo‘ldi. Eski rejalashtiruvchining asosiy kamchiligi resurslarni boshqarishning yetishmasligi edi. Hadoopning so‘nggi versiyasi ushbu yangi imkoniyatga ega va biz uni 10-bobda batafsil ko‘rib chiqamiz.
Hadoop MapReduce - Hadoop tizimining yuragi. Bu katta ma’lumotlarni boshqariladigan qismlarga ajratish, taqsimlangan klasterda ma’lumotlarni parallel ravishda qayta ishlash va keyin foydalanuvchi foydalanishi yoki qo‘shimcha ishlov berish uchun ma’lumotlarni ochish uchun barcha imkoniyatlarni taqdim etadi. Va bularning barchasi juda qat’iy va xatolarga chidamli tarzda amalga oshiriladi. Bu hali boshlanishi. Hadoop ekotizimi - bu ma’lumotlaringizdagi qiyinchiliklarni kamaytirish uchun maxsus ishlab chiqilgan katta va tobora o‘sib boradigan vositalar va texnologiyalar to‘plamidir.
Nazorat savollari:

1. 
   Hadoop haqida ma’lumot bering?
   
2. 
   Hadoop kim tamonida yaratilgan?
   
3. 
   Hadoop asosan nechta asosiy tarkibiy qismga ega?
   
4. 
   Hadoop taqsimlangan fayl tizimini vazifasi?
   
5. 
   Blok-server aniq nima qiladi?
   
6. 
   Quvur liniyasi nima?
   
7. 
   Hadoop MapReduce qaysi loyiha tamonidan ishlab chiqilgan?
   
8. 
   MapReduce ma’lumotlar qanday tayyorlanadi?
   
9. 
   Hadoop ekotizimi haqida ma’lumot bering?