Big data tahlili

Apparat tarmoq topologiyasi
Ilovadan qat’i nazar, eng tezkor apparat va tarmoqlar dasturiy ta’minotingiz uchun eng tezkor ishlashni ta’minlashi mumkin. MapReduce-ning yaqqol ustunligi - bu arzon uskunalar va javonlardan tashqari tarmoqlarning arzon klasterlarida ishlash qobiliyatidir. Agar serverlaringiz fizik jihatdan qayerda tashkil etilganiga e’tibor bermasangiz, katta hajmdagi ma’lumotlarni qo‘llab-quvvatlash uchun talab qilinadigan maksimal ishlash va yuqori chidamlilikni qo‘lga kirita olmaysiz.
Mahsulot qurilmalari ko‘pincha ma’lumotlar markazidagi javonlarda saqlanadi. Javondagi uskunaning yaqinligi ma’lumotlar va yoki kodni tokchadan javonga ko‘chirishda ishlashning ustunligini ta’minlaydi. Amalga oshirish vaqtida MapReduce mexanizmini ushbu yaqinlik to‘g‘risida bilish va undan foydalanish uchun sozlashingiz mumkin. Ma’lumotlar va kodlarni birgalikda saqlash MapReduce samaradorligini eng yaxshi optimallashtirish hisoblanadi. Asosan, apparatni qayta ishlash elementlari bir-biriga qanchalik yaqin bo‘lsa, shuncha kechikish bilan shug‘ullanishingiz kerak bo‘ladi.
Sinxronlash
Xaritangizning barcha natijalarini tugun ichida saqlash samarasiz bo‘lganligi sababli, sinxronlash mexanizmlari xaritalash natijalarini tugallangandan so‘ng darhol tugatish tugmachalariga nusxalashadi, shunda ishlov berish darhol boshlanadi. Huddi shu kalitning barcha qiymatlari bir xil reduktorga yuboriladi va yana yaxshi ishlash va samaradorlikni ta’minlaydi. Chiqib ketish natijasi to‘g‘ridan-to‘g‘ri fayl tizimiga yoziladi, shuning uchun uni eng yaxshi natijalarga erishish uchun qayta tuzish va sozlash kerak.
Fayl tizimi
MapReduce dasturini taqsimlangan fayl tizimi qo‘llab-quvvatlaydi. Mahalliy va taqsimlangan fayl tizimlari o‘rtasidagi asosiy farq - bu imkoniyat. Katta ma’lumotlar olamidagi katta hajmdagi ma’lumotlarni boshqarish uchun fayl tizimlari tarmoqdagi bir nechta mashinalar yoki tugunlarga tarqalishi kerak. MapReduce dasturlari master-slave tarqatish uslubiga tayanadi, unda usta barcha metama’lumotlarni, ruxsatnomalarni, fayllarni va bloklarni xaritalashni va boshqalarni saqlaydi va hokazo. Ishchilar(Slave) - bu haqiqiy ma’lumotlarni saqlaydigan tugunlar. Barcha so‘rovlar “xo‘jayin”ga yuboriladi, so‘ngra tegishli “ishchi” tomonidan qayta ishlanadi. MapReduce dasturini qo‘llab-quvvatlash uchun zarur bo‘lgan fayl tizimining dizaynini ko‘rib chiqishda quyidagilarga e’tibor qarating:

• 
  Issiq tuting: kutganingizdek, asosiy tugunni egallash mumkin, chunki barchasi shu yerda boshlanadi. Bundan tashqari, agar usta ishlamay qolsa, master qayta tiklanmaguncha, butun fayl tizimiga kirish mumkin bo‘lmaydi. Juda muhim optimallashtirish - bu onlayn masterda muammo bo‘lsa, xizmatga kirishi mumkin bo‘lgan asosiy issiq tutish tugunini yaratish.
  
• 
  Kattasi yaxshiroq: Fayl hajmi ham muhim omil. Katta hajmdagi kichik fayllardan (100 MB dan kam) foydalanishga yo‘l qo‘ymaslik kerak. MapReduce mexanizmlarini qo‘llab-quvvatlaydigan tarqatilgan fayl tizimlari oz sonli katta fayllarni o‘z ichiga olganda yaxshi ishlaydi.
  
• 
  Uzoq muddatli istiqbol: Ish yuklari ommaviy ravishda boshqariladiganligi sababli, tarmoq o‘tkazuvchanligining tezligi tezkor konvertorlar yoki uzatmalar qutilaridan ko‘ra muhimroqdir. Eng yaxshi yondashuv - bu kodni o‘qish paytida juda ko‘p ma’lumotni tarjima qilish va vaqti kelganida fayl tizimiga yozish.
  
• 
  Xavfsiz saqlang: lekin juda qattiq emas. Xavfsizlik qatlamlarini taqsimlangan fayl tizimiga qo‘shilishi uning ishlashini pasaytiradi. Fayl ruxsatnomalari zararli xatti-harakatlardan emas, balki kutilmagan oqibatlardan himoya qilish uchun mo‘ljallangan. Eng yaxshi yondashuv faqat vakolatli foydalanuvchilarning ma’lumotlar markazi muhitiga kirishini ta’minlash va taqsimlangan fayl tizimini tashqi xavfsizligini ta’minlashdir.
  

Endi ushbu kuchli xususiyat haqida bir oz ma’lumotga ega bo‘lgach, biz eng keng tarqalgan MapReduce mexanizmi va ekotizimiga chuqur kiramiz.