Ma’lumotlar kommunikatsiyasi” fanidan tayyorlagan amaliy mashg‘ulot ishlari topshirdi: M. A. Akbarova Qabul qildi: O. I. Ergashev Farg‘ona 023 amaliy mashg‘ulot mavzu: Java-da MapReduce dasturi Ishning maqsadi: Displey funksiyasi

NEGA HDFS BLOKLAR SHUNDAY KATTAMI?
HDFS bloklari sezilarli darajada ko'proq disk bloklari. Bu joylashishni aniqlash operatsiyalari sonini kamaytirish uchun amalga oshiriladi. Etarlicha katta blok hajmi bilan diskdan ma'lumotlarni uzatish vaqti blokning boshigacha joylashish vaqtidan ancha uzoqroq bo'lishi mumkin. Shunday qilib, ko'plab bloklardan iborat katta faylni uzatish vaqti ma'lumotlarni uzatish tezligi bilan belgilanadi.
Oddiy hisob-kitoblar shuni ko'rsatadiki, agar joylashishni aniqlash vaqti -taxminan 10 millisekund bo'lsa va uzatish tezligi 100 MB / s bo'lsa, u holda joylashtirish vaqti uzatish vaqtining 1% bo'lishi uchun blok hajmi taxminan 100 MB bo'lishi kerak. Ko'p HDFS o'rnatilishiga qaramay, standart 64 MB blok hajmi 128 MB ga oshdi. Yangi avlod disklarida ma'lumotlarni uzatish tezligi oshishi bilan blok hajmi oshadi, deb kutish mumkin .
Biroq, blok hajmining oshishi bilan siz juda uzoqqa bormasligingiz kerak. MapReduce -da xaritalash vazifalari odatda bitta blok bilan ishlaydi, shuning uchun kam sonli vazifalar (klasterdagi kamroq tugunlar) bilan sizning ishlaringiz mumkin bo'lgandan ko'ra sekinroq ishlaydi.
Tarqalgan fayl tizimida bloklarni abstraktsiya qilish bir qancha afzalliklarga ega. Birinchi foyda eng aniq: fayl tarmoqdagi har qanday bitta diskdan kattaroq bo'lishi mumkin. Fayl bloklari bitta diskda saqlanishi shart emas; ular klasterdagi har qanday disklardan foydalanishlari mumkin. Bundan tashqari, faylni HDFS klasterida saqlashda uning bloklari klasterning barcha disklari bo'ylab taqsimlanishi mumkin (garchi bu holat biroz atipik bo'lsa ham).
Ikkinchidan, fayl o'rniga mavhum birlik sifatida blokdan foydalanish saqlash quyi tizimini soddalashtiradi. Oddiylik har qanday tizimning orzu qilingan xususiyatidir, lekin u turli xil nosozlik usullari bilan taqsimlangan tizimlarda ayniqsa muhimdir . Saqlash quyi tizimida bloklardan foydalanish saqlashni soddalashtiradi (chunki bloklar belgilangan o'lchamga ega, tizim berilgan diskda saqlanishi mumkin bo'lgan bloklar sonini osongina hisoblab chiqishi mumkin) va metama'lumotlar bilan bog'liq muammolarni bartaraf qiladi (blok shunchaki ma'lumotlarning bir qismidir. saqlash uchun mo'ljallangan; fayl metama'lumotlari saqlanishi kerak - aytaylik, boshqa tizim tomonidan alohida qayta ishlanishi mumkin bo'lgan kirish ruxsatnomalari haqidagi ma'lumotlar).
Bundan tashqari, bloklar replikatsiya mexanizmiga yaxshi mos keladi - ular tizimning nosozliklarga chidamliligini va mavjudligini yaxshilaydi. Yomon bloklardan va disk/mashina nosozliklaridan himoya qilish uchun har bir blok jismoniy jihatdan ajratilgan oz sonli mashinalarda (odatda uchta) takrorlanadi. Agar blok ¬mavjud bo'lmasa, uning nusxasi boshqa joydan mijozga shaffof tarzda o'qiladi. Ma'lumotlarning buzilishi yoki apparatdagi nosozlik tufayli mavjud bo'lmagan blok replikatsiya koeffitsientini normal darajaga etkazish uchun muqobil xotiralardan boshqa sog'lom mashinalarga ko'chiriladi. (Ma'lumotlarning buzilishidan himoya qilish haqida qo'shimcha ma'lumot olish uchun 125 -betdagi Ma'lumotlar yaxlitligi bo'limiga qarang ). Bundan tashqari, ba'zi ilovalar klaster ichida o'qish yukining taqsimlanishini yaxshilash uchun tez-tez so'raladigan fayl bloklari uchun yuqori replikatsiya koeffitsientini o'rnatishi mumkin.