Axborot texnologiyalari” kafedrasi mustqail ish “Ma’lumotlar komunikatsiyasi” fanidan

Xavfsiz rejim

Ishga tushganda NameNode xavfsiz rejim deb nomlangan maxsus holatga kiradi. NameNode xavfsiz rejim holatida bo'lsa, ma'lumotlar bloklarining replikatsiyasi sodir bo'lmaydi. NameNode DataNodes-dan Heartbeat va Blockreport xabarlarini oladi. Blok hisoboti DataNode joylashtiradigan ma'lumotlar bloklari ro'yxatini o'z ichiga oladi. Har bir blokda belgilangan minimal nusxalar soni mavjud. Agar ushbu ma'lumotlar blokining replikalarining minimal soni NameNode bilan tekshirilganda blok xavfsiz replikatsiya qilingan hisoblanadi. Xavfsiz replikatsiya qilingan ma'lumotlar bloklarining sozlanishi mumkin bo'lgan foizi NameNode bilan tekshirilgandan so'ng (qo'shimcha 30 soniya), NameNode xavfsiz rejim holatidan chiqadi. Keyin u ko'rsatilgan replikalar sonidan kamroq bo'lgan ma'lumotlar bloklari ro'yxatini (agar mavjud bo'lsa) aniqlaydi.
HDFS nom maydoni NameNode tomonidan saqlanadi. NameNode fayl tizimi metamaʼlumotlarida sodir boʻlgan har bir oʻzgarishlarni doimiy ravishda qayd etish uchun EditLog deb nomlangan tranzaktsiyalar jurnalidan foydalanadi. Masalan, HDFS-da yangi fayl yaratish NameNode-ni EditLog-ga buni ko'rsatuvchi yozuv kiritishiga olib keladi. Xuddi shunday, faylning replikatsiya koeffitsientini o'zgartirish EditLog-ga yangi yozuvning kiritilishiga olib keladi. NameNode EditLogni saqlash uchun mahalliy xost OS fayl tizimidagi fayldan foydalanadi. Butun fayl tizimining nom maydoni, jumladan bloklarni fayllarga va fayl tizimi xususiyatlariga solishtirish FsImage deb nomlangan faylda saqlanadi. FsImage fayl sifatida NameNode mahalliy fayl tizimida ham saqlanadi.
NameNode butun fayl tizimi nom maydonining tasvirini va fayl blokirovkasi xaritasini xotirada saqlaydi. Ushbu asosiy metadata elementi ixcham bo'lib ishlab chiqilgan, shuning uchun 4 GB operativ xotiraga ega NameNode juda ko'p sonli fayl va kataloglarni qo'llab-quvvatlash uchun etarli. NameNode ishga tushirilganda, u diskdan FsImage va EditLog-ni o'qiydi, EditLog-dan FsImage-ning xotiradagi ko'rinishiga barcha tranzaktsiyalarni qo'llaydi va bu yangi versiyani diskdagi yangi FsImage-ga o'chiradi. Keyin u eski EditLog-ni kesishi mumkin, chunki uning tranzaksiyalari doimiy FsImage-ga qo'llanilgan. Bu jarayon nazorat punkti deb ataladi. Joriy amalga oshirishda nazorat nuqtasi faqat NameNode ishga tushirilganda paydo bo'ladi. Yaqin kelajakda davriy nazoratni qo'llab-quvvatlash bo'yicha ishlar olib borilmoqda.
DataNode HDFS ma'lumotlarini mahalliy fayl tizimidagi fayllarda saqlaydi. DataNode HDFS fayllari haqida hech qanday ma'lumotga ega emas. U har bir HDFS ma'lumotlar blokini mahalliy fayl tizimida alohida faylda saqlaydi. DataNode bir xil katalogdagi barcha fayllarni yaratmaydi. Buning o'rniga, u har bir katalog uchun optimal fayllar sonini aniqlash uchun evristikdan foydalanadi va tegishli ravishda pastki kataloglarni yaratadi. Barcha mahalliy fayllarni bitta katalogda yaratish maqbul emas, chunki mahalliy fayl tizimi bitta katalogdagi juda ko'p sonli fayllarni samarali qo'llab-quvvatlamasligi mumkin. DataNode ishga tushirilganda, u o'zining mahalliy fayl tizimi orqali skanerdan o'tkazadi, ushbu mahalliy fayllarning har biriga mos keladigan barcha HDFS ma'lumotlar bloklari ro'yxatini yaratadi va bu hisobotni NameNode-ga yuboradi: bu blokirovka hisoboti.