Axborot texnologiyalari” kafedrasi mustqail ish “Ma’lumotlar komunikatsiyasi” fanidan

NameNode va DataNodes

HDFS master/slave arxitekturasiga ega. HDFS klasteri bitta NameNode-dan iborat bo'lib, u fayl tizimining nom maydonini boshqaradigan va mijozlar tomonidan fayllarga kirishni tartibga soluvchi asosiy serverdir. Bundan tashqari, bir nechta DataNodelar mavjud, odatda klasterdagi har bir tugunga bittadan, ular ishlaydigan tugunlarga biriktirilgan xotirani boshqaradi. HDFS fayl tizimi nom maydonini ochib beradi va foydalanuvchi ma'lumotlarini fayllarda saqlashga imkon beradi. Ichkarida fayl bir yoki bir nechta bloklarga bo'linadi va bu bloklar DataNodes to'plamida saqlanadi. NameNode fayllar va kataloglarni ochish, yopish va nomini o'zgartirish kabi fayl tizimi nom maydoni operatsiyalarini bajaradi. Shuningdek, u DataNodes-ga bloklarning xaritalanishini aniqlaydi. DataNodes fayl tizimi mijozlaridan o'qish va yozish so'rovlariga xizmat ko'rsatish uchun javobgardir. NameNode va DataNode - bu tovar mashinalarida ishlash uchun mo'ljallangan dasturiy ta'minot qismlari. Bu mashinalar odatda GNU/Linux operatsion tizimida ( OS ) ishlaydi. HDFS Java tili yordamida yaratilgan; Java-ni qo'llab-quvvatlaydigan har qanday mashina NameNode yoki DataNode dasturlarini ishga tushirishi mumkin. Yuqori portativ Java tilidan foydalanish HDFS-ni keng turdagi mashinalarda joylashtirish mumkinligini anglatadi. Oddiy joylashtirishda faqat NameNode dasturiy ta'minoti bilan ishlaydigan maxsus mashina mavjud. Klasterdagi boshqa mashinalarning har biri DataNode dasturining bir nusxasini ishga tushiradi. Arxitektura bir xil mashinada bir nechta DataNodlarni ishlatishga to'sqinlik qilmaydi, lekin kamdan-kam hollarda bo'ladigan haqiqiy joylashtirishda.Klasterda bitta NameNode mavjudligi tizim arxitekturasini ancha soddalashtiradi. NameNode barcha HDFS metama'lumotlari uchun hakam va ombor hisoblanadi. Tizim shunday yaratilganki, foydalanuvchi ma'lumotlari hech qachon NameNode orqali oqmaydi.

Fayl tizimining nom maydoni

HDFS an'anaviy ierarxik fayl tashkilotini qo'llab-quvvatlaydi. Foydalanuvchi yoki dastur kataloglarni yaratishi va shu kataloglarda fayllarni saqlashi mumkin. Fayl tizimining nom maydoni ierarxiyasi boshqa mavjud fayl tizimlarining ko'pchiligiga o'xshaydi; fayllarni yaratish va o'chirish, faylni bir katalogdan boshqasiga ko'chirish yoki fayl nomini o'zgartirish mumkin. HDFS hali foydalanuvchi kvotalarini amalga oshirmaydi. HDFS qattiq havolalarni yoki yumshoq havolalarni qo'llab-quvvatlamaydi. Biroq, HDFS arxitekturasi ushbu xususiyatlarni amalga oshirishga to'sqinlik qilmaydi.NameNode fayl tizimi nom maydonini saqlaydi. Fayl tizimining nom maydoni yoki uning xususiyatlaridagi har qanday o'zgarishlar NameNode tomonidan qayd etiladi. Ilova HDFS tomonidan saqlanishi kerak bo'lgan faylning nusxalari sonini belgilashi mumkin. Faylning nusxalari soni ushbu faylning replikatsiya koeffitsienti deyiladi. Ushbu ma'lumot NameNode tomonidan saqlanadi.HDFS juda katta fayllarni katta klasterdagi mashinalarda ishonchli saqlash uchun mo'ljallangan. U har bir faylni bloklar ketma-ketligi sifatida saqlaydi; oxirgi blokdan tashqari fayldagi barcha bloklar bir xil o'lchamda. Fayl bloklari xatolarga chidamlilik uchun takrorlanadi. Blok hajmi va replikatsiya faktorini har bir fayl uchun sozlash mumkin. Ilova faylning nusxalari sonini belgilashi mumkin. Replikatsiya omili fayl yaratish vaqtida belgilanishi va keyinroq o'zgartirilishi mumkin. HDFS-dagi fayllar bir marta yoziladi va istalgan vaqtda bitta yozuvchiga ega.NameNode bloklarni takrorlash bo'yicha barcha qarorlarni qabul qiladi. U vaqti-vaqti bilan klasterdagi har bir DataNodedan yurak urishi va blokirovka hisobotini oladi. Yurak urishini qabul qilish DataNode to'g'ri ishlayotganligini anglatadi. Blockreport DataNode-dagi barcha bloklar ro'yxatini o'z ichiga oladi..

Replikalarni joylashtirish HDFS ishonchliligi va ishlashi uchun juda muhimdir. Replikatsiyani joylashtirishni optimallashtirish HDFS-ni boshqa ko'plab tarqalgan fayl tizimlaridan ajratib turadi. Bu juda ko'p sozlash va tajribani talab qiladigan xususiyat. Rack-biluvchi replika joylashtirish siyosatining maqsadi ma'lumotlar ishonchliligi, mavjudligi va tarmoq o'tkazish qobiliyatidan foydalanishni yaxshilashdir. Replikatsiyani joylashtirish siyosatining joriy tatbiq etilishi bu yo'nalishdagi birinchi urinishdir. Ushbu siyosatni amalga oshirishning qisqa muddatli maqsadlari ishlab chiqarish tizimlarida uni tasdiqlash, uning xatti-harakatlari haqida ko'proq ma'lumot olish va yanada murakkab siyosatlarni sinab ko'rish va tadqiq qilish uchun asos yaratishdir.Katta HDFS nusxalari odatda ko'plab stendlarda tarqalgan kompyuterlar klasterida ishlaydi. Turli xil raflardagi ikkita tugun o'rtasidagi aloqa kalitlar orqali o'tishi kerak. Ko'pgina hollarda, bir xil rafdagi mashinalar orasidagi tarmoq o'tkazuvchanligi turli raflardagi mashinalar orasidagi tarmoq tarmoqli kengligidan kattaroqdir.NameNode, Hadoop Rack Awareness- da ko'rsatilgan jarayon orqali har bir DataNode tegishli bo'lgan raf identifikatorini aniqlaydi . Oddiy, ammo maqbul bo'lmagan siyosat - bu nusxalarni noyob tokchalarga joylashtirishdir. Bu butun raf ishlamay qolganda ma'lumotlarni yo'qotishning oldini oladi va ma'lumotlarni o'qiyotganda bir nechta raflardan tarmoqli kengligidan foydalanishga imkon beradi. Ushbu siyosat replikalarni klasterda teng ravishda taqsimlaydi, bu esa komponent ishdan chiqqanida yukni muvozanatlashni osonlashtiradi. Biroq, bu siyosat yozish narxini oshiradi, chunki yozish bloklarni bir nechta raflarga o'tkazishi kerak.Oddiy holatda, replikatsiya koeffitsienti uchta bo'lsa, HDFSning joylashtirish siyosati bitta replikani mahalliy rafdagi bitta tugunga, ikkinchisini boshqa (masofaviy) rafdagi tugunga va oxirgisini bir xildagi boshqa tugunga qo'yishdir. masofaviy raf. Ushbu siyosat raftlar orasidagi yozish trafigini qisqartiradi, bu odatda yozish samaradorligini oshiradi. Rafning ishdan chiqishi ehtimoli tugunning ishdan chiqishiga qaraganda ancha past; bu siyosat maʼlumotlar ishonchliligi va mavjudligi kafolatlariga taʼsir qilmaydi. Biroq, bu ma'lumotlarni o'qishda ishlatiladigan umumiy tarmoq o'tkazish qobiliyatini kamaytiradi, chunki blok uchta emas, balki faqat ikkita noyob rafga joylashtirilgan. Ushbu siyosat bilan fayl nusxalari raflar bo'ylab bir tekis taqsimlanmaydi. Replikalarning uchdan bir qismi bitta tugunda, uchdan ikki qismi bitta rafda, qolgan uchdan bir qismi esa qolgan raftlar bo'ylab teng taqsimlanadi. Bu siyosat maʼlumotlar ishonchliligi yoki oʻqish unumdorligini buzmasdan yozish unumdorligini yaxshilaydi.Bu yerda tasvirlangan joriy, birlamchi replika joylashtirish siyosati davom etayotgan ishdir.Global tarmoqli kengligi iste'molini va o'qish kechikishini minimallashtirish uchun HDFS o'quvchiga eng yaqin bo'lgan nusxadan o'qish so'rovini qondirishga harakat qiladi. Agar o'quvchi tuguni bilan bir xil rafda replika mavjud bo'lsa, o'qish so'rovini qondirish uchun ushbu replika afzalroqdir. Agar angg/ HDFS klasteri bir nechta ma'lumotlar markazlarini qamrab olsa, har qanday masofaviy nusxadan ko'ra mahalliy ma'lumotlar markazida joylashgan replika afzalroqdir.