Axborot texnologiyalari” kafedrasi mustqail ish “Ma’lumotlar komunikatsiyasi” fanidan

O‘ZBEKISTON RESPUBLIKASI AXBOROT TEXNOLOGIYALARI VA KOMMUNIKATSIYALARINI
RIVOJLANTIRISH VAZIRLIGI
MUHAMMAD AL-XORAZMIY NOMIDAGI TOSHKENT AXBOROT TEXNOLOGIYALARI UNIVERSITETI
FARG’ONA FILIALI
“Axborot texnologiyalari” kafedrasi

MUSTQAIL ISH
“Ma’lumotlar komunikatsiyasi” fanidan

Bajardi: 614-19 guruh talabasi
Eminjonov Shohjahon


Tekshirdi O.I.Ergashev

Mavzu: Hadoop Distributed File System (HDFS)
Reja:

1. 
   Kirish
   
2. 
   Apache Hadoop haqida ma’lumot
   
3. 
   Hadoop asosiy modullari
   
4. 
   Hadoop xususiyatlari
   
5. 
   Hadoop xususiyatlari:
   
6. 
   Xulosa
   
7. 
   Foydalanilgan adabiyotlar
   

Hadoop Distributed File System (HDFS) – klaster bo'ylab juda yuqori agregat o'tkazish qobiliyatini ta'minlovchi tovar mashinalarida ma'lumotlarni saqlaydigan taqsimlangan fayl tizimi. U standart yoki past darajadagi apparatda ishlaydi. HDFS an'anaviy fayl tizimlariga qaraganda yaxshiroq ma'lumot uzatishni ta'minlaydi, bundan tashqari, yuqori nosozliklarga chidamlilik va katta ma'lumotlar to'plamlarini mahalliy qo'llab-quvvatlash.
Hadoop Distributed File System ( HDFS ) - bu tovar apparatida ishlash uchun mo'ljallangan taqsimlangan fayl tizimi. U mavjud taqsimlangan fayl tizimlari bilan juda ko'p o'xshashliklarga ega. Biroq, boshqa tarqatilgan fayl tizimlaridan farqlari sezilarli. HDFS nosozliklarga juda chidamli bo'lib, arzon qurilmalarda foydalanish uchun mo'ljallangan. HDFS ilova ma'lumotlariga yuqori o'tkazish qobiliyatini ta'minlaydi va katta ma'lumotlar to'plamiga ega bo'lgan ilovalar uchun javob beradi. HDFS fayl tizimi ma'lumotlariga oqimli kirishni ta'minlash uchun bir nechta POSIX talablarini yumshatadi. HDFS dastlab Apache Nutch veb qidiruvi loyihasi uchun infratuzilma sifatida qurilgan. HDFS endi Apache Hadoop kichik loyihasidir.
Uskunaning buzilishi istisno emas, balki odatiy holdir. HDFS nusxasi yuzlab yoki minglab server mashinalaridan iborat bo'lishi mumkin, ularning har biri fayl tizimi ma'lumotlarining bir qismini saqlaydi. Ko'p sonli komponentlar mavjudligi va har bir komponentning noaniq bo'lmagan nosozlik ehtimoli borligi HDFS ning ba'zi komponentlari doimo ishlamasligini anglatadi. Shuning uchun nosozliklarni aniqlash va ularni tez, avtomatik tarzda tiklash HDFSning asosiy me'moriy maqsadi hisoblanadi. HDFS-da ishlaydigan ilovalar o'zlarining ma'lumotlar to'plamlariga oqimli kirishni talab qiladi. Ular odatda umumiy maqsadli fayl tizimlarida ishlaydigan umumiy maqsadli ilovalar emas. HDFS foydalanuvchilar tomonidan interaktiv foydalanishdan ko'ra ko'proq ommaviy ishlov berish uchun mo'ljallangan. Ma'lumotlarga kirishning past kechikishidan ko'ra ma'lumotlarga kirishning yuqori o'tkazuvchanligiga urg'u beriladi. POSIX HDFS uchun mo'ljallangan ilovalar uchun kerak bo'lmagan ko'plab qattiq talablarni qo'yadi. Ma'lumotlar uzatish tezligini oshirish uchun bir nechta asosiy sohalarda POSIX semantikasi sotildi.HDFS-da ishlaydigan ilovalar katta ma'lumotlar to'plamiga ega. HDFS-dagi odatiy fayl hajmi gigabaytdan terabaytgacha. Shunday qilib, HDFS katta fayllarni qo'llab-quvvatlash uchun sozlangan. U bitta klasterdagi yuzlab tugunlarga yuqori umumiy ma'lumotlar o'tkazish qobiliyatini va miqyosini ta'minlashi kerak. U bir misolda o'n millionlab fayllarni qo'llab-quvvatlashi kerak.HDFS ilovalari fayllar uchun bir marta yozish-o'qish-ko'p kirish modeliga muhtoj. Bir marta yaratilgan, yozilgan va yopilgan faylni o'zgartirish shart emas. Ushbu taxmin ma'lumotlarning muvofiqligi masalalarini soddalashtiradi va yuqori o'tkazuvchanlik ma'lumotlariga kirish imkonini beradi. MapReduce ilovasi yoki veb-brauzer ilovasi ushbu modelga juda mos keladi. Kelajakda fayllarga qo'shish-yozishni qo'llab-quvvatlash rejasi mavjud.Ilova tomonidan so'ralgan hisoblash, agar u ishlaydigan ma'lumotlarga yaqin joyda bajarilsa, ancha samarali bo'ladi. Bu, ayniqsa, ma'lumotlar to'plamining hajmi katta bo'lsa, to'g'ri keladi. Bu tarmoqdagi tiqilib qolishni kamaytiradi va tizimning umumiy o'tkazuvchanligini oshiradi. Ma'lumotni dastur ishlayotgan joyga ko'chirishdan ko'ra, ko'pincha hisoblashni ma'lumotlar joylashgan joyga yaqinroq ko'chirish yaxshiroqdir. HDFS ilovalar uchun ma'lumotlar joylashgan joyga yaqinlashish uchun interfeyslarni taqdim etadi.HDFS bir platformadan ikkinchisiga osongina ko'chish uchun mo'ljallangan. Bu HDFS ning keng ko'lamli ilovalar to'plami uchun tanlov platformasi sifatida keng qo'llanilishini osonlashtiradi.