Mavzu: Katta ma’lumotlarni aniqlash. Katta ma’lumotlarni saqlash texnologiyasi

Hadoop ekosistemi - bu katta ma'lumotlar muammolarini hal qilish uchun turli xizmatlarni taqdim etadigan platforma yoki to'plam. U Apache loyihalari va turli xil tijorat vositalari va yechimlarini o'z ichiga oladi. Hadoop- ning to'rtta asosiy elementi mavjud ya'ni HDFS, MapReduce, YARN va Hadoop Common. Aksariyat vositalar yoki echimlar ushbu asosiy elementlarni to'ldirish yoki qo'llab-quvvatlash uchun ishlatiladi. Ushbu vositalarning barchasi ma'lumotlarni qabul qilish, tahlil qilish, saqlash va texnik xizmat ko'rsatish kabi xizmatlarni taqdim etish uchun birgalikda ishlaydi. 
Quyida birgalikda Hadoop ekotizimini tashkil etuvchi komponentlar keltirilgan: 

• 
  HDFS: Hadoop taqsimlangan fayl tizimi
  
• 
  YARN: Yana bir resurs muzokarachisi
  
• 
  MapReduce: Dasturlash asosidagi ma'lumotlarni qayta ishlash
  
• 
  Spark: Xotirada ma'lumotlarni qayta ishlash
  
• 
  PIG, HIVE: so'rovlar asosida ma'lumotlar xizmatlarini qayta ishlash
  
• 
  HBase: NoSQL ma'lumotlar bazasi
  
• 
  Mahout, Spark MLLib: Machine Learning algoritm kutubxonalari
  
• 
  Solar, Lucene: Qidiruv va indekslash
  
• 
  Zookeeper: Klasterni boshqarish
  
• 
  Oozie: Ishni rejalashtirish
  

Eslatma: Yuqorida aytib o'tilgan komponentlardan tashqari, Hadoop ekotizimining bir qismi bo'lgan ko'plab boshqa komponentlar ham mavjud. 
Barcha bu asboblar to'plami yoki komponentlar bir atama, ya'ni Data atrofida aylanadi. Hadoop-ning go'zalligi shundaki, u ma'lumotlar atrofida aylanadi va shuning uchun sintezini osonlashtiradi. 


HDFS: 

• 
  HDFS Hadoop ekotizimining asosiy yoki asosiy komponenti bo'lib, turli tugunlar bo'ylab tuzilgan yoki tuzilmagan ma'lumotlarning katta ma'lumotlar to'plamini saqlash va shu bilan metama'lumotlarni jurnal fayllari shaklida saqlash uchun javobgardir.
  
• 
  HDFS ikkita asosiy komponentdan iborat, ya'ni: 
  
  1. 
     Nod tugun
     
  2. 
     Ma'lumotlar tugunlari
     
• 
  Nom tugunlari - bu haqiqiy ma'lumotlarni saqlaydigan ma'lumotlar tugunlariga qaraganda nisbatan kamroq resurslarni talab qiluvchi metama'lumotlar (ma'lumotlar haqidagi ma'lumotlar) o'z ichiga olgan asosiy tugun. Ushbu ma'lumotlar tugunlari taqsimlangan muhitda tovar apparatidir. Shubhasiz, Hadoop-ni tejamkor qilish.
  
• 
  HDFS klasterlar va apparat o'rtasidagi barcha muvofiqlashtirishni ta'minlaydi va shu bilan tizimning markazida ishlaydi.
  

YARN: 

• 
  Yana bir Resurs Muzokarachisi, nomidan ko'rinib turibdiki, YARN klasterlar bo'ylab resurslarni boshqarishga yordam beradi. Muxtasar qilib aytganda, u Hadoop tizimi uchun rejalashtirish va resurslarni taqsimlashni amalga oshiradi.
  
• 
  Uch asosiy komponentdan iborat, ya'ni: 
  
  1. 
     Resurs menejeri
     
  2. 
     Tugunlar menejeri
     
  3. 
     Ilova menejeri
     
• 
  Resurs menejeri tizimdagi ilovalar uchun resurslarni taqsimlash sharafiga ega, tugun menejerlari esa protsessor, xotira, har bir mashina uchun tarmoqli kengligi kabi resurslarni taqsimlash ustida ishlaydi va keyinchalik resurs menejerini tan oladi. Ilova menejeri resurs menejeri va tugun menejeri o'rtasidagi interfeys sifatida ishlaydi va ikkalasining talabiga binoan muzokaralarni amalga oshiradi.