Mavzu: Katta ma’lumotlarni aniqlash. Katta ma’lumotlarni saqlash texnologiyasi

MapReduce: 

• 
  Tarqalgan va parallel algoritmlardan foydalangan holda, MapReduce qayta ishlash mantig'ini o'tkazishga imkon beradi va katta ma'lumotlar to'plamini boshqariladiganga aylantiradigan ilovalarni yozishga yordam beradi.
  
• 
  MapReduce ikkita funksiyadan foydalanadi: Map() va Reduce() ularning vazifasi: 
  
  1. 
     Map() ma'lumotlarni saralash va filtrlashni amalga oshiradi va shu bilan ularni guruh shaklida tashkil qiladi. Xarita kalit-qiymat juftligiga asoslangan natijani yaratadi, keyinchalik u Reduce() usuli bilan qayta ishlanadi.
     
  2. 
     Reduce() nomidan ko'rinib turibdiki, xaritalangan ma'lumotlarni jamlash orqali xulosa qiladi. Oddiy qilib aytganda, Reduce() Map() tomonidan yaratilgan natijani kirish sifatida qabul qiladi va bu kortejlarni kichikroq kortejlar to'plamiga birlashtiradi.
     

Pig: 
 Pig asosan Yahoo tomonidan ishlab chiqilgan bo'lib, u cho'chqa lotin tilida ishlaydi, bu SQL ga o'xshash so'rovlarga asoslangan tildir.

• 
  Bu ma'lumotlar oqimini tizimlashtirish, katta ma'lumotlar to'plamlarini qayta ishlash va tahlil qilish uchun platformadir.
  
• 
  Pig buyruqlarni bajarish ishini bajaradi va fonda MapReduce-ning barcha faoliyatiga g'amxo'rlik qilinadi. Qayta ishlashdan so'ng, cho'chqa natijani HDFSda saqlaydi.
  
• 
  Pig lotin tili Pig Runtime-da ishlaydigan ushbu ramka uchun maxsus ishlab chiqilgan. Xuddi Java JVM da qanday ishlaydi .
  
• 
  Cho'chqa dasturlash va optimallashtirish qulayligiga erishishga yordam beradi va shuning uchun Hadoop ekotizimining asosiy segmenti hisoblanadi.
  

HIVE: 

• 
  SQL metodologiyasi va interfeysi yordamida HIVE katta ma'lumotlar to'plamlarini o'qish va yozishni amalga oshiradi. Biroq, uning so'rovlar tili HQL (Hive Query Language) deb ataladi.
  
• 
  U yuqori darajada kengaytirilishi mumkin, chunki u real vaqt rejimida qayta ishlash va ommaviy qayta ishlash imkonini beradi. Bundan tashqari, barcha SQL ma'lumotlar turlari Hive tomonidan qo'llab-quvvatlanadi, bu esa so'rovlarni qayta ishlashni osonlashtiradi.
  
• 
  So'rovlarni qayta ishlash tizimiga o'xshab, HIVE ham ikkita komponent bilan birga keladi: JDBC Drivers va HIVE Buyruqlar qatori .
  
• 
  JDBC, ODBC drayverlari bilan bir qatorda, ma'lumotlarni saqlash uchun ruxsatnomalar va ulanishni o'rnatish ustida ishlaydi, HIVE buyruq qatori esa so'rovlarni qayta ishlashda yordam beradi.
  

Mahout: 

• 
  Mahout, tizim yoki dasturga Machine Learnability imkonini beradi. Mashinani o'rganish , nomidan ko'rinib turibdiki, tizimni ba'zi naqshlar, foydalanuvchi/atrof-muhit o'zaro ta'siri yoki algoritmlar asosida rivojlantirishga yordam beradi.
  
• 
  U birgalikda filtrlash, klasterlash va tasniflash kabi turli xil kutubxonalar yoki funktsiyalarni taqdim etadi, ular Mashinani o'rganish tushunchalaridan boshqa narsa emas. U o'z kutubxonalari yordamida bizning ehtiyojimizga ko'ra algoritmlarni chaqirish imkonini beradi.