Mavzu: Katta ma’lumotlarni aniqlash. Katta ma’lumotlarni saqlash texnologiyasi

Apache Spark: 

• 
  Bu ommaviy ishlov berish, real vaqtda interaktiv yoki iterativ ishlov berish, grafik konvertatsiya qilish va vizualizatsiya kabi barcha iste'mol qilinadigan jarayonlarni bajaradigan platforma.
  
• 
  U xotira resurslarini iste'mol qiladi, shuning uchun optimallashtirish nuqtai nazaridan avvalgisidan tezroq.
  
• 
  Spark real vaqt rejimidagi ma'lumotlar uchun eng mos keladi, Hadoop esa tuzilgan ma'lumotlar yoki ommaviy qayta ishlash uchun eng mos keladi, shuning uchun ikkalasi ham ko'pchilik kompaniyalarda bir-birining o'rnida ishlatiladi.
  

Apache HBase: 

• 
  Bu NoSQL ma'lumotlar bazasi bo'lib, u barcha turdagi ma'lumotlarni qo'llab-quvvatlaydi va shuning uchun Hadoop ma'lumotlar bazasi bilan ishlashga qodir. U Google BigTable imkoniyatlarini taqdim etadi, shuning uchun Big Data to'plamlarida samarali ishlashga qodir.
  
• 
  Katta ma'lumotlar bazasida kichik narsalarni qidirish yoki olishimiz kerak bo'lgan paytlarda so'rov qisqa vaqt ichida qayta ishlanishi kerak. Bunday paytlarda HBase foydali bo'ladi, chunki u bizga cheklangan ma'lumotlarni saqlashning bardoshli usulini beradi
  

Boshqa komponentlar: Bularning barchasidan tashqari, Hadoop-ni katta ma'lumotlar to'plamlarini qayta ishlashga qodir qilish uchun juda katta vazifani bajaradigan boshqa komponentlar ham mavjud. Ular quyidagichadir: 
 

• 
  Solr, Lucene: Bular ba'zi java kutubxonalari yordamida qidirish va indekslash vazifasini bajaradigan ikkita xizmatdir, ayniqsa Lucene Java-ga asoslangan bo'lib, imloni tekshirish mexanizmiga ham imkon beradi. Biroq, Lucene Solr tomonidan boshqariladi.
  
• 
  Zookeeper xodimi: Hadoop resurslari yoki tarkibiy qismlari o'rtasida muvofiqlashtirish va sinxronizatsiyani boshqarish bo'yicha katta muammo bor edi, bu ko'pincha nomuvofiqlikka olib keldi. Zookeeper sinxronizatsiya, komponentlararo aloqa, guruhlash va texnik xizmat ko'rsatish orqali barcha muammolarni yengib chiqdi.
  
• 
  Oozie: Oozie shunchaki rejalashtiruvchining vazifasini bajaradi, shu bilan ishlarni rejalashtiradi va ularni bitta birlik sifatida birlashtiradi. Ishlarning ikki turi mavjud: Oozie ish jarayoni va Oozie koordinatori ishlari. Oozie ish oqimi - bu ketma-ket tartibda bajarilishi kerak bo'lgan ishlar, Oozie koordinatori ishlari esa ba'zi ma'lumotlar yoki tashqi stimullar berilganda ishga tushadigan ishlardir.
  

Nazorat savollari:

1. 
   Business Intelligence haqida ma’lumot bering?
   
2. 
   Business Intelligence dan nima maqsadda foydalaniladi?
   
3. 
   Hadoop haqida ma’lumot bering?
   
4. 
   Hadoop loyihasidagi kutubxonalaridan nima maqsadda foydalaniladi?