Big data tahlili

Nazorat savollari:

1. 
   Relyatsion ma’lumotlar bazalari qanday ifodalanadi?
   
2. 
   Normallashtirish uchun standartlarning nechta darajasi mavjud?
   
3. 
   Kompaniyalarda ma’lumotlar asosan aksariyati nimalarda saqlanadi?
   
4. 
   PostgreSQL nima?
   
5. 
   PostgreSQL mumkin bo‘lgan kengaytmalarga nimalar kiradi?
   
6. 
   Ma’lumotlar bazasiga aloqador bo‘lmagan texnologiyalar qanday xususiyatlarga ega?
   
7. 
   Kalit-qiymat juftlarining keng qo‘llaniladigan ochiq manbali ma’lumotlar bazalaridan biri nima deb nomlanadi?
   
8. 
   Riak nima va uning xususiyatlari haqida ma’lumot bering?
   
9. 
   MongoDB nima va u qanday elementlardan tashkil topgan?
   
10. 
    MongoDB-ning samarali dasturlariganimalar kiradi?
    
11. 
    Grafik ma’lumotlar bazalarining asosiy tuzilishi nima deb ataladi?
    

8-BOB

MAPREDUCE ASOSLARI

Ushbu bobda:

• 
  MapReduce-ning kelib chiqishi;
  
• 
  Xarita funktsiyasi;
  
• 
  Siqilish funktsiyasi;
  
• 
  Xaritani birlashtirish va birga qisqartirish;
  
• 
  MapReduce vazifalarini optimallashtirish.
  

O‘tgan davrda sarlavhalarda katta ma’lumotlar ustun bo'lgan bo‘lsa-da, hisoblash davridagi katta muammolar kompyuterlar davrining boshidan beri mavjud. Har safar yangi, tezroq va kuchliroq kompyuter tizimi joriy qilinganida, odamlar tizim uchun juda katta muammolarga duch kelishdi. Keyin mahalliy tarmoqlar paydo bo‘ldi va sanoat tobora o‘sib borayotgan muammolarni hal qilish uchun tarmoqdagi hisoblash kuchi va saqlash tizimlarini birlashtirishga o‘tdi. Hisoblash va ma’lumotni talab qiladigan dasturlarni taqsimlash katta ma’lumotlar muammolarini hal qilishning markazidir. Keng miqyosda ishonchli taqsimotga erishish yangi texnologik yondashuvlarni talab qildi. MapReduce - bu yangi yondashuvlardan biri. MapReduce - bu dasturchilarga tarqatilgan protsessorlar guruhi bo‘ylab katta miqdordagi strukturalanmagan ma’lumotlarni qayta ishlashga imkon beradigan dasturlarni yozish imkonini beradigan dasturiy ta’minot bazasi.

MapReduce-ning paydo bo‘lishi

2000-yillarning boshlarida ba’zi Google muhandislari kelajakka nazar tashladilar va veb-kontentni skanerlash, so‘rovlar tezligi va boshqalar kabi dasturlar uchun mavjud yechimlari mavjud talablarning aksariyati uchun yetarli bo‘lsa-da, ular murakkabligi uchun yetarli emas deb qaror qildilar. Chunki veb tobora ko‘proq foydalanuvchilarni kengaytirmoqda. Ushbu muhandislar agar ish arzon kompyuterlar orqali taqsimlanib, keyin “klaster” da tarmoqqa ulanishi mumkin bo‘lsa, ular muammoni hal qilishlari mumkinligini aniqladilar.
Taqsimlashning o‘zi yetarli javob emas edi. Ushbu ish taqsimoti quyidagi uchta sababga ko‘ra parallel ravishda amalga oshirilishi kerak:

• 
  Qayta ishlash avtomatik ravishda kengaytirish va qisqartirish imkoniyatiga ega bo‘lishi kerak.
  
• 
  Tarmoqdagi yoki individual tizimdagi nosozliklardan qat’i nazar, ishlov berish davom etishi kerak.
  
• 
  Ushbu yondashuvdan foydalangan holda ishlab chiquvchilar boshqa ishlab chiquvchilar osongina foydalanishi mumkin bo‘lgan xizmatlarni yaratishi kerak. Shuning uchun ushbu yondashuv ma’lumotlar va hisob-kitoblar amalga oshirilgan joydan mustaqil bo‘lishi kerak.
  

MapReduce universal dasturlash modeli sifatida ishlab chiqilgan. Ba’zi dastlabki dasturlar parallel bajarish, xatolarga bardoshlik, yuklarni muvozanatlash va ma’lumotlar bilan ishlash uchun barcha asosiy talablarni ta’minladi. Loyiha uchun mas’ul muhandislar tashabbusni MapReduce deb nomlashdi, chunki u mavjud funktsional kompyuter tillarining ikkita imkoniyatini birlashtiradi: xaritalash va qisqartirish.
Google muhandislari aniq amaliy muammoni hal qilish uchun MapReduce-ni ishlab chiqdilar. Shunday qilib, u ushbu modelni amalga oshirish bilan birlashtirilgan dasturlash modeli sifatida ishlab chiqilgan - asosan mos yozuvlar dasturi. Ma’lumotlarni tatbiq etish konsepsiyaning amaliy va samaradorligini namoyish qilish va ushbu modelni kompyuter sanoatida keng joriy etilishini ta’minlash uchun ishlatilgan. Yillar davomida boshqa MapReduce dasturlari yaratildi va ochiq manbali hamda savdo mahsulot sifatida mavjud.

map funksiyasi

map funktsiyasi ko‘p yillar davomida ko‘plab funktsional dasturlash tillarining bir qismi bo‘lib, birinchi navbatda LISP deb nomlangan sun’iy intellekt tili bilan mashhurlikka erishdi. Yaxshi dasturiy ta’minot ishlab chiqaruvchilari qayta ishlatish qiymatini tushunishadi, shuning uchun map yana ma’lumotlar elementlari ro‘yxati (kalitlari va qiymatlari) bilan ishlashning asosiy texnologiyasidir. map funktsiyasi nima uchun katta ma’lumotlar uchun yaxshi tanlov ekanligini (shuningdek, kichraytirish funktsiyasi) yaxshiroq tushunish uchun funktsional dasturlash haqida ozgina tushuncha bo’lishi kerak.
Funktsional tillardagi operatorlar ma’lumotlar tuzilishini o‘zgartirmaydi; ular chiqishda yangi ma’lumotlar tuzilmalarini yaratadilar. Eng muhimi, asl ma’lumotlarning o‘zi ham o‘zgarmaydi. Shunday qilib, map funktsiyasidan “jazosiz” foydalanishingiz mumkin, chunki bu sizning qimmatbaho saqlangan ma’lumotlaringizga zarar yetkazmaydi. Funktsional dasturlashning yana bir afzalligi shundaki, ma’lumotlar harakati yoki oqimini aniq nazorat qilishning hojati yo‘q. Bu foydali, chunki u dasturchini ma’lumotlarning chiqishi va joylashuvi ustidan aniq nazoratdan halos qiladi. Tarqatilgan muhitda ishlayotganingiz sababli, ma’lumotlar saqlanadigan joy bilan ishlash dahshatli tush bo‘lishi mumkin. map funktsiyasi bu bilan shug‘ullanadi. Vanihoyat, funktsional dasturlash dunyosida ma’lumotlar bilan ishlash tartibi ko‘rsatma emas. Shunga qaramay, bu vazifalar parallel ravishda bajariladigan hisoblash klasterida katta afzallikdir.
Xo‘sh, map funktsiyasidan aniq nimani kutish mumkin? U ro‘yxatning har bir elementiga (kalit-qiymat juftligi sifatida belgilangan) funktsiyani qo‘llaydi va yangi ro‘yxat yaratadi. Bir qator yoki so‘zlar ro‘yxatidagi belgilar sonini hisoblaydigan dastur yaratmoqchisiz. Quyidagi rasmiy kod emas; bu muammoning yechimini qanday yaratishni tasavvur qilishning bir usuli.
Ushbu muammoni hal qilishning usullaridan biri bu kirish ma’lumotlarini aniqlash va ro‘yxat yaratishdir: