Big data tahlili

Nazorat savollari:

1. 
   Taqsimlangan hisoblash uchun qaysi mamlakatning ilgʻor tadqiqot loyihalari asosoda yaratilgan?
   

2. Uzoq masofadagi kompyuterga topshiriq joʻnatish uchun ishlatiladigan va topshiriqni davom ettirishdan oldin masofadan ishlashni kutishni talab qiladigan sodda mexanizmga nima deyiladi?
3. Apparat va dasturiy ta’minotning asosiy yutuqlari haqida ma’lumot bering?
4. Ma’lumotlarni boshqarish kechikish bilan bogʻliq muammolar haqida tushincha bering?
5. Katta ma’lumotlar muhitida tugunlar odatda nimalarni ta’minlash uchun birlashadilar?
6. Analitik vazifalarni bajarish uchun nimalarni optimallashtirilishi kerak?
7. Katta hajmdagi ma’lumotlarning oʻlchamliligini bilish uchun yana nimalarga e’tibor berish va tushunish kerak boʻladi?
8. Taqsimlangan hisoblash asoslari haqida ma’lumot bering?

2-BOʻLIM

KATTA MA’LUMOTLAR UCHUN TEXNOLOGIYALAR

4-BOB.

KATTA MA’LUMOTLAR TEXNOLOGIYASINING TARKIBIY QISMLARI

Ushbu bobda

• 
  Katta ma’lumotlar toʻplami;
  
• 
  Ortiqcha fizik infratuzilma;
  
• 
  Xavfsizlik infratuzilmasi;
  
• 
  Ilovalar ichidagi va tashqarisidagi interfeyslar va kanallar;
  
• 
  Operatsion ma’lumotlar bazalari;
  
• 
  Ma’lumotlar va vositalar xizmatlarini tashkil etish;
  
• 
  Analitik ma’lumotlar omborlari;
  
• 
  Katta analitika;
  
• 
  Katta ma’lumotlar uchun ilovalar.
  

Birinchi bir necha boblarda muhokama qilinganidek, katta ma’lumotlar juda katta va koʻpincha juda tezkor ma’lumotlar oqimlari boʻlib, ular juda koʻp turli xil ma’lumotlar turlariga ega. Koʻpgina tajribali me'morlar va dasturiy ta’minot ishlab chiqaruvchilari ushbu vaziyatlardan birini yoki hatto ikkitasini qanday qilib osonlikcha hal qilishni biladilar. Masalan, siz xatolarga bardoshlik talablari bilan katta miqdordagi tranzaksiya ma’lumotlariga duch kelsangiz, juda tez tarmoq infratuzilmasiga ega ma’lumotlar markazida ortiqcha relyatsion ma’lumotlar bazasi klasterlarini joylashtirishingiz mumkin. Xuddi shu tarzda, agar siz koʻplab taniqli va noma’lum manbalardan turli xil ma’lumotlarni birlashtirmoqchi boʻlsangiz, sizning tanlovingiz maxsus ma’lumotlar doʻkonini boshqaradigan kengaytiriladigan metamodelni yaratish boʻlishi mumkin.
Ammo, siz katta ma’lumotlarning birmuncha dinamik dunyosida aniq joylashuvlarni yaratish imkoniga ega boʻlmagandirsiz. Oʻzingiz egalik qiladigan va oʻzingizning ma’lumotlaringizni qattiq nazorat qiladigan dunyodan chiqib ketganda, ushbu turdagi gibrid muhitda ishlash uchun me'moriy modelni yaratishingiz kerak. Ushbu yangi muhit katta ma’lumotlarning dinamik xususiyatini va biznes yechimida bilimlarni qoʻllash zarurligini tushunadigan arxitekturani talab qiladi. Ushbu bobda biz katta ma’lumotlarning me’moriy jihatlarini oʻrganamiz. Shuningdek, biz 1-bobda tanishtirgan katta ma’lumotlar texnologiyalari toʻplamiga biroz chuqurroq kirib boramiz.

Katta ma’lumotlar toʻplami

Ma’lumotlarning har qanday muhim arxitekturasida boʻlgani kabi, barcha elementlarni bir-biriga qanday bogʻlash kerakligini har tomonlama koʻrib chiqadigan modelni ishlab chiqishingiz kerak. Dastlab biroz vaqt talab etilsa-da, koʻplab rivojlanish soatlarini tejashga imkon beradi va keyingi dasturlarda keraksiz muammolarni keltirib chiqaradi. Siz katta ma’lumotlarni loyiha emas, balki strategiya deb bilishingiz kerak.
Yaxshi dizayn tamoyillari katta ma’lumotlarni qoʻllab-quvvatlash uchun muhit yaratishda (yoki rivojlantirishda) juda muhimdir - bu saqlash, tahlil qilish, hisobot berish yoki ilovalar. Atrof-muhit apparatura, infratuzilma dasturlari, operatsion dasturiy ta’minot, boshqaruv dasturlari, aniq belgilangan dasturiy interfeyslar (API) va hattoki dasturiy ta’minotni ishlab chiqaruvchi vositalariga qoʻyiladigan talablarni hisobga olishi kerak. Sizning arxitekturangiz biz 1-bobda muhokama qilingan barcha asosiy talablarga javob berishi kerak:

• 
  Toʻplash
  
• 
  Integratsiyalash
  
• 
  Tartibga solish
  
• 
  Tahlil qilish
  
• 
  Harakat
  

4.1-rasm biz 1-bobda kiritgan qatlamli mos yozuvlar arxitekturasini taqdim etadi. U sizning katta ma’lumotlar loyihalaringiz uchun funktsional talablarga javob beradigan katta ma’lumotlar texnologiyalarini tushunish uchun asos sifatida ishlatilishi mumkin.

Bu murakkab toʻplamdir va siz dastlab oʻzingiz hal qilayotgan muayyan muammoga qarab aniq jihatlarga eʻtibor qaratishingiz mumkin. Biroq, kelajakka tayyor boʻlish uchun butun toʻplamni tushunish muhimdir. Siz, shubhasiz, yechilgan muammoga qarab turli xil stek elementlaridan foydalanasiz.

0-qatlam: Ortiqcha fizik infratuzilma

Stekning pastki qismida fizik infratuzilma apparat, tarmoq va boshqalar mavjud. Sizning kompaniyangiz allaqachon ma’lumotlar markaziga ega boʻlishi yoki fizik infratuzilmaga sarmoya kiritgan boʻlishi mumkin, shuning uchun siz mavjud aktivlardan foydalanish usulini topishni xohlaysiz. Katta ma’lumotni amalga oshirish mos yozuvlar arxitekturasining barcha elementlari uchun juda aniq talablarga ega, shuning uchun siz ushbu talablarni bosqichma-bosqich oʻrganib chiqishingiz va amalga oshirishingizni va sizning biznes talablaringiz darajasida boʻlishini ta’minlashingiz kerak. Katta ma’lumotlaringizni amalga oshirish haqida oʻylashni boshlaganingizda, ushbu yondashuvda qoʻllashingiz mumkin boʻlgan ba’zi umumiy tamoyillarga ega boʻlish muhimdir. Ushbu printsiplarning ustuvor roʻyxati quyidagilarni oʻz ichiga olishi kerak:

• 
  Amalga oshirish: tizim qanchalik sezgir boʻlishi kerak? Kechikish deb ham ataladigan amalga oshirish koʻpincha bitta bitim yoki soʻrov asosida boshidan oxirigacha oʻlchanadi. Juda tez (yuqori ishlash, past kechikish) infratuzilmalar odatda juda qimmatga tushadi.
  
• 
  Mavjudligi: Sizga 100% ish vaqti kerakmi? Xizmat toʻxtatilganda yoki ishlamay qolganda sizning biznesingiz qancha vaqt kutishi mumkin? Yuqori darajadagi infratuzilmalar ham juda qimmat.
  
• 
  Miqyosi: Sizning infratuzilmangiz qanchalik katta boʻlishi kerak? Bugun va kelajakda sizga qancha disk maydoni kerak boʻladi? Sizga qancha ishlov berish quvvati kerak? Odatda, sizga kerak boʻlgan narsani hal qilishingiz kerak va keyin kutilmagan muammolar uchun biroz koʻproq hajm qoʻshishingiz kerak.
  
• 
  Moslashuvchanlik: Siz infratuzilmangizga qancha tezroq qoʻshimcha manbalarni qoʻshishingiz mumkin? Sizning infratuzilma buzilishlardan qanchalik tez tiklanishi mumkin? Koʻpgina moslashuvchan infratuzilmalar qimmatga tushishi mumkin, ammo siz faqat oʻzingiz foydalangan narsalar uchun toʻlovni amalga oshirganingizda bulutli xizmatlar yordamida xarajatlarni boshqarishingiz mumkin (bulutli hisoblash haqida koʻproq ma’lumot olish uchun 6-bobga qarang).
  
• 
  Narxi: Siz nimani taqdim eta olasiz? Infratuzilma tarkibiy qismlar toʻplami boʻlganligi sababli, siz “yaxshiroq” tarmoqni sotib olishingiz va saqlashni tejashga qaror qilishingiz mumkin (yoki aksincha). Umumiy byudjet sharoitida ushbu sohalarning har biriga talablar qoʻyishingiz kerak, soʻngra kerak boʻlganda murosaga kelishingiz kerak.
  

Katta ma’lumotlarning barchasi yuqori tezlik, katta hajm va koʻp miqdordagi ma’lumotlarga tegishli boʻlganligi sababli, fizik infratuzilma soʻzma-soʻz amalga oshirishni “hal qiladi yoki buzadi”. Koʻpgina katta ma’lumotlar dasturlari mavjud boʻlishi kerak, shuning uchun tarmoqlar, serverlar va fizik xotira bardoshli va keraksiz boʻlishi kerak. Xatolarga bardoshlik va ortiqchalik oʻzaro bogʻliqdir. Infratuzilma yoki tizim ishlash uchun yetarli ortiqcha resurslar mavjud boʻlsa, buzilish yoki oʻzgarishga bardoshlidir. Darhaqiqat, hatto eng murakkab va nosozliklarga chidamli tarmoq ham ishlamay qolishi uchun har doim sabablar bor, masalan, apparatning ishlamay qolishi. Binobarin, ortiqcha yuklanish, bunday notoʻgʻri ishlash uzilishga olib kelmasligini taʻminlaydi.
Bardoshlilik sizning infratuzilmangizdagi yagona nosozliklarni bartaraf etishga yordam beradi. Masalan, agar sizning biznesingiz va Internet oʻrtasida faqat bitta tarmoq aloqasi mavjud boʻlsa, unda ortiqcha tarmoq yoʻq va infratuzilma tarmoq uzilishlariga bardoshli emas. Biznesning uzluksizligi talablariga ega boʻlgan yirik ma’lumotlar markazlarida ortiqcha ortiqcha mavjud boʻlib, ulardan katta ma’lumot muhiti yaratish uchun foydalanish mumkin. Yangi dasturlarda dizaynerlar xarajatlarni va ishlash koʻrsatkichlarini hisobga olgan holda joylashishni biznes ehtiyojlariga moslashtirish uchun javobgardirlar.
Koʻproq yetkazib beruvchilar bulutli platformalarni taklif qilar ekan, apparat infratuzilmasini loyihalash uchun javobgarlik koʻpincha ushbu xizmat koʻrsatuvchi provayderlarga tegishli.
Bu shuni anglatadiki, texnik va ekspluatatsiya murakkabligi xizmatlar toʻplami orqasida yashiringan boʻlib, ularning har biri ishlash, mavjudlik, tiklanish va boshqalar uchun oʻziga xos shartlarga ega. Ushbu shartlar xizmat koʻrsatish boʻyicha kelishuvlarda (SLA) tavsiflanadi va odatda xizmat koʻrsatuvchi provayder va mijoz oʻrtasida kelishib olinadi, bunga rioya qilmaslik uchun jarimalar qoʻllaniladi.
Masalan, siz boshqariladigan xizmat koʻrsatuvchi provayder bilan shartnoma tuzsangiz, siz fizik muhit va ma’lumotlar markazining asosiy tarkibiy qismlarining tashvishlarini nazariy jihatdan yoʻq qilasiz. Tarmoqlar, serverlar, operatsion tizimlar, virtualizatsiya matritsasi, kerakli boshqaruv vositalari va kundalik operatsiyalar sizning xizmat shartnomalaringizga kiritilgan. Bu virtual ma’lumotlar markazini samarali ravishda yaratadi. Ushbu yondashuv bilan ham, siz mavjud boʻlgan xizmat takliflaridan eng yaxshi tanlovni tanlashingiz uchun siz katta ma’lumotlarni joylashtirishni yaratish va ishga tushirish uchun nima kerakligini bilishingiz kerak. SLA-ga qaramay, sizning tashkilotingiz ishlash uchun toʻliq javobgar boʻlib qoladi.