Modul nomi: Katta ma’lumotlar tahliliga kirish (kirish kursi) Kurs haqida

3-bob. BIG DATA TEXNOLOGIYALARI

1. 
   Katta ma'lumotlar bilan ishlash texnologiyasining shakllanishi XX asrning 90-yillari oxirlarida. Ko'pgina tashkilotlar duch kelmoqda
   

Mavjud IT -yechimlar RAM chegaralaridan ancha oshib borayotgan ma'lumotlar oqimini engish uchun endi etarli emas edi. Axborotni saqlash va tahlil qilishning yangi texnologiyalari talab qilindi (5-rasm).


Guruch. 5. Mehnat texnologiyalarini ishlab chiqish uchun zarur shart-sharoitlar


katta ma'lumotlar bilan


Katta hajmdagi ma'lumotlar bilan ishlashda, resurslar tugashi bilan, ikkita mumkin bo'lgan yechim mavjud: vertikal yoki gorizontal masshtablash.


Vertikal o'lchovdan foydalanganda , mashinaga ko'proq ishlov berish quvvati qo'shiladi (masalan, narxda

33

tral protsessor, operativ yozuvchi). Gorizontal masshtablash ish yukini tarqatish uchun bir xil quvvatga ega ko'proq mashinalarni qo'shadi.


Vertikal masshtabni boshqarish va boshqarish gorizontal masshtabga qaraganda osonroq va nisbatan kichik muammolarni hal qilishda samarali ekanligi isbotlangan. Biroq, gorizontal o'lchov odatda katta vazifani bajarishda vertikal masshtabga qaraganda arzonroq va tezroq bo'ladi.


Katta hajmdagi ma'lumotlar paydo bo'lgan vaqtga kelib, vertikal miqyoslash endi biznes ehtiyojlarini qondirmaydi. Kompaniyalar xatolarga chidamli va gorizontal darajada kengaytiriladigan texnologiyalarga muhtoj edi.


Bir vaqtning o'zida Google tomonidan yaratilgan va gorizontal miqyosga asoslangan MapReduce algoritmi ⁴⁸ biznes so'roviga javob bo'ldi.