Modul nomi: Katta ma’lumotlar tahliliga kirish (kirish kursi) Kurs haqida
Введение в аналитику больших массивов данных (Вводный курс) (1)
- Bu sahifa navigatsiya:
- 4-bob. MA’LUMOTLARNI SAQLASH
| Bir qator mezonlar bo'yicha Hadoop va Spark platformalari o'rtasidagi farqlar 63
| |||||||||||||||||||
|
| |||||||||||||||||||
|
|
|
|
|
|
|
|
| ||||||||||||
|
Mezon |
|
|
Hadoop |
|
|
Apache Spark |
| ||||||||||||
|
|
|
|
| ||||||||||||||||
|
Funktsional |
Tarqatish infratuzilmasini shakllantiradi |
Ruxsat beradi |
bajarish | ||||||||||||||||
|
|
umumiy ma'lumotlar: katta to'plamlar |
har xil |
operatsiyalar | ||||||||||||||||
|
|
lar |
ma'lumotlar |
orasida taqsimlanadi |
yuqorida |
tarqatilgan | ||||||||||||||
|
|
ko'p |
hosil qiluvchi tugunlar |
ma'lumotlar to'plamlari | ||||||||||||||||
|
|
standart serverlar klasteri, |
lekin ta'minlamaydi | |||||||||||||||||
|
|
bu ixtisoslashtirilgan sotib olishni talab qilmaydi |
tarqatilgan |
ma'bad | ||||||||||||||||
|
|
rovanny uskunalari, indekslangan |
fikrlar |
|
|
| ||||||||||||||
|
|
ruet va ma'lumotlar holatini nazorat qiladi |
|
|
|
|
| |||||||||||||
|
|
nyh, qaysi ularni qayta ishlash va tahlil qiladi |
|
|
|
|
| |||||||||||||
|
|
liz samaraliroq |
|
|
|
|
|
|
| |||||||||||
|
Foydalanish |
Hadoop shuningdek kompozitsiyani o'z ichiga oladi . |
Foydalanish mumkin | |||||||||||||||||
|
|
nent |
saqlash |
Hadoop |
tarqatilgan |
Hadoopsiz , lekin yo'q | ||||||||||||||
|
|
Fayl tizimi va ishlov berish komponenti |
Shaxsiy |
tizimlari | ||||||||||||||||
|
|
MapReduce , |
shunday |
qayta ishlash |
boshqaruv |
fayllar, | ||||||||||||||
|
|
Sparksiz amalga oshirilishi mumkin |
|
shuning uchun kerak | ||||||||||||||||
|
|
|
|
|
|
|
|
HDFS bilan integratsiya , | ||||||||||||
|
|
|
|
|
|
|
|
yoki boshqasi bilan | ||||||||||||
|
|
|
|
|
|
|
|
bulutli |
platforma | |||||||||||
|
|
|
|
|
|
|
|
ma'lumotlarni saqlash |
| |||||||||||
|
Tezlik |
Qadam tufayli sekinroq ishlaydi |
Ishlash |
tezroq shunday | ||||||||||||||||
|
ish |
vogo |
tartib |
qayta ishlash |
ichida |
Qanaqasiga |
faoliyat yuritadi |
hamma | ||||||||||||
|
|
MapReduce |
|
|
|
|
o'rnatish |
ma'lumotlar |
Qanaqasiga | |||||||||||
|
|
|
|
|
|
|
|
biri sifatida |
| |||||||||||
|
Barqarorlik |
Tizim nosozliklariga chidamli |
Keyin tiklanish | |||||||||||||||||
|
halokatlarga |
har biridan keyin qancha |
muvaffaqiyatsizliklar |
o'tkazildi | ||||||||||||||||
|
|
operatsiya ma'lumotlari yoziladi |
Rahmat |
bunga |
nima | |||||||||||||||
|
|
disk |
|
|
|
|
|
ob'ektlar |
ma'lumotlar |
ma'bad | ||||||||||
|
|
|
|
|
|
|
|
nyatsya |
ichida |
tarqatilgan | ||||||||||
|
|
|
|
|
|
|
|
ichida nyh | ||||||||||||
|
|
|
|
|
|
|
|
stera to'plamlari |
| |||||||||||
|
Analitik |
Kutubxonasi yo'q |
mashina |
O'z ichiga oladi | ||||||||||||||||
|
imkoniyatlar |
o'rganish bilan bog'lanishi kerak |
mashina kutubxonalari | |||||||||||||||||
|
|
Uchinchi tomon kutubxonasi kabi |
o'rganish - MLib |
| ||||||||||||||||
|
|
Apache Mahout bilan |
|
|
|
|
|
|
|
| ||||||||||
Hadoop va Apache Spark haqida bilishingiz kerak bo'lgan besh narsa [Elek-
taxt resursi]. URL: https://www.osp.ru/news/articles/2015/49/13048137 (nashr qilingan sanasi)
aylanish: 21.06.2020).
44
Ba'zan Hadoop va Spark platformalari ustunlikka intilayotgan raqobatchilar sifatida ko'riladi, lekin aslida ular emas. Ular bir-biriga mos keladigan funktsiyalarga ega, ikkala platforma ham notijorat mahsulotlardir.
Bularning barchasi ma'lum bir kompaniyaning ehtiyojlariga bog'liq. Agar kompaniyaning katta ma'lumotlari faqat katta hajmdagi yuqori darajada tuzilgan ma'lumotlardan (mijozlarning nomlari va manzillari kabi) iborat bo'lsa, Spark tomonidan taqdim etilgan ilg'or oqim tahlili va mashinani o'rganish funksiyasi umuman kerak emas 64 . Hadoop platformasi tanlangan .
Ikkala texnologiyadan biri (Hadoop va Spark) boshqasiga murojaat qilmasdan alohida ishlatilishi mumkin. Biroq, Spark texnologiyasi Hadoop uchun mo'ljallangan , shuning uchun ko'p odamlar ularni birgalikda ishlatish yaxshiroq deb o'ylashadi 65 . Ular bir-birini to‘ldiradi, degan qarashlar haligacha hukmronlik qilayotgani bejiz emas.
olganda, Big Data texnologiyalarining rivojlanishi tufayli yangi texnologiyalar, sun'iy intellekt va chuqur o'rganish sohasidagi so'nggi yutuqlarga erishish mumkin bo'ldi, bu esa mashinalarga bir necha yil oldin mutlaqo imkonsiz bo'lib tuyulgan vazifalarni bajarishga imkon berdi.
Katta ma'lumotlar tizimini ishonchli ma'lumotlarni saqlash va tegishli texnologiyalarsiz qurish mumkin emas 66 .
Spark yoki Hadoop - Big Data uchun qaysi platforma yaxshiroq?
Hadoop va Apache Spark haqida bilishingiz kerak bo'lgan besh narsa.
Katta ma'lumotlar - katta ma'lumotlar tizimlari nima?
45
4-bob. MA’LUMOTLARNI SAQLASH:
EVOLUTSIYA VA UMUMIY ASOSLAR
Katta ma'lumotlar va ma'lumotlar omborlari
80-yillarning boshi. 20-asrda, ro'yxatga olish axborot tizimlarining jadal rivojlanishi davrida, ma'lumotlarni tahlil qilish va qarorlarni qo'llab-quvvatlash tizimlarini qurish uchun ularni qo'llash cheklovlari haqida xabardorlik mavjud edi. Menejerlar va tahlilchilarga quyidagilarga imkon beradigan tizimlar kerak edi: ma'lumotni vaqt nuqtai nazaridan tahlil qilish, tizimga o'zboshimchalik bilan so'rovlarni shakllantirish, katta hajmdagi ma'lumotlarni qayta ishlash, turli xil ro'yxatga olish tizimlaridan ma'lumotlarni integratsiyalash (ma'lumotlar odatda bitta tashkilot ichidagi ko'plab turli ma'lumotlar bazalarida saqlanadi). .
Amaldagi qayd qilish tizimlari ushbu talablarning birortasiga ham javob bermadi: bunday tizimdagi ma'lumotlar faqat ma'lumotlar bazasiga kirish paytida tegishli bo'ladi va keyingi vaqtda bir xil so'rov butunlay boshqacha natija berishi mumkin. Ro'yxatga olish tizimlarining interfeysi qat'iy belgilangan operatsiyalarni bajarish uchun mo'ljallangan va vaqtinchalik so'rov uchun natijalarni olish imkoniyati juda cheklangan. Yirik ma'lumotlar massivlarini qayta ishlash imkoniyatlari, shuningdek, DBMS qisqa tranzaksiyalarni bajarish uchun tuzilgan 67 tufayli kichik edi . Ma'lumotlar bazalari ma'lumotlarni saqlash va olish uchun optimallashtirilgan
tanlash, kiritish, yangilash va o'chirish kabi oddiy operatsiyalar .
Ma'lumotlar tahlili uchun kompaniyalarga turli xil ma'lumotlar bazalaridagi ma'lumotlarni birlashtiradigan va muvofiqlashtiradigan va yanada murakkab tahlillarni osonlashtiradigan texnologiya kerak edi. Ushbu biznes muammosini hal qilish ma'lumotlar omborlarining paydo bo'lishiga olib keldi 68 .
Download 1.56 Mb.
Do'stlaringiz bilan baham:
