Ma‘lumotlarni taqsimlangan qayta ishlash. Ma’lumotlarni taqsimlangan qayta ishlash. Zamonaviy taqsimlangan ma’lumotlar bazasinii arxitekturasi

MapReduce IoT ma'lumotlari bilan qanday ishlaydi

MapReduce IoT ma'lumotlari bilan qanday ishlaydi

Quyidagi rasmda xarita va qisqartirish jarayoni qanday ishlashi ko'rsatilgan.

Birinchidan, xarita bosqichi kalit va qiymat (kalit: 2016-05-01 01:02:03, qiymat: 1) bo'yicha manbadan (masalan, HDFS) saralanmagan ma'lumotlarni (kirish yozuvlari) yuklaydi.

Keyin, maqsad kunlik o'rtacha ko'rsatkichlarni olish bo'lgani uchun, soat: daqiqa: soniya ma'lumotlari vaqt tamg'asidan kesiladi.

Bu xarita bosqichida sodir bo'ladigan barcha narsa, boshqa hech narsa emas.

Barcha parallel xarita bosqichlari bajarilgandan so'ng, har bir kalit/qiymat juftligi ushbu kalit uchun barcha qiymatlarni boshqaradigan bitta reduktorga yuboriladi.

Har bir reduktor kiritish yozuvida qiymatlar ro'yxati mavjud va siz (1+5+9)/3, (2+6+7)/3 va (3+4+8)/3 hisoblashingiz mumkin. Ana xolos.

O'rtacha daqiqalarni yaratish uchun nima qilish kerak deb o'ylaysiz?

Ha, siz kalitni boshqacha kesishingiz kerak. Keyin uni quyidagicha kesishingiz kerak bo'ladi: "2016-05-01 01:02". Kalitda soat va daqiqa ma'lumotlarini saqlash.

Ko'rib turganingizdek, nima uchun xaritani qisqartirish parallel ishlarni bajarish uchun juda yaxshi. Bunday holda, xarita bosqichi to'qqizta xaritachi tomonidan parallel ravishda amalga oshirilishi mumkin, chunki har bir xarita boshqalardan mustaqildir.

Ko'rib turganingizdek, nima uchun xaritani qisqartirish parallel ishlarni bajarish uchun juda yaxshi. Bunday holda, xarita bosqichi to'qqizta xaritachi tomonidan parallel ravishda amalga oshirilishi mumkin, chunki har bir xarita boshqalardan mustaqildir.

Qisqartirish bosqichi hali ham parallel ravishda uchta vazifa bilan bajarilishi mumkin. Har biri to'q sariq, ko'k va yashil uchun bitta.

Bu shuni anglatadiki, agar sizning ma'lumotlar to'plamingiz 10 baravar katta bo'lsa va sizda 10 marta mashinalar bo'lsa, hisob-kitob qilish vaqti bir xil bo'ladi.

Katta ma'lumotlar tizimlarini qanday masshtablash mumkin

Bunday Big Data tizimini masshtablash juda oson. Saqlash va qayta ishlash taqsimlanganligi sababli, klasterga ko'proq serverlar qo'shish kifoya.

Serverlarni qo'shish orqali siz mavjud disklar sonini, shuning uchun saqlash hajmini oshirasiz. Bu shuningdek, klasterning qayta ishlash qobiliyatini oshirish uchun ko'proq mavjud protsessorlarga olib keladi.