Ma‘lumotlarni taqsimlangan qayta ishlash. Ma’lumotlarni taqsimlangan qayta ishlash. Zamonaviy taqsimlangan ma’lumotlar bazasinii arxitekturasi

MapReduce bilan taqsimlangan ishlov berish

Hadoop eko tizimining dastlabki kunlaridan boshlab MapReduce ramkasi Hadoop fayl tizimi HDFS bilan bir qatorda Hadoopning asosiy komponentlaridan biri hisoblanadi.

Google MapReduce-ni veb-saytlarning saqlangan HTML-kontentini barcha html teglarini va ularning barcha so'zlari va kombinatsiyalarini (masalan, sarlavhalar) hisoblash orqali tahlil qilish uchun amalga oshirdi. Natijada Google Qidiruv uchun sahifa reytingini yaratish uchun foydalanildi.

O'shanda hamma o'z veb-saytini Google qidiruvi uchun optimallashtirishni boshladi. Jiddiy qidiruv tizimini optimallashtirish amalga oshirildi. Bu 2004 yil edi.

Bizning muammomizga qaytish. Ma'lumotni ustaga qaytarib yuborish orqali yuzaga kelgan muammoni hal qilish qanday bo'ladi? MapReduce nima qiladi, u ma'lumotlarni ikki bosqichda qayta ishlaydi.Xarita bosqichi va kamaytirish bosqichi.Xarita bosqichida ramka HDFS ma'lumotlarini o'qiydi. Har bir ma'lumotlar to'plami kirish yozuvi deb ataladi.Keyin kamaytirish bosqichi bor. Qisqartirish bosqichida haqiqiy hisoblash amalga oshiriladi va natijalar saqlanadi. Saqlash maqsadi ma'lumotlar bazasi yoki orqa HDFS yoki boshqa narsa bo'lishi mumkin.Axir, bu Java - shuning uchun siz o'zingiz yoqtirgan narsani amalga oshirishingiz mumkin.

Bizning muammomizga qaytish. Ma'lumotni ustaga qaytarib yuborish orqali yuzaga kelgan muammoni hal qilish qanday bo'ladi? MapReduce nima qiladi, u ma'lumotlarni ikki bosqichda qayta ishlaydi.Xarita bosqichi va kamaytirish bosqichi.Xarita bosqichida ramka HDFS ma'lumotlarini o'qiydi. Har bir ma'lumotlar to'plami kirish yozuvi deb ataladi.Keyin kamaytirish bosqichi bor. Qisqartirish bosqichida haqiqiy hisoblash amalga oshiriladi va natijalar saqlanadi. Saqlash maqsadi ma'lumotlar bazasi yoki orqa HDFS yoki boshqa narsa bo'lishi mumkin.Axir, bu Java - shuning uchun siz o'zingiz yoqtirgan narsani amalga oshirishingiz mumkin.

MapReduce-ning sehri xarita va qisqartirish bosqichi qanday amalga oshirilganligi va ikkala bosqich qanday birga ishlashidir.Xarita va qisqartirish fazalari parallellashtirilgan. Buning ma'nosi shundaki, sizda bir nechta xarita fazalari (mappers) va klaster mashinalaringizda parallel ravishda ishlashi mumkin bo'lgan fazalarni (reduktorlar) kamaytirishingiz mumkin.