Ma‘lumotlarni taqsimlangan qayta ishlash. Ma’lumotlarni taqsimlangan qayta ishlash. Zamonaviy taqsimlangan ma’lumotlar bazasinii arxitekturasi

MapReduce aslida qanday ishlaydiAvvalo, butun xarita va qisqartirish jarayoni kalit/qiymat juftliklaridan foydalanishga bog'liq. Xaritachilar aynan shu maqsadda.Xarita bosqichida kirish ma'lumotlari, masalan, fayl yuklanadi va kalit/qiymat juftliklariga aylanadi.Har bir xarita bosqichi tugagach, yaratilgan kalit/qiymat juftlarini kalit bo'yicha saralanadigan reduktorlarga yuboradi. Bu shuni anglatadiki, kamaytirish bosqichi uchun kirish yozuvi barchasi bir xil kalitga ega bo'lgan xaritachilarning qiymatlari ro'yxatidir.Keyin kamaytirish bosqichi ushbu kalit va uning qiymatlarini hisoblash va natijalarni chiqarishdir.Qancha mapper va reduktorlardan parallel ravishda foydalanish mumkin? Parallel xaritalar soni va jarayonlarni qisqartirish sizning klasteringizda qancha CPU yadrolari mavjudligiga bog'liq. Har bir xaritachi va har bir reduktor bitta yadrodan foydalanadi.

MapReduce aslida qanday ishlaydiAvvalo, butun xarita va qisqartirish jarayoni kalit/qiymat juftliklaridan foydalanishga bog'liq. Xaritachilar aynan shu maqsadda.Xarita bosqichida kirish ma'lumotlari, masalan, fayl yuklanadi va kalit/qiymat juftliklariga aylanadi.Har bir xarita bosqichi tugagach, yaratilgan kalit/qiymat juftlarini kalit bo'yicha saralanadigan reduktorlarga yuboradi. Bu shuni anglatadiki, kamaytirish bosqichi uchun kirish yozuvi barchasi bir xil kalitga ega bo'lgan xaritachilarning qiymatlari ro'yxatidir.Keyin kamaytirish bosqichi ushbu kalit va uning qiymatlarini hisoblash va natijalarni chiqarishdir.Qancha mapper va reduktorlardan parallel ravishda foydalanish mumkin? Parallel xaritalar soni va jarayonlarni qisqartirish sizning klasteringizda qancha CPU yadrolari mavjudligiga bog'liq. Har bir xaritachi va har bir reduktor bitta yadrodan foydalanadi.

Bu shuni anglatadiki, sizda qanchalik ko'p protsessor yadrolari mavjud bo'lsa, qancha ko'p mapperlardan foydalanishingiz mumkin bo'lsa, chiqarish jarayoni shunchalik tez amalga oshirilishi mumkin. Qanchalik ko'p reduktorlardan foydalansangiz, haqiqiy hisoblash tezroq amalga oshiriladi.