Matematika va informatika fakulteti amaliy matematika va informatika kafedrasi

MapReduce – bosqichlari- Ko`rsatish bosqichi (Map)- hujjatlar kalit-qiymat juftliklariga bo'lingan. Yig'ish amalga oshirilishidan oldin ma'lumotlarda ko'plab dublikatlar bo'ladi. Aniqlash bosqichi (Reduce) - umuman olganda SQl ni Group By konstruktsiyasiga o'xshaydi. Turli xil noyob misollar birlashtiriladi va yig'ish funktsiyasiga qarab, turli natijalarga erishish mumkin. Bunday holda, siz har bir rangning takrorlanish sonini olishingiz kerak, shuning uchun aniqlash funktsiyasi qaytariladi. MapReduce ni haqli ravishda Big Dataning asosiy texnologiyasi deb atash mumkin, chunki. u dastlab taqsimlangan klasterlarda parallel hisoblashga qaratilgan. MapReduce-ning mohiyati ma'lumotlar massivini qismlarga bo'lishdan, har bir qismni alohida tugunda parallel ravishda qayta ishlashdan va nihoyat barcha natijalarni birlashtirishdan iborat.MapReduce-dan foydalanadigan dasturlar avtomatik ravishda parallellashtiriladi va klasterning taqsimlangan tugunlarida bajariladi, ijro etuvchi tizimning o'zi esa amalga oshirish tafsilotlari bilan shug'ullanadi (kiritilgan ma'lumotlarni qismlarga bo'lish, klaster tugunlari bo'yicha vazifalarni taqsimlash, nosozliklarni hal qilish va taqsimlangan kompyuterlar o'rtasidagi aloqa). Buning yordamida dasturchilar taqsimlangan Big Data tizimlarining resurslaridan oson va samarali foydalanishlari mumkin.Texnologiya deyarli universaldir: u veb-kontentni indekslash, katta fayldagi so'zlarni hisoblash, berilgan manzilga kirish chastotasiga qarshi turish, ma'lum bir xost-saytning har bir URL manzilidan barcha veb-sahifalar hajmini hisoblash, yaratish uchun ishlatilishi mumkin. kerakli ma'lumotlarga ega bo'lgan barcha manzillar ro'yxati va tarqatilgan ma'lumotlarning katta massivlarini qayta ishlashning boshqa vazifalari. Shuningdek, MapReduce-ni qo'llash sohalariga ma'lumotlarni taqsimlangan qidirish va saralash, veb-havola grafigini o'zgartirish, tarmoq jurnali statistikasini qayta ishlash, teskari indekslarni yaratish, hujjatlarni klasterlash, mashinani o'rganish va statistik mashina tarjimasi kiradi. MapReduce shuningdek, ko'p protsessorli tizimlar, ixtiyoriy hisoblashlar, dinamik bulut va mobil muhitlar uchun moslashtirilgan .