Axborot texnologiyalari va kommunikatsiyalarni

AMALIY MASHG‘ULOT- 6


Mavzu: Hadoop-da ma'lumotlarni tahlil qilish


Ishning maqsadi: o'rganish Hadoop'da parallel ishlov berishning afzalliklari .

Hadoop biz uchun ochadigan parallel ishlov berishning afzalliklaridan foydalanish uchun so'rovni ¬MapReduce ishi sifatida ko'rsatishimiz kerak . Mahalliy, kichik miqyosdagi testlardan so'ng, biz bu ishni kompyuter klasterida bajarishimiz kerak.

Xarita va konvolyutsiya
MapReduce qanday ishlaydi ma'lumotlarni qayta ishlashni ikki bosqichga bo'lishga asoslangan: xaritalash bosqichi (xarita) va konvolyutsiya bosqichi (kamaytirish ). Har bir bosqich kirish va chiqish ma'lumotlari sifatida kalit-qiymat juftliklaridan foydalanadi, ularning turlari dasturchi tomonidan tanlanadi. Dasturchi ikkita funktsiyani ham belgilaydi: xaritalash funktsiyasi va konvolyutsiya funktsiyasi.
Displey funktsiyasi oddiy. Biz yil va havo haroratini ajratib olamiz, chunki bizni faqat shu maydonlar qiziqtiradi. Bunday holda, displey funktsiyasi ¬faqat ma'lumotlarni yig'ish funktsiyasi o'z vazifasini bajarishi uchun foydalanishga tayyorlaydi: har bir yil uchun maksimal haroratni aniqlash. Displey funktsiyasi keraksiz yozuvlarni istisno qilish uchun juda mos keladi: etishmayotgan, shubhali yoki noto'g'ri harorat qiymatlari bu erda filtrlanadi.
Xaritalash funktsiyasi qanday ishlashi haqida tasavvurga ega bo'lish uchun bir necha qator kiritishni ko'rib chiqing (joyni tejash uchun foydalanilmagan ustunlar ellips bilan ko'rsatilgan):
MapReduce dasturi Java tilida
Shunday qilib, biz MapReduce dasturi qanday ishlashini aniqladik . Keyingi qadam uning dastur kodi shaklida ifodalanishi bo'lishi kerak. Bizga kerak: displey funktsiyasi, yig'ish funktsiyasi va ishni bajarish kodi. Xaritalash funktsiyasi mavhum xarita () usulini e'lon qiladigan Mapper sinfi bilan ifodalanadi . Xarita usulini amalga oshirish 2.3 ro'yxatda ko'rsatilgan .
Mapper sinfi parametrlangan; uning to'rt turdagi parametrlari ¬xaritalash funktsiyasining kirish kaliti, kirish qiymati, chiqish kaliti va chiqish qiymatining turlarini belgilaydi. Joriy misolda kiritish tugmasi uzun butun sonning ofsetidir, kirish qiymati matn qatori, chiqish tugmasi yil va chiqish qiymati havo harorati (butun son). O'rnatilgan Java turlaridan foydalanish o'rniga Hadoop tarmoqni ketma-ketlashtirish uchun optimallashtirilgan mahalliy baza turlarini taqdim etadi. Ular paketida