Kerakli xizmatlarni qanday ishga tushirish va virtual mashina ichida hamma narsa ishlayotganligini tekshirish

3) R va Hadoop Streaming

Hadoop Streaming API foydalanuvchilarga Hadoop MapReduce ishlarini har qanday bajariladigan skript bilan ishlatish imkonini beradi, u standart kirishdan ma'lumotlarni o'qiydi va ma'lumotlarni standart chiqishga mapper yoki reduktor sifatida yozadi. Shunday qilib, Hadoop Streaming API xaritada R dasturlash skriptlari bo'ylab ishlatilishi yoki bosqichlarni qisqartirishi mumkin. R ni integratsiyalashning ushbu usuli, Hadoop mijoz tomonidan integratsiyani talab qilmaydi, chunki oqim ishlari Hadoop buyruq satri orqali ishga tushiriladi. Taqdim etilgan MapReduce ishlari UNIX standart oqimlari orqali maʼlumotlarni oʻzgartiradi va dasturchi tomonidan taqdim etilgan kiritish skriptining tilidan qatʼi nazar, Java shikoyatini Hadoopʼga kiritishni taʼminlash uchun serializatsiya qilinadi.
Quyidagi sintaksis Hadoop MapReduce ramkasi yordamida ma'lumotlarni qayta ishlash uchun R-da yozilgan MapReduce kodlarini ishga tushirish uchun ishlatilishi mumkin.
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar
-input InputDirLocation \
-output OutputDirLocation \
-mapper /bin/cat \
-reducer /usr/bin/wc
Qayerda:
InputDirLocation - xarita funksiyasi uchun kirish katalogining joylashuvi
OutputDirLocation - qisqartirish funktsiyasi uchun chiqish katalogining joylashuvi
/bin/cat \ - xarita funksiyasi uchun R bajariladigan skript
/usr/bin/wc - kamaytirish funksiyasi uchun R bajariladigan skript
Hadoop Streaming quyidagi tarzda ishlaydi:

• 
  Mapper va reduktor funktsiyalarining bajariladigan fayllari stdin dan kiritilgan ma'lumotlarni satr bo'yicha o'qiydi va stdout ga chiqishni yaratuvchi skriptlardir.
  
• 
  Hadoop Streaming Xarita/Kamaytirish ishini yaratadi va uni klasterga topshiradi, shu bilan birga u tugaguniga qadar ishning borishini kuzatib boradi.
  
• 
  Mapper ishga tushirilganda har bir xaritalash vazifasi xaritachilar uchun alohida jarayon sifatida belgilangan R skriptini ishga tushiradi.
  
• 
  Xaritachi vazifasi kirishni kalit-qiymat juftligi sifatida qabul qiladi va uni chiziqlarga aylantiradi va keyin bu o'zgartirilgan chiziqlarni jarayonga standart kirish sifatida itaradi. Xaritachi standart chiqishdan olingan natijalarni to'playdi, ular endi chiziqqa yo'naltirilgan va ularni kalit-qiymat juftligiga aylantiradi. Kalit-qiymat juftlari xaritalash natijasi sifatida yig'iladi.
  
• 
  Har bir reduktor vazifasi reduktor ishga tushirilganda alohida jarayon sifatida belgilangan R reduktor skriptini ishga tushiradi.
  
• 
  Reduktor ishlaydi, kirish kalit-qiymat juftlarini oladi va ularni chiziqlarga aylantiradi. Keyin chiziqlar jarayonning standart kirishiga beriladi.