Axborot texnologiyalari va kommunikatsiyalarni

Avro - samarali tillararo RPC qo'ng'iroqlarini amalga oshirish uchun ketma-ketlashtirish tizimi¬ va uzoq muddatli ma'lumotlarni saqlash.
MapReduce — tarqalgan maʼlumotlarni qayta ishlash modeli va tipik mashinalarning katta klasterlarida ishlaydigan ijro muhiti.
HDFS – standart mashinalarning katta klasterlarida ishlaydigan taqsimlangan fayl tizimidir.
Pig – juda katta ma'lumotlar to'plamini tahlil qilish uchun ma'lumotlar oqimini boshqarish tili va ish vaqti. Pig HDFS da ishlaydi va MapReduce klasterlari .
Hive — taqsimlangan maʼlumotlarni saqlash. uyasi HDFS - da saqlangan ma'lumotlarni boshqaradi va SQL-ga asoslangan so'rovlar tilini ta'minlaydi (ular ish vaqti mexanizmi tomonidan MapReduce jobs ga aylantiriladi ) ushbu ma'lumotlar bilan ishlash uchun.
HBase - taqsimlangan ustunga yo'naltirilgan ma'lumotlar bazasi. HBase HDFS ¬_ dan foydalanadi ma'lumotlarni saqlashni tashkil qilish uchun va MapReduce va nuqta so'rovlari (ma'lumotlarni o'zboshimchalik bilan o'qish) yordamida har ikkala paketli hisob-kitoblarni qo'llab-quvvatlaydi.
ZooKeeper — yuqori darajada mavjud bo'lgan taqsimlangan muvofiqlashtirish xizmati. ZooKeeper taqsimlangan ilovalarni yaratish uchun ishlatilishi mumkin bo'lgan primitivlarni taqdim etadi ¬(masalan, taqsimlangan qulflar).
Sqoop – tuzilgan do'konlar (masalan, aloqador ma'lumotlar bazalari) va HDFS o'rtasida samarali ommaviy ma'lumotlarni uzatish vositasidir .
Oozie — Hadoop ishga tushirish va ishni rejalashtirish xizmati ( shu jumladan MapRe¬duce, Pig, Hive va Sqoop jobs ishlar ).
Hadoop nashrlari
Hadoop qaysi versiyasi foydalanishga arziydimi? Albatta, bu savolga javob ¬vaqt o'tishi bilan o'zgaradi va sizga qanday funksionallik kerakligiga bog'liq. Ushbu bo'limda so'nggi Hadoop relizlar seriyasining yuqori darajadagi xususiyatlari qisqacha tasvirlangan .
Bir nechta faol relizlar seriyasi mavjud. Seriya 1. x 0.20 versiyasining davomi bo'lib, ¬Hadoopning eng barqaror versiyalarini o'z ichiga oladi hozirdan ¬mavjud. Ushbu seriya Kerberos autentifikatsiyasini qo'llab-quvvatlashni o'z ichiga oladi, Hadoop ma'lumotlariga ruxsatsiz kirishning oldini olish (sm.
"Xavfsizlik", p. 419 ). Ishlab chiqarishdagi deyarli barcha klasterlar ¬ushbu versiyalar yoki hosilalardan foydalanadi (masalan, tijorat tarqatish).
Seriya 0.22 va 2. x 1 hali barqaror emas (2012 yil boshida), lekin bu vaqt o'tishi bilan o'zgarishi mumkin, chunki ular haqiqiy ishda yaxshiroq sinovdan o'tgan ( oxirgi holat ma'lumotlari uchun Apache nashri sahifalariga qarang) Hadoop ). Seriya 2.x _ bir qator muhim yangi xususiyatlarni o'z ichiga oladi:
MapReduce deb nomlangan yangi MapReduce ish vaqti haqida 2 ¬yangi YARN tizimiga asoslangan ( Hali Boshqa manba Negotiator - tarqatilgan ilovalar uchun umumiy resurslarni boshqarish tizimi. MapReduce 2 oldingi versiyalarning "klassik" ish vaqtini almashtiradi. MapReduce -ning batafsil tavsifi 2 YARN da berilgan ( MapReduce 2)" bet. 265 .
HDFS haqida federatsiya - HDFS nom maydonini bo'lish mexanizmi juda ko'p sonli fayllarga ega klasterlarni qo'llab-quvvatlash uchun nom tuguniga ko'ra. HDFS ga qarang _ Federatsiya " bet . 84 .
HDFS High Availability Engine haqida arxitekturadan nom tugunlari ko'rinishidagi yagona nosozlik nuqtalarini yo'q qiladi; buning uchun sog'liqni tiklashni ta'minlash uchun kutish nomi tugunlari saqlanadi. HDFS High Availability sahifasiga qarang . 85 .
Jadvalda. 1.2 faqat HDFS xususiyatlarini ko'rsatadi va MapReduce . Boshqa Hadoop ekotizim mahsulotlari ham doimiy ravishda rivojlanib boradi va birgalikda yaxshi ishlaydigan komponentlar to'plamini tanlash qiyin bo'lishi mumkin. Yaxshiyamki , bu ishni o'zingiz qilishingiz shart emas ¬.
Hadoop va Linux paketlarini taqdim etadi ( RPM va Debian paketlari ) oson o'rnatish uchun. Bundan tashqari, ba'zi tijorat firmalari Hadoop tarqatishlarini taklif qilishadi. mos keladigan komponentlar to'plami bilan.
Jadvalda. 5.2 faqat HDFS va MapReduce xususiyatlariga ega. Hadoop ekotizimidagi boshqa mahsulotlar ham doimiy ravishda rivojlanib bormoqda va birgalikda yaxshi ishlaydigan komponentlar to'plamini tanlash qiyin bo'lishi mumkin. Yaxshiyamki, bu ishni o'zingiz qilishingiz shart emas.
Hadoop va oson o'rnatish uchun Linux paketlarini (RPM va Debian paketlari) taqdim etadi. Shuningdek, ba'zi tijorat kompaniyalari Hadoop-ni mos keladigan komponentlar to'plami bilan tarqatishni taklif qilishadi.