Axborot texnologiyalari va kommunikatsiyalarni

AMALIY MASHG‘ULOT- 5


Mavzu: Apache Hadoop va Hadoop ekotizimlari


Ishning maqsadi: Hadoop ekotizimini o'rganish va loyihani ko'rib chiqish.

Hadoop paytida ko'pincha MapReduce bilan bog'liq va taqsimlangan fayl tizimi ( HDFS , ilgari NDFS ), bu atama ko'pincha taqsimlangan hisoblash infratuzilmasi va keng ko'lamli ma'lumotlarni qayta ishlash bilan birlashtirilgan o'zaro bog'liq loyihalarning butun oilasiga ishora qiladi.

Ushbu kitobda yoritilgan barcha asosiy loyihalar Apache fondi tomonidan boshqariladi. Dasturiy ta'minot ¬_ Foundation , ochiq manbali loyiha hamjamiyatini qo'llab-quvvatlaydi, shu jumladan nomi olingan asl HTTP serveri. Hadoop ekotizimining kengayishi bilan Yangi loyihalar Apache nazorati ostida emas , balki Hadoop -ning qo'shimcha xususiyatlarini ta'minlaydi yoki asosiy funksionallik asosida yuqori darajadagi abstraksiyalarni shakllantirish.
Quyida kitobda yoritilgan Hadoop loyihalari haqida qisqacha ma’lumot berilgan.
Common — taqsimlangan fayl tizimlari va umumiy kiritish-chiqarish uchun komponentlar va interfeyslar to‘plami ¬(seriyalashtirish, Java RPC , ma'lumotlar tuzilmalari).
Avro - samarali tillararo RPC qo'ng'iroqlarini amalga oshirish uchun ketma-ketlashtirish tizimi¬ va uzoq muddatli ma'lumotlarni saqlash.
MapReduce — tarqalgan maʼlumotlarni qayta ishlash modeli va tipik mashinalarning katta klasterlarida ishlaydigan ijro muhiti.
HDFS – standart mashinalarning katta klasterlarida ishlaydigan taqsimlangan fayl tizimidir.
Pig – juda katta ma'lumotlar to'plamini tahlil qilish uchun ma'lumotlar oqimini boshqarish tili va ish vaqti. Pig HDFS da ishlaydi va MapReduce klasterlari .
Hive — taqsimlangan maʼlumotlarni saqlash. uyasi HDFS - da saqlangan ma'lumotlarni boshqaradi va SQL-ga asoslangan so'rovlar tilini ta'minlaydi (ular ish vaqti mexanizmi tomonidan MapReduce jobs ga aylantiriladi ) ushbu ma'lumotlar bilan ishlash uchun.
HBase - taqsimlangan ustunga yo'naltirilgan ma'lumotlar bazasi. HBase HDFS ¬_ dan foydalanadi ma'lumotlarni saqlashni tashkil qilish uchun va MapReduce va nuqta so'rovlari (ma'lumotlarni o'zboshimchalik bilan o'qish) yordamida har ikkala paketli hisob-kitoblarni qo'llab-quvvatlaydi.
ZooKeeper — yuqori darajada mavjud bo'lgan taqsimlangan muvofiqlashtirish xizmati. ZooKeeper taqsimlangan ilovalarni yaratish uchun ishlatilishi mumkin bo'lgan primitivlarni taqdim etadi ¬(masalan, taqsimlangan qulflar).