Axborot texnologiyalari va kommunikatsiyalarni

Hadoopning qisqacha tarixi
Hadoop Dug Cutting tomonidan yaratilgan - Apache yaratuvchisi Lucene , keng qo'llaniladigan matn qidirish kutubxonasi. Hadoop Apache Nutch dan keladi o'zi Lucene loyihasining bir qismi bo'lgan ochiq manbali veb- qidiruv mexanizmi.
NOMNING KECHISI
Hadoop deb nomlang qisqartma emas. Loyiha yaratuvchisi Dag Cutting

Qidiruv tizimini boshidan boshlab yaratish nafaqat veb-saytlarni skanerlash va indeksatsiya qilish uchun dasturiy ta'minotni yozish qiyinligi, balki loyihani amalga oshirishning qiyinligi (u juda ¬ko'p "harakatlanuvchi qismlar" ni o'z ichiga oladi) tufayli katta maqsad edi. bag'ishlangan jamoa. Bundan tashqari, bu vazifa qimmatga tushdi: Mayk Kafarella va Dag Kettingning hisob-kitoblariga ko'ra, milliard sahifalar uchun indeksni saqlash uchun tizimni o'rnatish yarim million dollarga tushadi va oyiga 30 000 dollar turadi . Shunga qaramay, ular maqsadga arziydi, deb ishonishdi, chunki natija qidiruv tizimi algoritmlarini kashf qilish va favqulodda demokratlashtirish bo'ladi.

Nutch loyihasi 2002 yilda ishga tushirilgan. Ishlaydigan brauzer va qidiruv tizimi juda tez paydo bo'ldi. Biroq, ishlab chiquvchilar ularning arxitekturasi ¬milliardlab veb-sahifalarni qamrab olmasligini tushunishdi. Yordam 2003 yilda GFS arxitekturasini tavsiflovchi maqola chop etilganda keldi (Google File System) - haqiqiy Google loyihalarida ishlatilgan taqsimlangan fayl tizimi . GFS tizimi yoki shunga o'xshash narsa skanerlash va indekslash orqali yaratilgan juda katta fayllarni saqlash muammosini hal qiladi. Xususan, GFS tizimi saqlash tugunlarini boshqarish kabi ma'muriy vazifalarga vaqtni tejash imkonini beradi ¬. 2004 yilda ishlab chiquvchilar bunday tizimning ochiq kodli dasturini yozishga kirishdilar - NDFS (Nutch Distributed Filesystem).


AMALIY MASHG‘ULOT- 5


Mavzu: Apache Hadoop va Hadoop ekotizimlari


Ishning maqsadi: Hadoop ekotizimini o'rganish va loyihani ko'rib chiqish.

Hadoop paytida ko'pincha MapReduce bilan bog'liq va taqsimlangan fayl tizimi ( HDFS , ilgari NDFS ), bu atama ko'pincha taqsimlangan hisoblash infratuzilmasi va keng ko'lamli ma'lumotlarni qayta ishlash bilan birlashtirilgan o'zaro bog'liq loyihalarning butun oilasiga ishora qiladi.

Ushbu kitobda yoritilgan barcha asosiy loyihalar Apache fondi tomonidan boshqariladi. Dasturiy ta'minot ¬_ Foundation , ochiq manbali loyiha hamjamiyatini qo'llab-quvvatlaydi, shu jumladan nomi olingan asl HTTP serveri. Hadoop ekotizimining kengayishi bilan Yangi loyihalar Apache nazorati ostida emas , balki Hadoop -ning qo'shimcha xususiyatlarini ta'minlaydi yoki asosiy funksionallik asosida yuqori darajadagi abstraksiyalarni shakllantirish.
Quyida kitobda yoritilgan Hadoop loyihalari haqida qisqacha ma’lumot berilgan.
Common — taqsimlangan fayl tizimlari va umumiy kiritish-chiqarish uchun komponentlar va interfeyslar to‘plami ¬(seriyalashtirish, Java RPC , ma'lumotlar tuzilmalari).