Hadoop Hadoop rivojlanish tarixi

7-MAVZU. Hadoop ekosistemasi


Reja:

1. Hadoop

2. Hadoop rivojlanish tarixi

3. Hadoop nimadan iboart: KONTSEPTUAL ARXITEKTURA

Hadoop - bu yuzlab yoki minglab tugunlardan iborat klasterlarda ishlaydigan taqsimlangan dasturlarni ishlab chiqish va bajarish uchun bepul qayta taqsimlanadigan yordamchi dasturlar, kutubxonalar va ramkalar to'plami. Big Data-ni saqlash va qayta ishlashning bu asosiy texnologiyasi Apache Software Foundation-ning yuqori darajali loyihasidir.

Hadup texnologiyasi deyarli 15 yil oldin paydo bo'lgan va doimo rivojlanib bormoqda. Keyin uning tarixining asosiy bosqichlari ko'rsatiladi:
2005-Google xodimlari Jeffrey Dean va Sanjay Gemawatning MapReduce hisoblash konsepsiyasi haqida e'lon qilinishi Spodvigl Doug Kattingni loyihani boshlash uchun. Java-da bepul dasturiy qidiruv tizimi uchun tarqatilgan hisoblash dasturiy infratuzilmasini yaratish uchun Dag Catting va Mayk Cafarella tomonidan ishlab chiqilgan. Uning nomi asoschisi o'yinchoq filining sharafiga loyiha edi [1]. Shuning uchun hadup norasmiy ravishda "temir fil" deb ataladi va uni bu hayvon shaklida tasvirlaydi.
2006-Yahoo kompaniyasi Kattingni tarqatilgan hisoblash infratuzilmasini rivojlantirish bo'yicha maxsus guruhni boshqarishga taklif qildi, buning natijasida Hadoop alohida loyihaga aylandi [1].
2008-Yahoo Apache Software Foundation loyihasi tizimining yuqori darajali loyihasi bo'lgan Hadoop bilan ishlaydigan 10 ming protsessor yadrosi uchun Klaster qidiruv vositasini ishga tushirdi. Ma'lumotlarni saralashda jahon rekordini qo'lga kiritdi: 209 soniyada 910 tugunlarining klasteri 1 Tbayt ma'lumotni qayta ishladi. Shundan so'ng texnologiya amalga oshirilmoqda Last.fm "Facebook", "New York Times", "Amazon EC2" bulut xizmatlari [1].
2010 - Google korporatsiyasi Apache Software Foundation-ga MapReduce texnologiyasidan foydalanish huquqini berdi. Hadoop asosiy katta ma'lumotlarni qayta ishlash va saqlash texnologiyasi (Big Data) sifatida joylashtirilgan. Hadoop ekotizimi shakllana boshladi: Avro, HBase, Hive, Pig, Zookeeper mahsulotlari paydo bo'ldi, ma'lumotlarni boshqarish va tarqatilgan ilovalarni boshqarish operatsiyalarini osonlashtiradi, shuningdek, axborotni tahlil qilish [1].
2011 – tarqalgan ma'lumotlarni saqlash va qayta ishlash uchun Universal yondashuv ("Shveytsariya pichoq XXI asr") uchun media guruhi Guardian yillik innovatsion mukofot olish [1]
2013-Hadoop 2.0 versiyasida YARN modulining ko'rinishi MapReduce paradigmasini sezilarli darajada kengaytirib, tarqatilgan tizimlarning ishonchliligi va o'lchamlarini oshiradi [
Hadoop nimadan iboart: KONTSEPTUAL ARXITEKTURA

Dastlab, loyiha MapReduce hisoblash paradigmasi doirasida Java-da ishlab chiqilgan bo'lib, dastur taqsimlangan kompyuterlarda (tugunlarda) amalga oshiriladigan va bitta natijaga kamaytiriladigan bir xil elementar vazifalarga bo'linadi

Loyiha asosiy 4 moduldan iborat:

1. 
   Hadoop umumiy-tarqalgan fayllarni boshqarish va kerakli infratuzilmani yaratish uchun boshqa echimlar va tegishli loyihalarda ishlatiladigan infratuzilma dasturiy kutubxonalari va kommunal xizmatlar to'plami
   
2. 
   HDFS - tarqalgan fayl tizimi, Hadoop taqsimlangan fayl tizimi-manzillar maxsus nom serverida (usta, NameNode) joylashgan turli xil ma'lumotlar serverlarida (tugunlar, DataNodes) fayllarni saqlash texnologiyasi [2]. Axborot birliklarining takrorlanishi (replikatsiyasi) tufayli HDFS hisoblash klasterining tugunlari orasida tarqalgan katta hajmdagi fayllarni ishonchli saqlashni ta'minlaydi
   
3. 
   YARN – MapReduce 2.0 (MRv2) deb ataladigan vazifalarni rejalashtirish va klasterni boshqarish tizimi (Yet Another Resource Negotiator) - tarqalgan ilovalarning birgalikda ishlashi, miqyosi va ishonchliligini ta'minlaydigan tizim dasturlari (Demonlar) to'plami [3]. Aslida, YARN Klaster apparat resurslari va hisoblash va ma'lumotlarni qayta ishlash uchun kuchini ishlatadigan ilovalar o'rtasidagi interfeysdir
   
4. 
   Hadoop MapReduce-klasterni tashkil etuvchi ko'plab kompyuterlar (tugunlar, nodlar) yordamida tarqalgan MapReduce-kompyuterlarni dasturlash va amalga oshirish platformasi.
   

Bugungi kunda Hadoop atrofida katta ma'lumotlarni qazib olish (Data Mining), shu jumladan kompyuterni o'rganish (mashinani o'rganish) uchun ishlatiladigan tegishli loyihalar va texnologiyalarning butun ekotizimi mavjud
HADOOP QAERDA VA NIMA UCHUN ISHLATILADI

Texnologiyani qo'llashning bir necha sohalari mavjud:

1. 
   Yuqori Yuklangan veb-saytlar va onlayn-do'konlarning qidirish va kontekst mexanizmlari (Yahoo!, Facebook, Google, AliExpress, Ebay va boshqalar), shu jumladan qidiruv so'rovlarini va maxsus loglarni tahlil qilish uchun;
   
2. 
   Katta hajmdagi ma'lumotlarni saqlash, saralash va juda katta fayllarning tarkibini tahlil qilish
   
3. 
   Grafik ma'lumotlarni tez qayta ishlash, masalan, gazeta Nyu-York Tayms yordamida hadup va Web Service Amazon Elastic Compute Cloud (EC2)faqat 36 soat aylantirildi 4 terabayt tasvirlar (TIFF rasmlar hajmi 405 kb, SGML-hajmi 3.3 MB maqolalar va XML fayllar hajmi 405 kb) PNG formatida hajmi 800 kb.
   

Источники

1. 
   https://ru.wikipedia.org/wiki/Hadoop
   
2. 
   https://m.habr.com/ru/post/240405/
   
3. 
   https://www.ibm.com/developerworks/ru/library/bd-hadoopyarn/index.html
   
4. 
   https://www.ibm.com/developerworks/ru/library/l-hadoop/index.html