Kompyuter injiniring ” fakulteti Kompyuter injiniring

Ishning maqsadi: Taqsimlangan hisoblash muhitida katta ma'lumotlar to'plamlarini qayta ishlashni qo'llab – quvvatlash.
Hadoop texnologiyasi bir muncha vaqtdan beri katta ma'lumotlar bilan birgalikda muhokama qilinmoqda, biroq IT mutaxassislari haligacha texnologiya nimaga qodirligini yoki undan qanday foydalanishni to'liq bilishmaydi. Hadoop - bu taqsimlangan hisoblash muhitida katta ma'lumotlar to'plamlarini qayta ishlashni qo'llab-quvvatlaydigan bepul, Java-ga asoslangan dasturlash tizimi. Bu Apache Software Foundation homiyligidagi Apache loyihasining bir qismidir. Ochiq manbali Hadoop ramkasi Google'sMapReduce dasturiga asoslanadi va katta ma'lumotlar to'plamlarini granulyar darajada qayta ishlay oladi. U arzon narxlarda va yuqori tezlikda tahlillarni taklif etadi, ba'zi tahlilchilar bunga boshqa yo'l bilan erishib bo'lmaydi. Hadoop samaradorligining muhim qismi Hadoop taqsimlangan fayl tizimidir(HDFS), bu bitta klasterdagi turli tugunlar bo'ylab ma'lumotlarni qamrab olish orqali parallel ishlov berishga imkon beradi va xatolarga chidamlilikni ta'minlaydi. Biroq, HDFS foydalanuvchilar Hadoop texnologiyasi bilan bog'liq asosiy muammolardan birining manbai hisoblanadi: DataNode ishlamay qolsa yoki oflayn o'chirilgan taqdirda Hadoop har bir ma'lumotning uchta nusxasini saqlashi tufayli kengaytirilgan sig'im talablari. Ma'lumotlarni nusxalash va tarqatish jarayonini boshqaradigan har bir NameNode bitta nosozlik nuqtasi bo'lganligi sababli, bu o'zgartirishni sozlash zarur. Boshqa shikoyatlar Hadoop-ning Java ramkasidan kelib chiqadigan murakkab texnologiyaga ishora qiladi. Hadoop texnologiyasi bilan bog'liq to'siqlarga qaramay, tahlilchilar va foydalanuvchilar foyda bunga arziydi, deyishadi.
Hadoop nima?
Hadoop - bu katta ma'lumotlarni saqlash va boshqarish uchun taqsimlangan saqlash va parallel ishlov berishdan foydalanadigan ramka. Bu katta ma'lumotlar bilan ishlash uchun ma'lumotlar tahlilchilari tomonidan eng ko'p foydalaniladigan dasturiy ta'minot va uningbozor hajmi o'sishda davom etmoqda.Hadoop-ning uchta komponenti mavjud:

1. 
   Hadoop HDFS -Hadoop Distributed File System (HDFS)saqlash birligidir.
   
2. 
   Hadoop MapReduce -Hadoop MapReduceishlov berish birligidir.
   
3. 
   Hadoop YARN -Yana bir Resurs Muzokarachisi (YARN)- bu resurslarni boshqarish bo'limi.
   

Analogiya orqali Hadoop
Hadoopning texnik jihatlariga o'tishdan va Hadoop nima ekanligini tushunishga yordam berishdan oldin, keling, Hadoopni qiziqarli hikoya orqali tushunamiz. Ushbu hikoyaning oxirida siz Hadoop, Big Data va Hadoop uchun zaruratni tushunasiz.
Uzum yetishtiruvchi Jek bilan tanishtiramiz. U uzumni kuzda terib, omborxonada saqlaydi va nihoyat yaqin atrofdagi shaharchada sotadi. Odamlar boshqa mevalarni talab qila boshlamaguncha, u bu marshrutni yillar davomida davom ettirdi. Talabning bu ortishi unga uzumdan tashqari olma va apelsin yetishtirishga olib keldi.
Afsuski, butun jarayon ko'p vaqt talab qiladigan va Jekning bir qo'li bilan qilish qiyin bo'lib chiqdi.

Shunday qilib, Jek u bilan birga ishlash uchun yana ikki kishini yollaydi. Qo'shimcha yordam yig'ish jarayonini tezlashtiradi, chunki ularning uchtasi bir vaqtning o'zida turli mahsulotlarda ishlashi mumkin.
Biroq, bu saqlash xonasiga yomon ta'sir qiladi, chunki saqlash joyi barcha mevalarni saqlash va ularga kirish uchun to'siq bo'lib qoladi.

Jek bu muammoni o'ylab topdi va yechim topdi: har biriga alohida saqlash joyi bering. Shunday qilib, Jek meva savatiga buyurtma olganida, buyurtmani o'z vaqtida bajarishi mumkin, chunki uchtasi ham o'z saqlash joylari bilan ishlashi mumkin.

Jekning yechimi tufayli har bir kishi buyurtmani o'z vaqtida va hech qanday muammosiz bajarishi mumkin. Hatto osmon talablari bo'lsa ham, Jek o'z buyurtmalarini bajarishi mumkin.