Big data tahlili


MapReduce, Hadoop va katta jadvallar


Download 1.27 Mb.
bet18/71
Sana25.02.2023
Hajmi1.27 Mb.
#1229835
1   ...   14   15   16   17   18   19   20   21   ...   71
Bog'liq
A.X.Ruzmetov Qollanma

MapReduce, Hadoop va katta jadvallar
Hisoblash texnologiyasi evolyutsiyasi bilan endi juda katta hajmdagi ma’lumotlarni boshqarish mumkin boʻldi, ular ilgari faqat superkompyuterlar tomonidan katta xarajat bilan ishlov berilishi mumkin edi. Tizimlarning narxi pasayib ketdi va natijada tarqatilgan hisoblash uchun yangi texnikalar keng tarqalgan. Yahoo!, Google va Facebook kabi kompaniyalar oʻzlarining takliflari yaratayotgan katta miqdordagi ma’lumotlardan monetizatsiya qilishda yordamga muhtoj ekanliklarini anglaganlarida katta ma’lumotlarning haqiqiy yutugʻi yuz berdi.
Ushbu rivojlanayotgan kompaniyalar oʻzlarining tarmoqlaridagi ishtirokchilar haqida juda koʻp ma’lumotlarga ega boʻlishning afzalliklarini monetizatsiya qilishlari uchun ularga juda katta miqdordagi ma’lumotlarni saqlash, kirish va tahlil qilishga imkon beradigan yangi texnologiyalarni topishlari kerak edi. Ularning yechimlari ma’lumotlarni boshqarish bozorini oʻzgartirmoqda. Xususan, MapReduce, Hadoop va Big Table innovatsiyalari uchqun boʻlib, yangi avlod ma’lumotlarini boshqarishga olib keldi. Ushbu texnologiyalar eng muhim muammolardan biri katta hajmdagi ma’lumotlarni samarali, tejamkor va oʻz vaqtida qayta ishlash imkoniyatlarini hal qiladi.
MapReduce
MapReduce Google tomonidan ishlab chiqilgan boʻlib, bir qator funktsiyalar toʻplamini ommaviy rejimda katta hajmdagi ma’lumotlarga qarshi samarali bajarish usuli sifatida yaratilgan. “Xarita” komponentasi dasturiy muammolarni yoki vazifalarni koʻp sonli tizimlar boʻyicha taqsimlaydi va yuklarni muvozanatlashtiradigan va nosozliklarni tiklashni boshqaradigan vazifalarni joylashtiradi. Taqsimlangan hisoblash tugagandan soʻng, “kamaytirish” deb nomlangan boshqa funktsiya natijani ta’minlash uchun barcha elementlarni birlashtiradi. MapReduce-dan foydalanishga misol boʻlib, 50 ta turli tillarda har birida qancha sahifa yozilganligini aniqlash mumkin.
Katta jadval
Big Table Google tomonidan juda miqyosli tuzilgan ma’lumotlarni boshqarish uchun moʻljallangan tarqatiladigan saqlash tizimi sifatida ishlab chiqilgan. Ma’lumotlar satrlar va ustunlar bilan jadvallarga ajratilgan. An’anaviy relyatsion ma’lumotlar bazasi modelidan farqli oʻlaroq, Big Table siyrak, taqsimlangan, doimiy koʻp oʻlchovli tartiblangan xaritadir. Bu tovar serverlarida katta hajmdagi ma’lumotlarni saqlash uchun moʻljallangan.
Hadoop
Hadoop - bu MapReduce va Big Table-dan olingan Apache tomonidan boshqariladigan dasturiy ta’minot doirasi. Hadoop MapReduce asosidagi dasturlarning katta tovar uskunalari klasterlarida ishlashiga imkon beradi. Loyiha Yahoo! Biznesini qoʻllab-quvvatlovchi hisoblash arxitekturasi uchun asosdir. Hadoop hisoblash tezligini oshirish va kechikishni yashirish uchun hisoblash tugunlari boʻyicha ma’lumotlarni qayta ishlashni parallellashtirishga moʻljallangan. Hadoop-ning ikkita asosiy komponenti mavjud: petabaytli ma’lumotlarni qoʻllab-quvvatlaydigan keng miqyosli tarqatiladigan fayl tizimi va natijalarni ommaviy ravishda hisoblaydigan MapReduce dvigatellari.

Download 1.27 Mb.

Do'stlaringiz bilan baham:
1   ...   14   15   16   17   18   19   20   21   ...   71




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©fayllar.org 2024
ma'muriyatiga murojaat qiling