Ma‘lumotlarni taqsimlangan qayta ishlash. Ma’lumotlarni taqsimlangan qayta ishlash. Zamonaviy taqsimlangan ma’lumotlar bazasinii arxitekturasi

Toshkent axborot texnologiyalari universiteti Samarqand filiali ki21-04- gurux talabasi O’ktamov kamronning ma’lumotlar bazasi fanidan Mustaqil ishi Mavzu: Ma‘lumotlarni taqsimlangan qayta ishlash. Ma’lumotlarni taqsimlangan qayta ishlash. Zamonaviy taqsimlangan ma’lumotlar bazasinii arxitekturasi

Taqsimlangan ishlov berish Big Dataning asosidir. Kengaytirilgan yechim bilan ma'lumotlarni qanday qilib samarali saqlash va qayta ishlash mening "Katta ma'lumotlarni to'g'ri yo'l bilan o'rganish" seriyasining ushbu qismida asosiy e'tibordir.

Taqsimlangan ishlov berish Big Dataning asosidir. Kengaytirilgan yechim bilan ma'lumotlarni qanday qilib samarali saqlash va qayta ishlash mening "Katta ma'lumotlarni to'g'ri yo'l bilan o'rganish" seriyasining ushbu qismida asosiy e'tibordir.

Biz HDFS bilan ma'lumotlar joylashuvi haqida gaplashamiz. Bundan tashqari, men sizga MapReduce bilan taqsimlangan ishlov berish qanday ishlashini haqiqiy misolda ko'rsataman.

Seriyaning birinchi qismida men SQL ma'lumotlar bazalarining ekstrakti konvertatsiyasi, yuklash (ETL) muammosi va bunday tizimlarni masshtablash qanchalik qiyinligi haqida gapirib berdim. Agar siz uni o'tkazib yuborgan bo'lsangiz, uni bu erda topishingiz mumkin: " Katta ma'lumotlarni to'g'ri yo'l bilan o'rganish haqidagi shafqatsiz halol haqiqat “.

Nihoyat, taqsimlangan ishlov berish tushuntirildi

Nihoyat, taqsimlangan ishlov berish tushuntirildi

Tarqalgan ishlov berish nimani anglatadi, siz bitta serverda tahlil qilmaysiz. Siz buni bir nechta mashinada parallel ravishda bajarasiz.

Taqsimlangan o'rnatish odatda butun jarayonni boshqaradigan usta va haqiqiy qayta ishlashni amalga oshiruvchi qullardan iborat.

Ma'lumotlarni parallel ravishda qayta ishlash uchun master ma'lumotlarni yuklashi, bo'laklarga bo'linishi va hisoblash uchun ularni tobelarga tarqatishi kerak. Keyin har bir qul siz dasturlagan tahlillarni (hisob-kitoblarni) bajaradi.

Serverda xatolik yuz berganda ba'zi ma'lumotlarni yo'qotmaslik uchun bloklar avtomatik ravishda boshqa tugunlarga ikki marta takrorlanadi