Ma‘lumotlarni taqsimlangan qayta ishlash. Ma’lumotlarni taqsimlangan qayta ishlash. Zamonaviy taqsimlangan ma’lumotlar bazasinii arxitekturasi
Download 0.83 Mb.
|
Kamron baza
Bu bizni H adoop D taqsimlangan F ile S tizimiga, HDFS ga mukammal tarzda olib keladi.Yuqorida tavsiflangan ma'lumotlar joylashuvi HDFS aynan shunday qiladi. Bu Hadoop-ning asosi va siz o'rganishingiz va tushunishingiz kerak bo'lgan birinchi narsa.HDFS-ni serverdagi fayl tizimi ustidagi haqiqiy fayl tizimi deb o'ylashingiz mumkin. NTFS yoki ext* kabi oddiy fayl tizimi oʻrtasidagi farq shundaki, HFDS taqsimlangan fayl tizimidir.Bu shuni anglatadiki, u ma'lumotlar tugunlari deb ataladigan barcha bog'langan qullarni qamrab oladi. Saqlangan fayllar avtomatik ravishda 128 MB bloklarga bo'linadi.Keyinchalik bu bloklar tarmoq orqali ma'lumotlar tugunlariga avtomatik ravishda taqsimlanadi. Har bir tugun klaster hajmiga qarab faqat faylning ba'zi qismlarini oladi.Bu bizni H adoop D taqsimlangan F ile S tizimiga, HDFS ga mukammal tarzda olib keladi.Yuqorida tavsiflangan ma'lumotlar joylashuvi HDFS aynan shunday qiladi. Bu Hadoop-ning asosi va siz o'rganishingiz va tushunishingiz kerak bo'lgan birinchi narsa.HDFS-ni serverdagi fayl tizimi ustidagi haqiqiy fayl tizimi deb o'ylashingiz mumkin. NTFS yoki ext* kabi oddiy fayl tizimi oʻrtasidagi farq shundaki, HFDS taqsimlangan fayl tizimidir.Bu shuni anglatadiki, u ma'lumotlar tugunlari deb ataladigan barcha bog'langan qullarni qamrab oladi. Saqlangan fayllar avtomatik ravishda 128 MB bloklarga bo'linadi.Keyinchalik bu bloklar tarmoq orqali ma'lumotlar tugunlariga avtomatik ravishda taqsimlanadi. Har bir tugun klaster hajmiga qarab faqat faylning ba'zi qismlarini oladi.Ko'pincha siz kerakli natijani yaratish uchun taqsimlangan natijalarni qayta ishlashingiz kerak. Bitta yechim tugunlardan olingan barcha natijalarni keyingi qayta ishlash uchun ustaga qaytarib yuborishdir.Biroq, tugunlarning natijalarini bitta ustaga qaytarish yomon fikrdir. Bu boshqa to'siqni yaratadi.Tugunlarning natijalari xom kiritishdan ancha kichik bo'lishi kerak bo'lsa-da, ular juda katta (gigabayt) bo'lishi mumkin.Ushbu muammoni MapReduce yordamida hal qilish mumkin.Ko'pincha siz kerakli natijani yaratish uchun taqsimlangan natijalarni qayta ishlashingiz kerak. Bitta yechim tugunlardan olingan barcha natijalarni keyingi qayta ishlash uchun ustaga qaytarib yuborishdir.Biroq, tugunlarning natijalarini bitta ustaga qaytarish yomon fikrdir. Bu boshqa to'siqni yaratadi.Tugunlarning natijalari xom kiritishdan ancha kichik bo'lishi kerak bo'lsa-da, ular juda katta (gigabayt) bo'lishi mumkin.Ushbu muammoni MapReduce yordamida hal qilish mumkin.Download 0.83 Mb. Do'stlaringiz bilan baham: 
|