Mavzu: Ma’lumotlarni saqlash va tahlil qilish

AMALIY MASHG’ULOT

Mavzu: Ma’lumotlarni saqlash va tahlil qilish

Ishning maqsadi: Ma’lumotlarni saqlash va tahlil qilish jarayonida uskunalarani nosozliklari ehtimolini o;rganish.
Ushbu muammolarni mohiyati oddiy : qattiq disklarni sig’imi yillar davomida sezilarli darajada oshgan bo’lsada, kirish tezligi (ya’ni diskdan ma’lumotlarni o’qish tezligi) undan orqada qolmoqda. Odatda 1990-yilgi qattiq disk 4,4MB/s uzatish tezligida 1370MB ma’lumotga ega edi. Shuning uchun to’liq diskdan barcha ma’lumotlarni o’qish tahminan 5 daqiqa vaqt ketdi. 20 yildan keyin terabaytli drayverlar odatiy holga aylandi, ammo uzatish tezligi tahminan 100MB/s tashkil qiladi. Shuning uchun diskdagi barcha ma’lumotlarni o’qish uchun uchun tahminan 2,5 soat vaqt ketadi.
Bitta diskdan barcha ma’lumotlarni o’qish juda sekin, yozish esa undan ham sekinroq . O’qish vaqtini tezlashtirishni aniq bir yo’li bir vaqtning o’zida bir necha disklardan foydalanishdir. Tasavvur qiling-a sizda 100ta disk bor, ularning har biri ma’lumotlarni 1/100 qismini o’z ichiga oladi. Ushbu disklar parallel ravishda ishlayotgan bo’lsa, ma’lumotlar ikki daqiqada o’qiladi.
Bir qarashda diskning yuzdan bir qismini ishlatish g’oyasi behuda ko’rinadi. Lekin biz har biri bir terabayt bo’lgan yuuzta ma’lumotlar to’plamini saqlashimiz va ulaarni baham ko’rishimiz mumkin. Ehtimol bunday tizim foydalanuvchilari tezroq malumotlarni tahlil qilish evaziga umumiy foydalanishni qabul qilishga tayyor bo’ladi. Bundan tashqari statistic ma’lumotlarga ko’ra, ularning ma’lumotlarini tahlil qilish vazifalari vaqt o’tishi bilan taqalish ehtimoli ko’proq. Biroq bir nechta disklarda parallel ravishda ma’lumotlarni o’qish va yozish tushunchalari juda odddiy emas.
Birinchidan uskunalarni ishdan chiqish ehtimolini hisobga olish kerak. Bitta o’ringa ko’plab qurulmalardan foydalanishni boshlashingiz bilan ulardan birida ishlamay qolish ehtimoli sezilarli darajada oshadi. Ma’lumotlar yo’qolishini odatiy standart usuli bu –replikatsiya. Tizim ma’lumotlarini ortiqcha nusxalarni saqlaydi. Shunda xaaatolik yuz berganda boshqa nushasi mavjud bo’ladi. Masalan RAID massivlari shunday ishlaydi. Garchi siz yaqinda bilib olgandek hdoop fayl tizimi HDFS biroz boshqacha yondasahuvni qo’llaydi.