Ma’lumotlar kommunikatsiyasi” fanidan tayyorlagan mustaqil ishi topshirdi: Qabul qildi: O. I. Ergashev Farg‘ona 2023 reja

Rasm 1 Siqishni ko’dlash

Rasm1.1 Turli xil siqish/dekompressiya algoritmlarini qo'llab-quvvatlash uchun Hadoop kodlash / dekoderni taqdim etdi

Rasm 1.2 Siqish xususiyatlari bilan taqqoslaganda


3 SIQISH YO’LLARINI TANLASH
1 Gzip siqish usuli:

1. 
   Afzalliklari: siqish tezligi nisbatan tez va siqish/dekompressiya tezligi nisbatan tez , ulardan foydalanish oson.
   
   1. 
      Kamchiliklari: bo'linish qo'llab-quvvatlanmaydi.
      
   2. 
      Ilova skripti: har bir fayl siqilgan bo'lsa (1-blokda), siz gzip siqish formatidan foydalanishni o'ylab ko'rishingiz mumkin. Masalan, bir kun yoki bir soatlik jurnal GZIP fayliga siqiladi.
      

2 BZIP2 siqish usuli:
2.1 Afzalliklari: qo'llab-quvvatlashni ajratish; yuqori siqish tezligiga ega, bu gzip siqish tezligidan yuqori; Hadoop o'zi u bilan birga keladi, ulardan foydalanish oson.
2.2 Kamchiliklari: sekin siqish/dekompressiya tezligi.
2.3 Ilova stsenariysi: u past tezlik talablariga javob beradi, lekin yuqori siqish tezligini talab qilganda; yoki kelajakda undan keyin ma'lumotlar; yoki katta matnli fayl uchun siz saqlash joyini qisqartirishni xohlaysiz, shu bilan birga siz ajratishni davom ettirishingiz kerak va u avvalgi dasturga mos keladi.
3 LZO siqish usuli:
3.1 Afzalliklari: siqish/dekompressiya tezligi ham tez, oqilona siqish tezligi; bo'linishni qo'llab-quvvatlash Hadoop-da eng mashhur siqish formatidir; lzop buyrug'i foydalanish uchun qulay bo'lgan Linux tizimiga o'rnatilishi mumkin.
3.2 Kamchiliklari: siqish tezligi GZIP-dan past; Hadoop o'zi uni qo'llab-quvvatlamaydi va o'rnatilishi kerak; ilovada ba'zi bir maxsus ishlov berish uchun LZO formatidagi fayllarni yaratish kerak (bo'linishni qo'llab-quvvatlash uchun. Indeks yarating, shuningdek kirish formatini LZO formati sifatida belgilashingiz kerak).
3.3 Ilova stsenariysi: siqilganidan keyin 200 m dan ortiq bo'lgan katta matnli faylni ko'rib chiqish mumkin va bitta fayl qancha ko'p bo'lsa, LZO-ning afzalliklari shunchalik aniq bo'ladi.
4 Tez siqish:
4.1 Afzalliklari: yuqori siqish tezligi va o'rtacha siqish tezligi.
4.2 Kamchiliklari: ajratishni qo'llab-quvvatlamaydi; siqish tezligi gzipdan past; Hadoop o'zi uni qo'llab-quvvatlamaydi va o'rnatilishi kerak.
4.3 Ilova stsenariysi: Mapreduce operatsiyasining chiqishi nisbatan katta bo'lsa, kamaytirish uchun xaritaning o'rtacha ma'lumotlarini siqish formati; yoki MapReduce operatsiyasining chiqishi va boshqa MapReduce operatsiyasining kiritilishi.