Algoritmining ish jarayoni

MapReduce algoritmining ish jarayoni:

• Kirish ma'lumotlari bo'laklarga bo'linadi va bir nechta tugunlar bo'ylab taqsimlanadi.
• Xarita funksiyasi oraliq kalit-qiymat juftliklarini ishlab chiqarish uchun har bir maʼlumotlar boʻlagiga qoʻllaniladi.
• Oraliq kalit-qiymat juftliklari kalit asosida saralanadi va bo'linadi.
• Ma'lumotlarni qayta ishlash va yakuniy kalit-qiymat juftligini ishlab chiqarish uchun har bir bo'limga qisqartirish funktsiyasi qo'llaniladi.
• Yakuniy natijani ishlab chiqarish uchun chiqish kalit-qiymat juftliklari birlashtiriladi.

• Blok hajmini oshiring: Bloklarning o'lchami oshgani sayin, qayta ishlanadigan bloklar soni kamayadi va shuning uchun blokdagi tranzaktsiyalar soni kamayadi. Shu bilan birga, juda katta blok hajmiga ega bo'lish ham tavsiya etilmaydi, chunki bu ishlov berish vaqtini oshirishi mumkin.
• Parallel protsessordan foydalaning: Bloklarni qayta ishlash jarayonida bir nechta protsessorlardan foydalanish ishlov berish vaqtini qisqartirishga olib kelishi mumkin. Parallel protsessorlar turli protsessorlar o'rtasida ishlov berish uchun bloklarni ajratganligi sababli, ishlov berish vaqtini qisqartirish mumkin.
• Oldindan ishlov berishni qisqartirish: Oldindan ishlov berishni qisqartirish ishlov berish vaqtini qisqartirishga yordam beradi. Oldindan ishlov berish bosqichlari ko'p vaqt talab qilishi mumkin, shuning uchun jarayonlarni oldindan qayta ishlashdan oldin optimallashtirish kerak.
• Xotiradan samaraliroq foydalaning: Bloklarni va oraliq natijalarni xotirada samaraliroq saqlash ishlov berish vaqtini qisqartirishga yordam beradi. Shuning uchun bloklarni va oraliq natijalarni xotirada saqlashda eng samarali usullardan foydalanish tavsiya etiladi.

Xulosa qilib aytganda, bloklarni birlashtirish vaqtida vaqtni qisqartirish uchun turli xil o'zgarishlar kiritilishi mumkin. Bu blok hajmini oshirish, parallel ishlov berishdan foydalanish, dastlabki ishlov berish bosqichlarini qisqartirish va xotiradan foydalanishni samaraliroq qilish bo'lishi mumkin.

Bloklarda ma'lumotlarni qayta ishlashga kamroq vaqt sarflash uchun quyidagi o'zgarishlar tavsiya etiladi:
Spark va Flink algoritmlarini ishlash prinspini o’rganib, qadamlariga o’zgartirish kiritish kerak.