Amaliy mashg‘ulot – 1 Mavzu: Big data va Hadoop ga kirish Ishning maqsadi

AMALIY MASHG‘ULOT- 3
Mavzu: Ma'lumotlarni o'zgartirish.
Change Data Capture nima?
Ma'lumotlarni o'zgartirish (CDC) ma'lumotlar bazasidagi ma'lumotlarga kiritilgan o'zgarishlarni aniqlash va qo'lga kiritish va keyin ushbu o'zgarishlarni real vaqt rejimida quyi oqim jarayoni yoki tizimga etkazish jarayonini anglatadi.
CDC zamonaviy bulut arxitekturalari uchun juda mos keladi, chunki bu ma'lumotlarni keng tarmoq bo'ylab ko'chirishning yuqori samarali usuli. Va, chunki u real vaqt rejimida ma'lumotlarni ko'chiradi, shuningdek, real vaqtda tahlil va ma'lumotlar fanini qo'llab-quvvatlaydi.

ETL-da ma'lumotlarni yozib olishni o'zgartirish
Ma'lumotni o'zgartirish - bu ETL (Extract, Transform, Load) usuli bo'lib, unda ma'lumotlar manbadan olinadi, o'zgartiriladi va keyin ma'lumotlar ko'li yoki ma'lumotlar ombori kabi maqsadli omborga yuklanadi .



Ma'lumotlarni o'zgartirishning afzalliklari
Umumiy ma'lumotlar integratsiya strategiyangizda CDC uchun juda ko'p foydalanish holatlari mavjud . Siz ma'lumotlarni ma'lumotlar omboriga yoki ma'lumotlar ko'liga o'tkazayotgan bo'lishingiz mumkin, real vaqt rejimida operatsion ma'lumotlar do'konini yoki manba ma'lumotlarining nusxasini yaratasiz. Yoki hatto zamonaviy ma'lumotlar mato arxitekturasini amalga oshirish . Oxir oqibat, CDC ma'lumotlarni tezroq integratsiyalash va tahlil qilish va jarayonda kamroq tizim resurslaridan foydalanish imkonini berish orqali tashkilotingizga ma'lumotlaringizdan ko'proq qiymat olishga yordam beradi. Bu erda bir nechta asosiy afzalliklar mavjud:

• 
  Maqsadli omboringizga ketma-ket yuklash yoki real vaqt rejimida ma'lumotlar o'zgarishlarini oqimlash imkonini berish orqali ommaviy yuklarni yangilash va noqulay ommaviy oynalar zarurligini yo'q qiladi.
  
• 
  Jurnalga asoslangan CDC - bu yangi ma'lumotlarni yuklashda manba ekstraktiga ta'sirni cheklash uchun yuqori samarali yondashuv.
  
• 
  CDC ma'lumotlarni real vaqt rejimida ko'chirganligi sababli, u nol ishlamay qolgan ma'lumotlar bazasi migratsiyasini osonlashtiradi va real vaqtda tahlillarni, firibgarlikdan himoya qilishni va geografik taqsimlangan tizimlar bo'ylab ma'lumotlarni sinxronlashni qo'llab-quvvatlaydi.
  
• 
  CDC - bu ma'lumotlarni keng tarmoqqa ko'chirishning juda samarali usuli, shuning uchun u bulut uchun juda mos keladi.
  
• 
  O'zgartirish ma'lumotlarini yozib olish, shuningdek , Apache Kafka kabi oqimlarni qayta ishlash yechimiga ma'lumotlarni ko'chirish uchun juda mos keladi .
  
• 
  CDC bir nechta tizimlardagi ma'lumotlarning sinxron bo'lishini ta'minlaydi. Bu, ayniqsa, yuqori tezlikdagi ma'lumotlar muhitida vaqtni hisobga oluvchi qarorlar qabul qilayotganda muhim ahamiyatga ega.