Apache Hadoop and Spark: Introduction and Use Cases for Data Analysis

Apache Hadoop va Spark: Ma'lumotlarni tahlil qilish uchun kirish va foydalanish holatlari

Abdullayev Jasurbek

kontur

• Katta ma'lumotlar to'plamining o'sishi
• Apache Hadoop va Spark- ga kirish
• HBase komponentlari
• Spark imkoniyatlari va odatiy MapReduce yechimidan farqlari
• Ma'lumotlarni tahlil qilish uchun ba'zi Spark foydalanish holatlari

Katta ma'lumotlar to'plamining o'sishi

• Internet / Onlayn ma'lumotlar
• bosish
• Qidiruvlar
• server so'rovlari
• Veb jurnallari
• Mobil telefon jurnallari
• Mobil GPS manzillari
• Foydalanuvchi tomonidan yaratilgan kontent
• Koʻngilochar (YouTube, Netflix, Spotify , … )
• Sog'liqni saqlash va ilmiy hisoblashlar
• Genomika, tibbiy tasvirlar, sog'liqni saqlash ma'lumotlari, hisob-kitob ma'lumotlari
• grafik ma'lumotlar
• Telekommunikatsiya tarmog'i
• Ijtimoiy tarmoqlar (Facebook, Twitter, LinkedIn, ...)
• Kompyuter tarmoqlari
• Narsalar interneti
• RFID
• Sensorlar
• moliyaviy ma'lumotlar

Ma'lumotlar

• Katta adron kollayderi yiliga taxminan 30 petabayt ma'lumot ishlab chiqaradi
• Facebook maʼlumotlari oyiga 8 petabaytga oshib bormoqda
• Nyu-York fond birjasi kuniga taxminan 4 terabayt ma'lumot ishlab chiqaradi
• 2012 yilda YouTube 80 petabaytga yaqin xotiraga ega edi
• Internet arxivida taxminan 19 petabayt ma'lumot saqlanadi

Bulutli va taqsimlangan hisoblash

• Ikkinchi tendentsiya - bulutga asoslangan saqlash va hisoblash resurslarining keng tarqalishi
• Ushbu katta ma'lumotlar to'plamlarini qayta ishlash uchun
• bulut xususiyatlari
• Kengaytiriladigan standart muhitni ta'minlang
• Talab bo'yicha hisoblash
• Sizga kerak bo'lganda to'lang
• Dinamik ravishda kengaytiriladigan
• Arzonroq