Apache Hadoop and Spark: Introduction and Use Cases for Data Analysis

Eshittirish o'zgaruvchilari va akkumulyatorlari (Birgalikda o'zgaruvchilar)

• Eshittirish o'zgaruvchilari dasturchiga uning nusxasini topshiriqlar bilan yuborish o'rniga, har bir tugunda faqat o'qish uchun mo'ljallangan o'zgaruvchini keshda saqlashga imkon beradi.

>broadcastV1 = sc.broadcast ([1, 2, 3,4,5,6])

>broadcastV1.value

[1,2,3,4,5,6]

• Akkumulyatorlar faqat assotsiativ operatsiya orqali "qo'shiladigan" va parallel ravishda samarali qo'llab-quvvatlanishi mumkin bo'lgan o'zgaruvchilardir.

to'plash = sc.akkumulyator (0)

accum.add (x)

to'plash.qiymat

Spark-dan foydalanishning asosiy holatlari

• oqim ma'lumotlari
• mashinani o'rganish
• Interaktiv tahlil
• Ma'lumotlarni saqlash
• ommaviy qayta ishlash
• Tekshirish ma'lumotlarini tahlil qilish
• Grafik ma'lumotlarni tahlil qilish
• Fazoviy (GIS) ma'lumotlarni tahlil qilish
• Va yana ko'p

Mening Spark foydalanish holatlarim

• Barmoq izini moslashtirish
• Spark asosida barmoq izi daqiqalarini aniqlash va barmoq izini moslashtirish kodini ishlab chiqdi
• Twitter hissiyot tahlili
• Twitter ma'lumotlar to'plami uchun Spark asosidagi hissiyotlarni tahlil qilish kodini ishlab chiqdi

Haqiqiy dunyoda uchqun (I)

• Uber - onlayn taksi kompaniyasi har kuni o'z mobil foydalanuvchilaridan terabaytlab voqealar ma'lumotlarini to'playdi.
• Uzluksiz ETL quvur liniyasini qurish uchun Kafka, Spark Streaming va HDFS yordamida
• Xom tuzilmagan hodisa ma'lumotlarini yig'ilganda tuzilgan ma'lumotlarga aylantiring
• Keyinchalik murakkab tahlil va operatsiyalarni optimallashtirish uchun undan foydalanadi
• Pinterest - Spark ETL quvur liniyasidan foydalanadi
• Butun dunyodagi foydalanuvchilar real vaqt rejimida Pinlar bilan qanday aloqada bo'layotgani haqida darhol ma'lumot olish uchun Spark Streaming-dan foydalanadi.
• Odamlar saytni kezishda ko'proq tegishli tavsiyalar berishi mumkin
• Tavsiyalar bilan bog'liq Pinlar
• Qaysi mahsulotlarni sotib olishni yoki tashrif buyuradigan joylarni aniqlang