Apache Hadoop va Spark: Ma'lumotlarni tahlil qilish uchun kirish va foydalanish holatlari Abdullayev Jasurbek kontur

accum.add (x)

to'plash.qiymat

Spark-dan foydalanishning asosiy holatlari

oqim ma'lumotlari

mashinani o'rganish

Interaktiv tahlil

Ma'lumotlarni saqlash

ommaviy qayta ishlash

Tekshirish ma'lumotlarini tahlil qilish

Grafik ma'lumotlarni tahlil qilish

Fazoviy (GIS) ma'lumotlarni tahlil qilish

Va yana ko'p

Mening Spark foydalanish holatlarim

Barmoq izini moslashtirish

• 
  Spark asosida barmoq izi daqiqalarini aniqlash va barmoq izini moslashtirish kodini ishlab chiqdi
  

Twitter hissiyot tahlili

• 
  Twitter ma'lumotlar to'plami uchun Spark asosidagi hissiyotlarni tahlil qilish kodini ishlab chiqdi
  

Haqiqiy dunyoda uchqun (I)

Uber - onlayn taksi kompaniyasi har kuni o'z mobil foydalanuvchilaridan terabaytlab voqealar ma'lumotlarini to'playdi.

• 
  Uzluksiz ETL quvur liniyasini qurish uchun Kafka, Spark Streaming va HDFS yordamida
  
• 
  Xom tuzilmagan hodisa ma'lumotlarini yig'ilganda tuzilgan ma'lumotlarga aylantiring
  
• 
  Keyinchalik murakkab tahlil va operatsiyalarni optimallashtirish uchun undan foydalanadi
  

Pinterest - Spark ETL quvur liniyasidan foydalanadi

• 
  Butun dunyodagi foydalanuvchilar real vaqt rejimida Pinlar bilan qanday aloqada bo'layotgani haqida darhol ma'lumot olish uchun Spark Streaming-dan foydalanadi.
  
• 
  Odamlar saytni kezishda ko'proq tegishli tavsiyalar berishi mumkin
  
• 
  Tavsiyalar bilan bog'liq Pinlar
  
• 
  Qaysi mahsulotlarni sotib olishni yoki tashrif buyuradigan joylarni aniqlang
  

Haqiqiy dunyoda uchqun (II)

Mana yana bir nechta haqiqiy dunyo foydalanish holatlari:

Conviva - oyiga 4 million video tasma

• 
  Ushbu striming video kompaniyasi YouTubedan keyin ikkinchi o'rinda turadi.
  
• 
  Video oqimlarini optimallashtirish va jonli video trafigini boshqarish orqali mijozlarning ishlamay qolishini kamaytirish uchun U ses Spark
  
• 
  Doimiy silliq, yuqori sifatli ko'rish tajribasini saqlaydi.
  

Capital One - mijozlarni yaxshiroq tushunish uchun Spark va ma'lumotlar fanlari algoritmlaridan foydalanadi.

• 
  Moliyaviy mahsulotlar va xizmatlarning keyingi avlodini ishlab chiqish
  
• 
  Firibgarlik ehtimolini oshiruvchi atributlar va naqshlarni toping
  

Netflix – foydalanuvchilarning ko‘rish odatlari haqida ma’lumot olish uchun Spark’dan foydalanadi va keyin ularga filmlarni tavsiya qiladi.

• 
  Foydalanuvchi ma'lumotlari kontent yaratish uchun ham ishlatiladi