Apache Hadoop va Spark: Ma'lumotlarni tahlil qilish uchun kirish va foydalanish holatlari Abdullayev Jasurbek kontur

Apache Hadoop and Spark: Introduction and Use Cases for Data Analysis

Apache Hadoop va Spark: Ma'lumotlarni tahlil qilish uchun kirish va foydalanish holatlari

Abdullayev Jasurbek

kontur

• 
  Katta ma'lumotlar to'plamining o'sishi
  
• 
  Apache Hadoop va Spark- ga kirish
  
• 
  HBase komponentlari
  
• 
  Spark imkoniyatlari va odatiy MapReduce yechimidan farqlari
  
• 
  Ma'lumotlarni tahlil qilish uchun ba'zi Spark foydalanish holatlari
  

Katta ma'lumotlar to'plamining o'sishi

• 
  Internet / Onlayn ma'lumotlar
  
  • 
    bosish
    
  • 
    Qidiruvlar
    
  • 
    server so'rovlari
    
  • 
    Veb jurnallari
    
  • 
    Mobil telefon jurnallari
    
  • 
    Mobil GPS manzillari
    
  • 
    Foydalanuvchi tomonidan yaratilgan kontent
    
  • 
    Koʻngilochar (YouTube, Netflix, Spotify , … )
    
• 
  Sog'liqni saqlash va ilmiy hisoblashlar
  
  • 
    Genomika, tibbiy tasvirlar, sog'liqni saqlash ma'lumotlari, hisob-kitob ma'lumotlari
    
• 
  grafik ma'lumotlar
  
  • 
    Telekommunikatsiya tarmog'i
    
  • 
    Ijtimoiy tarmoqlar (Facebook, Twitter, LinkedIn, ...)
    
  • 
    Kompyuter tarmoqlari
    
• 
  Narsalar interneti
  
  • 
    RFID
    
  • 
    Sensorlar
    
• 
  moliyaviy ma'lumotlar
  

Ma'lumotlar

• 
  Katta adron kollayderi yiliga taxminan 30 petabayt ma'lumot ishlab chiqaradi
  
• 
  Facebook maʼlumotlari oyiga 8 petabaytga oshib bormoqda
  
• 
  Nyu-York fond birjasi kuniga taxminan 4 terabayt ma'lumot ishlab chiqaradi
  
• 
  2012 yilda YouTube 80 petabaytga yaqin xotiraga ega edi
  
• 
  Internet arxivida taxminan 19 petabayt ma'lumot saqlanadi