Apache Hadoop va Spark: Ma'lumotlarni tahlil qilish uchun kirish va foydalanish holatlari Abdullayev Jasurbek kontur

Apache Hadoop asosiy modullari

• 
  Hadoop umumiy
  
• 
  Hadoop taqsimlangan fayl tizimi (HDFS)
  
• 
  Hadoop YARN
  
• 
  Hadoop MapReduce
  

MapReduce

Tarqalgan ishlov berish
HDFS taqsimlangan fayl tizimi (saqlash)
HBase
aloqador bo'lmagan ma'lumotlar bazasi
Ip
resurs menejeri
Cho'chqa
Skript yaratish
uyasi
SQL kabi so'rov
Boshqa modullar: Zookeeper, Impala , Oozie va boshqalar.
Boshqalar
Tarqalgan ishlov berish
Spark, Storm, Tez va boshqalar.

Hadoop HDFS

• 
  Hadoop tarqatilgan fayl tizimi (Google File System (GFS) qog'ozi asosida, 2004)
  
  • 
    Hadoop ekotizimidagi aksariyat vositalar uchun taqsimlangan fayl tizimi sifatida xizmat qiladi
    
  • 
    Katta ma'lumotlar to'plamlari uchun masshtablilik
    
  • 
    Uskunadagi nosozliklar bilan kurashish uchun ishonchlilik
    
• 
  HDFS quyidagilar uchun yaxshi:
  
  • 
    Katta fayllar
    
  • 
    oqim ma'lumotlari
    
• 
  Quyidagilar uchun yaxshi emas:
  
  • 
    Ko'p kichik fayllar
    
  • 
    Fayllarga tasodifiy kirish
    
  • 
    Kirish vaqti past
    

5000 server va 250 petabayt maʼlumotlarga ega yagona Hadoop klasteri

Hadoop Distributed File System (HDFS) dizayni

• 
  Master-qul dizayni
  
• 
  asosiy tugun
  
  • 
    Metama'lumotlarni boshqarish uchun yagona NameNode
    
• 
  Qul tugunlari
  
  • 
    Ma'lumotlarni saqlash uchun bir nechta DataNode
    
• 
  Boshqa
  
  • 
    Zaxira sifatida ikkilamchi NameNode
    

HDFS arxitekturasi

NameNode

ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
Ikkilamchi nom tugun
mijoz
Yurak urishi, Cmd , Ma'lumotlar