Apache Hadoop va Spark: Ma'lumotlarni tahlil qilish uchun kirish va foydalanish holatlari Abdullayev Jasurbek kontur

NameNode metadata, nom, joylashuv va katalogni saqlaydi
DataNode ma'lumotlar bloklari uchun saqlashni ta'minlaydi

HDFS

fayl
B1

B2
B3
B4
tugun
B1
tugun
tugun
B2
tugun
B1
tugun
tugun
B2
B3
tugun
tugun
tugun
B4
B3
B1
B4
tugun
tugun
tugun
B3
B4
B2
B1
nima bo'ladi; agar tugun (lar) muvaffaqiyatsiz bo'lsa?
Xatolarga chidamlilik uchun bloklarni takrorlash

HDFS

• 
  HDFS fayllari bloklarga bo'lingan
  
  • 
    Bu o'qish/yozishning asosiy birligi
    
  • 
    Odatiy oʻlcham 64MB, kattaroq boʻlishi mumkin (128MB)
    
  • 
    Shunday qilib, HDFS-ni kattaroq fayllarni saqlash uchun yaxshi qiladi
    
• 
  HDFS bloklari bir necha marta takrorlanadi
  
  • 
    Bitta blok bir nechta joyda, shuningdek, turli raflarda saqlanadi (odatda 3 marta)
    
  • 
    Bu HDFS xotira xatosiga bardosh beradi va tezroq o'qiladi
    

Bir nechta HDFS Shell buyruqlari

HDFS da katalog yarating

• 
  hadoop fs - mkdir /user/ godil /dir1
  

  Katalog tarkibini sanab bering

• 
  hadoop fs - ls /user/ godil
  

  HDFS-da faylni yuklang va yuklab oling

• 
  hadoop fs -put /home/ godil /file.txt /user/ godil / datadir /
  
• 
  hadoop fs -get /user/ godil / datadir /file.txt /home/
  

  Fayl tarkibiga qarang

• 
  Hadoop fs -cat /user/godil/datadir/book.txt _ _ _ _
  

  Unix- ga o'xshash boshqa ko'plab buyruqlar

  HBase

  • 
    NoSQL ma'lumotlar ombori HDFS ustiga qurilgan
    
  • 
    BigTable qog'ozi asosida (2006)
    
  • 
    Har xil turdagi ma'lumotlar bilan ishlay oladi
    
  • 
    Katta hajmdagi ma'lumotlarni saqlaydi (TB, PB)
    
  • 
    Ustunga yo'naltirilgan ma'lumotlar ombori
    
  • 
    Tasodifiy o'qish va yozish bilan Big Data
    
  • 
    Gorizontal ravishda kengaytirilishi mumkin