Apache Hadoop and Spark: Introduction and Use Cases for Data Analysis

Hadoop Distributed File System (HDFS) dizayni

• Master-qul dizayni
• asosiy tugun
• Metama'lumotlarni boshqarish uchun yagona NameNode
• Qul tugunlari
• Ma'lumotlarni saqlash uchun bir nechta DataNode
• Boshqa
• Zaxira sifatida ikkilamchi NameNode

HDFS arxitekturasi

NameNode
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
ma'lumot tugunlari
Ikkilamchi nom tugun
mijoz
Yurak urishi, Cmd , Ma'lumotlar
NameNode metadata, nom, joylashuv va katalogni saqlaydi
DataNode ma'lumotlar bloklari uchun saqlashni ta'minlaydi

HDFS

fayl
B1
B2
B3
B4
tugun
B1
tugun
tugun
B2
tugun
B1
tugun
tugun
B2
B3
tugun
tugun
tugun
B4
B3
B1
B4
tugun
tugun
tugun
B3
B4
B2
B1
nima bo'ladi; agar tugun (lar) muvaffaqiyatsiz bo'lsa?
Xatolarga chidamlilik uchun bloklarni takrorlash

HDFS

• HDFS fayllari bloklarga bo'lingan
• Bu o'qish/yozishning asosiy birligi
• Odatiy oʻlcham 64MB, kattaroq boʻlishi mumkin (128MB)
• Shunday qilib, HDFS-ni kattaroq fayllarni saqlash uchun yaxshi qiladi
• HDFS bloklari bir necha marta takrorlanadi
• Bitta blok bir nechta joyda, shuningdek, turli raflarda saqlanadi (odatda 3 marta)
• Bu HDFS xotira xatosiga bardosh beradi va tezroq o'qiladi

Bir nechta HDFS Shell buyruqlari

HDFS da katalog yarating

• hadoop fs - mkdir /user/ godil /dir1

Katalog tarkibini sanab bering

• hadoop fs - ls /user/ godil

HDFS-da faylni yuklang va yuklab oling

• hadoop fs -put /home/ godil /file.txt /user/ godil / datadir /
• hadoop fs -get /user/ godil / datadir /file.txt /home/