Ma’lumotlar kommunikatsiyasi” fanidan tayyorlagan amaliy mashg‘ulot ishlari topshirdi: Sulaymonov m qabul qildi: O. I. Ergashev Farg‘ona 2023 amaliy mashg‘ulot- 13 Mavzu: Ma'lumotlar oqimi Ishning maqsadi

Rasm. 3.3. Hadoopdagi masofalar.


Fayllarga yozish

Nom tuguni turli xil tekshiruvlarni amalga oshiradi: u fayl mavjud emasligiga ishonch hosil qiladi va mijoz uni yaratish uchun kerakli ruxsatlarga ega. Agar barcha tekshiruvlar o'tsa, nom tugunida yangi fayl haqidagi ma'lumotlar saqlanadi; aks holda, fayl yaratish operatsiyasi bajarilmaydi va mijozga IOException yuboriladi . Distributed FileSystem ma'lumotlar yozilishi mumkin bo'lgan mijozga FSDataOutputStream ob'ektini qaytaradi . O'qishda bo'lgani kabi, FSDataOutputStream ma'lumotlar tugunlari va nom tugunlari bilan barcha o'zaro aloqalarni boshqaradigan DFSOutputStream ob'ektini o'z ichiga oladi
Ma'lumotlar mijoz tomonidan yozilayotganda (3-bosqich) DFSOutputStream ularni ma'lumotlar navbati deb ataladigan ichki navbatga qo'yiladigan paketlarga ajratadi . Ma'lumotlar navbati yangi bloklarni ajratish so'rovi bilan nom tuguniga kiruvchi DataStreamer ob'ekti tomonidan saqlanadi; Buning uchun nom tuguni replikalarni saqlash uchun mos bo'lgan ma'lumotlar tugunlarini tanlashi kerak. Ma'lumotlar tugunlari ro'yxati quvur liniyasini tashkil qiladi. Replikatsiya koeffitsienti 3 ga teng deb hisoblaymiz, shuning uchun quvur liniyasi uchta tugundan iborat. ma'lumotlar uzatuvchi paketlarni quvur liniyasidagi birinchi ma'lumotlar tuguniga yuboradi, bu paketlarni saqlaydi va ularni quvur liniyasining ikkinchi ma'lumotlar tuguniga yo'naltiradi. Xuddi shunday, ikkinchi ma'lumot tugunlari paketlarni saqlaydi va ularni quvur liniyasidagi uchinchi (va oxirgi) ma'lumotlar tuguniga yo'naltiradi (4-bosqich).
DFSOutputStream shuningdek, ma'lumotlar tugunlaridan tasdiqlashni kutayotgan paketlarning ichki navbatini saqlaydi; Bu tan olish navbati deb ataladi . Paket tasdiqlash navbatdan faqat quvur liniyasidagi barcha ma'lumotlar tugunlari tomonidan tan olinganidan keyin olib tashlanadi (5-bosqich).
Blok yozish paytida bir vaqtning o'zida bir nechta ma'lumotlar tugunlarining ishdan chiqishi nazariy jihatdan mumkin (ehtimol bo'lmasa ham). dfs yozuvini hisobga olgan holda . replikatsiya . min replikatsiya (standart 1), operatsiya muvaffaqiyatli bo'ladi va blok maqsadli replikatsiya omiliga ( dfs .replication , sukut bo'yicha 3) erishilgunga qadar klaster bo'ylab asinxron tarzda takrorlanadi .
Ma'lumotlar yozilgandan so'ng, mijoz oqimda Close () ni chaqiradi (6-qadam). Qolgan barcha ¬paketlar ma'lumotlar tugunining quvur liniyasiga yuboriladi va nom tuguni bilan aloqa faylni yozish tugallanganligi tasdiqlangandan so'ng amalga oshiriladi (7-qadam). Ism tugunlari fayl qaysi bloklardan iboratligini allaqachon biladi (ma'lumot DataStreamer -ga uzatiladi) bloklarni ajratishni so'rashda); bloklarning minimal takrorlanishini kutishgina qoladi, shundan so'ng operatsiya muvaffaqiyatli yakunlanganligi belgisi qaytariladi.