Ma’lumotlar kommunikatsiyasi” fanidan tayyorlagan amaliy mashg‘ulot ishlari topshirdi: M. A. Akbarova Qabul qildi: O. I. Ergashev Farg‘ona 023 amaliy mashg‘ulot mavzu: Java-da MapReduce dasturi Ishning maqsadi: Displey funksiyasi

Ma'lumotlarni yozib olish
Fayl tizimi klassi fayllarni yaratishning bir necha usullarini o'z ichiga oladi. Eng oddiy usul Path obyektini oladi yaratilgan fayl va ma'lumotlar yozilgan chiqish oqimini qaytaradi:
public FSDataOutputStream create(Path f) throws IOException.
Ushbu usulning haddan tashqari yuklangan versiyalari mavjud fayllar uchun majburiy almashtirish bayrog'ini, fayllarni replikatsiya koeffitsientini, yozish buferi hajmini, fayl blokining o'lchamini va kirish ruxsatlarini o'rnatish imkonini beradi.
append operatsiyasi bitta yozib olish manbasi allaqachon yozib olingan faylni o'zgartirishga imkon beradi; Buning uchun fayl ochiladi va ma'lumotlar maksimal ofset bilan yoziladi. Ushbu API bilan cheksiz uzunlikdagi fayllarni yaratadigan ilovalar (masalan, jurnal fayllari) yopilgandan keyin mavjud faylga ma'lumotlarni qo'shishi mumkin. Qo'shish operatsiyasi barcha Hadoop fayl tizimlari tomonidan amalga oshirilmaydi .
Masalan, HDFS qo'shimchani qo'llab-quvvatlaydi , lekin S 3 fayl tizimlari qo'llab-quvvatlamaydi .
Hadoop fayl tizimiga qanday nusxalashini ko'rsatadi . Operatsiyaning borishini ko'rsatish uchun biz har safar Hadoop -da nuqta ko'rsatamiz progress () usulini chaqiradi - bu har bir 64K ma'lumot paketi ma'lumotlar tugun trubasiga yozilgandan keyin sodir bo'ladi. (E'tibor bering, bu maxsus xatti-harakatlar APIda aniqlanmagan , shuning uchun u Hadoop ning kelajakdagi versiyalarida o'zgarishi mumkin ).
Hadoop fayl tizimlari hozirda yozish paytida progress () ni chaqirmang . Keyinchalik bilib olasiz, MapReduce ilovalarida operatsiyaning borishi haqida ma'lumot olish muhim rol o'ynaydi .
Fayl tizimidan ma'lumot olish
Fayl metadata: FileStatus
Har qanday fayl tizimi katalog tuzilmasidan o'tish va unda saqlangan fayllar va kataloglar haqida ma'lumot olish qobiliyatini qo'llab-quvvatlashi kerak. FileStatus klassi Fayllar va kataloglar haqidagi fayl tizimi metamaʼlumotlarini, jumladan, fayl uzunligi, blok oʻlchami, replikatsiya omili, oʻzgartirish vaqti , egasi maʼlumotlari va kirish ruxsatnomalarini qamrab oladi. FileSystem sinfining getFileStatus () usuli FileStatus obyektini olish usulini taqdim etadi bitta fayl yoki katalog uchun. Foydalanish misoli ro'yxatda ko'rsatilgan.

Agar argument faylni ko'rsatsa, usulning eng oddiy versiyasi FileStatus ob'ektlari qatorini qaytaradi. uzunligi 1. Agar argument katalogni belgilasa, katalogdagi fayllar va kataloglarni ifodalovchi nol yoki undan ortiq ¬FileStatus obyektlari qaytariladi .
Haddan tashqari yuklangan versiyalar fayllar va kataloglarni tanlash uchun filtrni belgilaydigan PathFilter ob'ektidan o'tishi mumkin. Misol "Path- Filter" bo'limida keltirilgan, bilan.108 . Nihoyat, bir qator yo'llarni o'tkazishda natija ekvivalent "bir yo'l" usuli listStatusni chaqirish uchun soddalashtirilgan belgidir. FileStatus ob'ektlari massivlarining to'planishi bilan har bir yo'l uchun ketma-ket bitta massivda. Misol uchun, bu xususiyat fayl tizimi daraxtining turli qismlaridan fayllar ro'yxatini yaratish uchun foydali bo'lishi mumkin. Ro'yxat 3.6, bu fikrning oddiy namoyishini beradi . ¬FileUtil sinfining stat 2 Paths () usulidan foydalanishga e'tibor bering FileStatus ob'ektlari qatorini aylantirish uchun Path ob'ektlari massiviga .

Xulosa

Bitta operatsiyada fayllar to'plamini qayta ishlash juda keng tarqalgan vazifadir. Masalan, MapReduce ishi bir necha kataloglarda saqlangan bir oylik jurnal fayllarini tahlil qilishi mumkin . Har bir fayl va har bir katalogni takrorlash o'rniga, bitta bayonotda bir nechta fayllarni tasvirlash uchun meta-belgilardan foydalanish qulay. Hadoop ikkita FileSystem usullarini taqdim etadi fayl nomi naqshlarini boshqarish uchun.