Axborot texnologiyalari” kafedrasi mustqail ish “Ma’lumotlar komunikatsiyasi” fanidan

DFSAadmin

DFSAdmin buyruqlar to'plami HDFS klasterini boshqarish uchun ishlatiladi. Bu faqat HDFS administratori tomonidan ishlatiladigan buyruqlardir. Mana bir necha namunali harakat/buyruqlar juftligi:

Harakat	Buyruq
Klasterni xavfsiz rejimga qo'ying	bin/hadoop dfsadmin -safemode kiriting
DataNodes ro'yxatini yarating	bin/hadoop dfsadmin -hisobot
Qayta foydalanish yoki bekor qilish DataNode(lar)i	bin/hadoop dfsadmin -refreshNodes

Brauzer interfeysi

Oddiy HDFS o'rnatilishi konfiguratsiya qilinadigan TCP porti orqali HDFS nom maydonini ochish uchun veb-serverni sozlaydi. Bu foydalanuvchiga HDFS nom maydonida harakat qilish va veb-brauzer yordamida fayllar tarkibini ko'rish imkonini beradi.

Kosmik rekultivatsiya

Faylni o'chirish va bekor qilish

Fayl foydalanuvchi yoki dastur tomonidan o'chirilganda, u darhol HDFSdan o'chirilmaydi. Buning o'rniga, HDFS avval uni / trash katalogidagi faylga o'zgartiradi . Fayl /trash ichida qolsa, uni tezda tiklash mumkin . Fayl sozlanishi mumkin bo'lgan vaqt / trash ichida qoladi. /trash dagi ishlash muddati tugagandan so'ng , NameNode faylni HDFS nom maydonidan o'chiradi. Faylni o'chirish fayl bilan bog'langan bloklarni ozod qilishga olib keladi. E'tibor bering, foydalanuvchi tomonidan faylni o'chirish vaqti va HDFS-dagi bo'sh joyning mos ravishda ko'payishi vaqti o'rtasida sezilarli kechikish bo'lishi mumkin.
Foydalanuvchi faylni o'chirib tashlaganidan so'ng, u /trash katalogida qolsa, uni bekor qilishi mumkin. Agar foydalanuvchi o'zi o'chirib tashlagan faylni bekor qilmoqchi bo'lsa, u /trash katalogiga o'tishi va faylni olishi mumkin. /Trash katalogida faqat o'chirilgan faylning oxirgi nusxasi mavjud. /Trash katalogi bitta maxsus xususiyatga ega bo'lgan har qanday boshqa katalogga o'xshaydi: HDFS ushbu katalogdan fayllarni avtomatik ravishda o'chirish uchun belgilangan siyosatlarni qo'llaydi. Joriy standart siyosat 6 soatdan ortiq eski fayllarni /trash- dan o'chirishdir . Kelajakda ushbu siyosat yaxshi belgilangan interfeys orqali sozlanishi mumkin.

Replikatsiya faktorini kamaytirish

Faylning replikatsiya omili kamaytirilganda, NameNode o'chirilishi mumkin bo'lgan ortiqcha replikalarni tanlaydi. Keyingi Heartbeat bu ma'lumotni DataNode-ga o'tkazadi. Keyin DataNode mos keladigan bloklarni olib tashlaydi va klasterda mos keladigan bo'sh joy paydo bo'ladi. Yana bir bor, setReplication API chaqiruvining tugashi va klasterda bo'sh joy paydo bo'lishi o'rtasida kechikish bo'lishi mumkin.

XULOSA
Men xulosa o’rnida shuni aytishim mumkunki Definition Hive - bu Apache Hadoop ustiga qurilgan ulkan ma'lumotlar to'plamlarini so'rash va tahlil qilish uchun ma'lumotlar ilovasi interfeysi. U boshqa dasturlar, vositalar va dasturlardan professionallar tomonidan afzal ko'riladi, chunki u birinchi navbatda Hive-ning boy ma'lumotlari uchun mo'ljallangan va ulardan foydalanish oson.
Umid qilamanki, ushbu qo'llanma bizga Apache Hive-ni ishga tushirishga va ish jarayonlaringizni yanada samaraliroq qilishga yordam beradi.
Apache Hive HiveQL (SQL-ga o'xshash) tilida yozilgan kiritish dasturini bir yoki bir nechta Java MapReduce, Tez yoki Spark vazifalariga aylantiradi. (Ushbu ijro mexanizmlarining barchasi Hadoop YARN bilan mos keladi.) Shundan so'ng, Apache Hive ma'lumotlarni Hadoop Distributed File System HDFS uchun jadvallarga joylashtiradi) va javob olish uchun klasterdagi vazifalarni bajaradi.