Mavzu; Klaster tizimlarini qurish va ishlashi

Mavzu; Klaster tizimlarini qurish va ishlashi
Multiprotsessorli hisoblash tizimlarini rivojlantirish SMP, MPP, vektorli parallel tizimlar kabi hisoblash tizimlarini qurish uchun an'anaviy me'morchilikni rivojlantirish juda tez sur'atlarda davom etmoqda. Ishlash darajasi oshadi, ishonchlilik va nosozliklarga chidamlilik kuchayadi. Biroq, ushbu arxitekturalarning bitta kamchiliklari bor - yaratilayotgan tizimlarning narxi, ba'zida bunday tizimlarning ko'plab foydalanuvchilari - ta'lim va tadqiqot tashkilotlari uchun kirish mumkin emas. Bu unumdorlikning o'sish sur'atlarini ta'minlash uchun zarur bo'lgan tizimning apparat va dasturiy ta'minot qismlarining murakkabligi tufayli juda yuqori. Ammo, hozirgi vaqtda ilmiy va amaliy faoliyatning ko'plab sohalarida hisoblash resurslariga bo'lgan ehtiyoj juda yuqori va uni ta'minlash uchun an'anaviy superkompyuter tizimlarining resurslari etarli emas. Klaster tizimlari hisoblash resurslari etishmasligi muammosining arzon echimi sifatida paydo bo'ldi va keng tarqalgan va nisbatan arzon texnologiyalar, apparat va dasturiy ta'minot, masalan, arxitekturasida kompyuter, chekilgan, Linux va boshqalarni ishlatishga asoslangan. Klaster tizimlarida ommaviy texnologiyalardan foydalanish odatiy hisoblash tizimlarining markaziy protsessorlar, operatsion tizimlar va aloqa muhitlari kabi tarkibiy qismlarini ishlab chiqishda sezilarli yutuqlar tufayli mumkin bo'ldi. Klaster tizimlari me'moriy jihatdan katta miqdordagi parallelizmga ega tizimlarning rivojlanishi bo'lgani uchun, ularning rivojlanishidagi asosiy rol tarmoq texnologiyalari sohasidagi yutuqlardir. Hozirga kelib arzon, ammo samarali aloqa echimlari paydo bo'ldi. Bu klaster hisoblash tizimlarining tez paydo bo'lishi va rivojlanishini oldindan belgilab qo'ydi. Klaster tizimlarining rivojlanishida boshqa omillar ham yordam berdi. So'nggi yillarda Intel protsessorlariga asoslangan shaxsiy kompyuterlarning ishlashi ham sezilarli darajada o'sdi. Bunday kompyuterlar qimmatroq va kuchli RISC protsessorlariga asoslangan ish stantsiyalari uchun jiddiy raqobatni yuzaga keltira boshladi. Shu bilan birga, Linux operatsion tizimi, UNIX-ning bepul versiyasi tobora ommalashib bora boshladi. Shu bilan birga, aksariyat klaster tizimlari ishlab chiqilgan ilmiy tashkilotlar va universitetlarda, qoida tariqasida, Linux mutaxassislari mavjud. Bugungi kunda klaster tizimlarining yuqori darajada rivojlanganligi shundan dalolat beradiki, dunyodagi eng kuchli superkompyuterlar ro'yxatida Top500 - 11 ta klasterli o'rnatish mavjud. Zamonaviy parallel kompyuterlarning asosiy sinflari Klasterli tizimlar - bu parallel tizimlarning rivojlanishi. Hisoblash tizimlarining parallel me'morchiligining boshqa turlari qatorida klaster tizimlarining o'rnini ko'rsatish uchun ularning tasnifini berish kerak. Parallel tizimlarni turli mezonlarga ko'ra tasniflash mumkin. Uskuna nuqtai nazaridan parallel kompyuterlarni tasniflashning asosiy parametri umumiy (SMP) yoki taqsimlangan xotira (MPP) mavjudligidir. SMP va MPP o'rtasida nimadir - bu xotira jismonan ajratilgan, ammo mantiqan taqsimlanadigan NUMA arxitekturasi. Simmetrik multiprotsessorli tizimlar SMP tizimi bir nechta bir hil protsessorlardan va umumiy xotira massividan iborat. Kengaytirilgan, umumiy xotira tizimini shakllantirish uchun tez-tez SMP arxitekturalarida qo'llaniladigan yondashuvlardan biri bu o'lchovli xotira-protsessor kanalini tashkil qilish orqali xotiraga kirishni bir xilda tashkil etishdir:



Bunday arxitekturada protsessor va xotira modullari birlashtirilgan bo'lib, shuning uchun mahalliy xotiraga kirish tezligi "qo'shni" protsessor xotirasiga qaraganda ancha yuqori. I / U quyi tizimlari har bir tugunning bir qismi bo'lishi mumkin yoki ajratilgan I / U tugunlarida birlashtirilishi mumkin. Agar tizimda keshning izchilligi saqlanib qolsa, u holda bu arxitektura cc-NUMA deb nomlanadi. NUMA tizimini tavsiflashning eng oson usuli - bu bir necha qismlarga bo'lingan katta SMP tizimini tasavvur qilish, bu qismlar tizim avtobuslariga ulangan aloqa shinasi bilan bog'langan va har bir qism o'zining asosiy xotirasi va I / U quyi tizimini o'z ichiga oladi. Bu NUMA: katta SMP, kichikroq va sodda SMP-larga bo'lingan. NUMA bilan bog'liq asosiy muammo keshning muvofiqligini ta'minlashdir. Uskuna tizimning tarkibiy qismlarini (odatda tugunlar deb ataladi) asosiy xotirasining barcha alohida qurilmalari bilan bitta ulkan xotira singari ishlashga imkon beradi. Klaster arxitekturasi Ushbu tasnifda hisoblash tizimlarining klaster arxitekturasining o'rnini ko'rib chiqing. Klaster - bu bitta manba sifatida ishlatiladigan o'zaro bog'liq bo'lgan to'liq kompyuterlarning to'plamidir. "To'liq kompyuter" atamasi uning ishlashi uchun zarur bo'lgan barcha narsalarga, shu jumladan protsessorlarga, xotiraga, kirish / chiqish quyi tizimiga, shuningdek operatsion tizimga, quyi tizimlarga, dasturlarga va boshqalarga ega bo'lgan to'liq kompyuter tizimini anglatadi. Odatda, bunga shaxsiy kompyuterlar yoki parallel tizimlar mos keladi, ular SMP va hatto NUMA arxitekturasiga ega bo'lishi mumkin. Klasterlar - bu erkin bog'langan tizimlar, tugunli aloqa avtobus arxitekturasi yoki kalitga asoslangan standart tarmoq texnologiyalaridan birini (Fast / Gigabit Ethernet, Myrinet) ishlatadi. Shuning uchun, ular qurish uchun MPP arxitekturasining arzonroq modifikatsiyasi. Parallel kompyuterlarning klaster arxitekturasi Umumiy tamoyillar Avval aytib o'tganimizdek, hisoblash klasteri - bu bitta muammoni hal qilish uchun tarmoq ichida birlashtirilgan kompyuterlar to'plami (3-rasm), bu foydalanuvchiga bitta manba sifatida taqdim etiladi. Klasterning ushbu kontseptsiyasi birinchi bo'lib 80-yillarning boshlarida ushbu uskunani hanuzgacha ishlab chiqadigan Digital Equipment Corporation tomonidan taklif qilingan va amalga oshirilgan. Yagona Resurs deganda foydalanuvchilarga, ma'murlarga va dasturlarga ular ishlaydigan bitta ob'ekt - klaster mavjudligini taxmin qilishga imkon beradigan dasturiy ta'minot mavjudligi tushuniladi. Masalan, klasterlarni qayta ishlash tizimi har qanday shaxsiy kompyuterga emas, balki klasterga ishlov berish uchun ish yuborishga imkon beradi. Keyinchalik murakkab misol - ma'lumotlar bazasi tizimlari. Deyarli barcha ma'lumotlar bazalarini etkazib beruvchilar klasterdagi bir nechta mashinalarda parallel ravishda ishlaydigan versiyalarga ega. Natijada, ma'lumotlar bazasidan foydalanadigan dasturlar o'z ishlarining qayerda bajarilishi haqida qayg'urmasliklari kerak. Parallel harakatlarni sinxronlashtirish va ma'lumotlar bazasining yaxlitligini saqlash uchun MBB javob beradi. Klasterni tashkil etadigan kompyuterlar - klaster tugunlari deb ataladigan har doim nisbatan mustaqil bo'lib, bu ularning birortasini to'xtatish yoki o'chirish, butun klasterni buzmasdan parvarishlash ishlarini olib borish yoki qo'shimcha uskunalarni o'rnatish imkonini beradi.



Bitta protsessorli shaxsiy kompyuterlar, ikki yoki to'rt protsessorli SMP-serverlar odatda klasterda hisoblash tugunlari sifatida ishlatiladi. Har bir tugun operatsion tizimning o'z nusxasini ishlaydi, bu ko'pincha standart operatsion tizimlar: Linux, NT, Solaris va boshqalar. Tugunlarning tarkibi va hajmi bir xil klaster ichida ham o'zgarishi mumkin, bu geterogen tizimlarni yaratishga imkon beradi. Muayyan aloqa muhitini tanlash ko'plab omillar bilan belgilanadi: echilayotgan vazifalar sinfining o'ziga xos xususiyatlari, klasterni yanada kengaytirish zarurati va boshqalar. Konfiguratsiyaga ixtisoslashgan kompyuterlarni kiritish mumkin, masalan, fayl serveri va odatda Internet orqali klasterga masofadan kirish imkoniyati ta'minlanadi. Klaster tizimlarining arxitekturasi ta'rifidan kelib chiqadiki, u juda keng tizimlarni o'z ichiga oladi. Ekstremal nuqtalarni hisobga olgan holda, klasterni mahalliy 10 megabitli Ethernet tarmog'i bilan bog'langan shaxsiy kompyuterlar juftligi, shuningdek Sandia milliy laboratoriyasida Cplant loyihasi doirasida yaratilgan kompyuter tizimi deb hisoblash mumkin: yuqori tezlikda ishlaydigan Mirinet tarmog'i bilan bog'langan Alpha protsessorlariga asoslangan 1400 ish stantsiyalari. Shunday qilib, klasterlarni qurish uchun juda ko'p turli xil variantlar mavjudligi aniq. Shu bilan birga, ishlatiladigan aloqa texnologiyalari va standartlari klaster me'morchiligida katta ahamiyatga ega. Ular asosan ushbu texnologiyalar asosida qurilgan klasterlardan foydalanish mumkin bo'lgan vazifalar doirasini aniqlaydilar. Klasterlarni qurish uchun aloqa texnologiyalari Klasterlar ma'lumotlarni uzatish bo'yicha ixtisoslashgan yuqori tezlikda ishlaydigan avtobuslar asosida ham, ommaviy tarmoq texnologiyalari asosida ham qurilishi mumkin. Ommaviy aloqa standartlari orasida eng ko'p ishlatiladigan tarmoq Ethernet yoki uning yanada samarali versiyasi - tezkor chekilgan, qoida tariqasida, kalitlarga asoslangan. Biroq, tezkor chekilgan tarmoq orqali xabar almashishning katta xarajatlari bunday klasterda samarali echilishi mumkin bo'lgan vazifalar doirasidagi jiddiy cheklovlarga olib keladi. Agar klaster yanada yuqori ishlash va ko'p qirralilikni talab qilsa, unda tezroq va ko'proq ixtisoslashgan texnologiyalardan foydalanish zarur. Ularga SCI, Myrinet, cLAN, ServerNet va boshqalar kiradi. Ushbu texnologiyalar parametrlarining qiyosiy xarakteristikalari 1-jadval. ServerNet Tez chekilgan Kechikish (MPI) O'tkazish qobiliyati (MPI) 180 MB / s Tarmoqli kenglik (apparat) 400 MB / s 160 MB / s 150 MB / s 12,5 MB / s MPIni amalga oshirish HPVM, MPICH-GM va boshqalar. 1-jadval. Klaster tizimlarida aloqa tarmoqlarining ishlashi bir nechta sonli xususiyatlar bilan belgilanadi. Ikkita asosiy xususiyat mavjud: kechikish - xabarlarni yuborishda dastlabki kechikish vaqti va aloqa kanallari orqali ma'lumot uzatish tezligini belgilaydigan tarmoq o'tkazuvchanligi. Bunday holda, standartda e'lon qilingan eng yuqori ko'rsatkichlar emas, balki foydalanuvchi dasturlari darajasida, masalan, MPI dasturlari darajasida erishilgan haqiqiy ko'rsatkichlar muhim ahamiyatga ega. Xususan, foydalanuvchi xabarni jo'natish () funktsiyasini chaqirgandan so'ng, protsessorni tark etishdan oldin dastur ketma-ket ravishda dasturiy ta'minot va apparatni tashkil etishning o'ziga xos xususiyatlari bilan aniqlangan butun qatlamlar to'plamidan o'tadi - shuning uchun kechikish qiymatlari standartlarida sezilarli buzilish mavjud. Kechikishning mavjudligi, tarmoq bo'ylab maksimal uzatish tezligiga kichik uzunlikdagi xabarlar bilan erishish mumkin emasligiga olib keladi. Tez chekilgan va o'lchovli izchil interfeys (SCI) tarmoq ma'lumotlarini uzatish tezligi xabar uzunligiga bog'liq. Tezkor Ethernet yuqori kechikish bilan tavsiflanadi - 160-180 ms, SCI kechikishi esa taxminan 5,6 ms. Xuddi shu texnologiyalar uchun maksimal uzatish tezligi mos ravishda 10 MB / s va 80 MB / s ni tashkil qiladi. Klaster tizimlarini yaratish maqsadlari Klaster tizimi me'morlari ularni yaratishda turli xil maqsadlarni ko'zladilar. Birinchisi, VAX / VMS klasterli raqamli uskunalar. Ushbu mashinaning maqsadi tizimning ishonchliligini oshirish, tizimning yuqori darajada mavjudligini va xatolarga chidamliligini ta'minlash edi. Hozirgi vaqtda boshqa ishlab chiqaruvchilarning o'xshash arxitekturasiga ega tizimlar mavjud. Klaster tizimlarini yaratishning yana bir maqsadi - arzon narxlardagi, yuqori samarali parallel hisoblash tizimlarini yaratish. Parallel tizimlarning butun sinfiga nom bergan birinchi loyihalardan biri - Beowulf klasteri - Yer va kosmik fanlari loyihasini zarur hisoblash manbalari bilan qo'llab-quvvatlash uchun NASA ning Goddard kosmik parvoz markazida paydo bo'ldi. Beowulf loyihasi 1994 yil yozida boshlandi va tez orada 16 protsessorli klaster Intel 486DX4 / 100 MGts protsessorlarida yig'ildi. Har bir tugunda 16 MB RAM va 3 ta chekilgan tarmoq adapteri mavjud edi. Ushbu tizim narxlar / ishlash nisbati jihatidan juda muvaffaqiyatli bo'lib chiqdi, shuning uchun ushbu arxitektura rivojlanib, boshqa ilmiy tashkilotlar va institutlarda keng qo'llanila boshlandi. Klasterlarning har bir klassi o'ziga xos arxitektura xususiyatlariga va ishlatilgan texnik vositalarga ega. Keling, ularni batafsil ko'rib chiqaylik. Failover klasterlari Qurilish tamoyillari Hisoblash tizimlarining ishonchliligi va nosozliklarga bardoshliligini ta'minlash uchun turli xil apparat va dasturiy echimlardan foydalaniladi. Masalan, tizim barcha nosoz elementlarni - quvvat manbalarini, protsessorlarni, RAMni va tashqi xotirani nusxalashi mumkin. Keraksiz tarkibiy qismlarga ega bo'lgan bunday nosozliklarga chidamli tizimlar hozirgi vaqtda 99% ish vaqti ehtimoli bilan baholangan an'anaviy hisoblash tizimlarining ishonchliligi etarli bo'lmagan muammolarni hal qilish uchun ishlatiladi. Bunday muammolarda 99,999% yoki undan yuqori ehtimollik talab qilinadi. Yuqoridagi holatlardan kelib chiqadigan xatolarga chidamliligini oshirishning turli usullarini qo'llash orqali ushbu ishonchga erishish mumkin. Hisoblash tizimining foydalanishga tayyorligi darajasiga qarab ishonchlilikning to'rt turi mavjud: Tayyorlik darajasi,% Maks. ishlamay qolishi Tizim turi Yiliga 3,5 kun An'anaviy Yiliga 8,5 soat Mavjudligi yuqori Yiliga 1 soat Xatoga chidamli Yiliga 5 daqiqa Xatolarga bardoshli Jadval 2. Haddan tashqari tarkibiy qismlarga ega bo'lgan nosozliklarga chidamli tizimlardan va turli xil ko'p ishlov berish variantlaridan farqli o'laroq, klasterlar bir-biridan nisbatan mustaqil bo'lgan mashinalarni birlashtiradi, ularning har biri profilaktika yoki qayta konfiguratsiya uchun to'xtatilishi mumkin, umuman klasterning sog'lig'ini buzmaydi. Klasterning yuqori ishlashi va dasturning minimallashtirilgan to'xtash vaqti quyidagilarga erishiladi: tugunlardan birida dasturiy ta'minot ishlamay qolsa, dastur o'z ishini davom ettiradi yoki klasterning boshqa tugunlarida avtomatik ravishda qayta boshlanadi; tugunlardan birining (yoki bir nechtasining) ishlamay qolishi butun klaster tizimining qulashiga olib kelmaydi; ta'mirlash va ta'mirlash ishlari, qayta konfiguratsiya yoki dasturiy ta'minot versiyasini o'zgartirish, odatda, boshqa tugunlarning ishini to'xtatmasdan, klaster tugunlarida birma-bir amalga oshirilishi mumkin. Klasterning ajralmas qismi bu maxsus dasturiy ta'minot bo'lib, u aslida ishlamay qolganda tugunni tiklash muammosini hal qiladi va boshqa muammolarni ham hal qiladi. Klaster dasturi odatda tizim uchun oldindan belgilangan bir necha tiklash stsenariylariga ega va shuningdek, ma'murga bunday stsenariylarni sozlash imkoniyatini berishi mumkin. Tabiiy ofatlarni tiklash butun tugun uchun ham, uning alohida komponentlari uchun ham qo'llanilishi mumkin - ilovalar, disk hajmi va boshqalar. Ushbu funktsiya tizim ishlamay qolganda avtomatik ravishda ishga tushiriladi va administrator tomonidan, masalan, qayta sozlash uchun tugunlardan birini o'chirib qo'yishi kerak bo'lsa, ishga tushirilishi mumkin. Klasterlar tashqi disklarda, odatda RAID disklar qatorida umumiy xotiraga ega bo'lishi mumkin. RAID disk massivi - bu katta hajmdagi ma'lumotlarni saqlash uchun serverni kiritish-chiqarish quyi tizimi. RAID massivlarida juda katta miqdordagi ma'lumotlarni saqlash va yuqori ishonchlilik va ortiqcha bilan ta'minlash uchun nisbatan kichik disklardan foydalaniladi. Bunday massiv kompyuter tomonidan bitta mantiqiy qurilma sifatida qabul qilinadi. Tabiiy ofatlarni tiklash butun tugun uchun ham, uning alohida komponentlari uchun ham qo'llanilishi mumkin - ilovalar, disk hajmi va boshqalar. Ushbu funktsiya tizim ishlamay qolganda avtomatik ravishda ishga tushiriladi va administrator tomonidan, masalan, qayta konfiguratsiya qilish uchun tugunlardan birini o'chirib qo'yish kerak bo'lsa, ishga tushirilishi mumkin. Klaster tugunlari bir-birining sog'lig'ini kuzatib boradi va klaster konfiguratsiyasi kabi o'ziga xos "klaster" ma'lumotlarini almashadi va umumiy disklar o'rtasida ma'lumotlarni uzatadi va ulardan foydalanishni muvofiqlashtiradi. Sog'liqni saqlash monitoringi ularning normal ishlashini tasdiqlash uchun klaster tugunlari bir-biriga uzatadigan maxsus signal yordamida amalga oshiriladi. Tugunlardan biri signal berishni to'xtatganda, u klaster dasturiy ta'minotida nosozlik yuz berganligi va qolgan tugunlarga yukni qayta taqsimlash zarurligi to'g'risida signal beradi. Masalan, VAX / VMS ishlamay qolgan klasterini ko'rib chiqing. VAX / VMS klasteri DEC 1983 yilda birinchi bo'lib klaster tizimining kontseptsiyasini e'lon qildi va uni yagona axborotni qayta ishlash birligini ifodalovchi o'zaro bog'liq kompyuterlar guruhi sifatida aniqladi. Aslida, VAX klasteri - bu birlashtirilgan boshqarish va boshqarish mexanizmini ta'minlaydigan umumiy tashqi xotiraga ega bo'lgan juda bog'langan, ko'p mashinali tizim. VAX klasteri quyidagi xususiyatlarga ega: Resurslarni baham ko'rish. Klasterdagi VAX kompyuterlari umumiy lenta va disk drayvlariga kirish huquqini bo'lishishi mumkin. Klasterdagi barcha VAX kompyuterlari alohida ma'lumotlar fayllariga lokal sifatida kirishlari mumkin. Mavjudligi yuqori. Agar VAX kompyuterlaridan biri ishlamay qolsa, uning foydalanuvchilarining vazifalari avtomatik ravishda klasterdagi boshqa kompyuterga o'tkazilishi mumkin. Agar tizimda bir nechta HSC mavjud bo'lsa va ulardan biri ishlamay qolsa, boshqa HSClar o'zlarini avtomatik ravishda egallab olishadi. Yuqori mahsuldorlik ... Bir qator amaliy tizimlar klasterdagi bir nechta kompyuterlarda vazifalarni parallel bajarilishidan foydalanishlari mumkin. Tizimning xizmatga yaroqliligi ... Birgalikda ma'lumotlar bazalarini bitta joydan saqlash mumkin. Ilova dasturlari faqat bir marta umumiy klaster disklariga o'rnatilishi va klasterdagi barcha kompyuterlar o'rtasida bo'lishishi mumkin. Kengayish ... Klasterning hisoblash quvvatining oshishiga unga qo'shimcha VAX kompyuterlarini ulash orqali erishiladi. Klasterdagi barcha kompyuterlar uchun qo'shimcha magnit disklar va lenta disklari mavjud. VAX klasterining ishlashi ikkita asosiy komponent bilan belgilanadi. Birinchi komponent - bu yuqori tezlikda ishlaydigan aloqa mexanizmi, ikkinchisi - mijozlarga tizim xizmatiga shaffof kirishni ta'minlaydigan tizim dasturiy ta'minoti. Jismoniy jihatdan, klaster ichidagi ulanishlar har xil ishlash xususiyatlariga ega bo'lgan uch xil avtobus texnologiyalari yordamida amalga oshiriladi.