Mashinani o'rganish algoritmlari uchun giperparametr qidirish Hisoblash murakkabligini optimallashtirish

2. Tegishli ish
Dasturiy ta'minot paketidagi tavsiya etilgan giperparametr sozlamalari odatda oldingi tadqiqotlar va
tajribaga asoslanadi; shuning uchun bu yaxshi giperparametr sozlamalarini topishning yana bir usuli .
Standart sozlamalar sinov ma'lumotlar to'plamida qoniqarli natijalarni keltirsa ham, ular optimal umumiy
aniqlikni bermasligi mumkin. Giperparametrlarni optimallashtirish usullari ham variant hisoblanadi. Ushbu
usullar optimallashtirish algoritmlari bo'lib, ular mavjud ma'lumotlardan har qanday giperparametrlar
to'plami uchun mashinani o'rganish modelining umumlashtirish xatosini kamaytirish uchun foydalanadilar
[9].
Machine Translated by Google

---

Giperparametrlarni optimallashtirish panjara va qo'lda qidiruvlardan foydalanadi. Tasodifiy sinovlar
giperparametrlarni optimallashtirish uchun grid sinovlaridan ustundir [7]. Empirik dalillar chuqur neyron
tarmoqlar uchun tarmoq qidiruvi va qo'lda qidirishni qo'llab-quvvatlaydi. Xuddi shu mavzuni tasodifiy
izlash yaxshiroq yoki teng modellarni topishi mumkin. Tasodifiy qidiruv kengroq, kamroq jozibador
konfiguratsiya maydonini qidirish orqali yaxshi model natijalarini beradi . Qo'lda va tarmoq qidiruvi ettita
ma'lumotlar to'plamidan to'rttasida kamroq muqobil variantlardan ustun bo'lgan chuqur e'tiqod tarmoqlarini
ishlab chiqaradi . Gauss jarayoni tahlili faqat ma'lumotlar to'plamiga asoslangan giperparametrlarni ko'rib
chiqadi. Grid qidiruvi yangi ma'lumotlar to'plamlari bilan yaxshi ishlamaydi. So'nggi "Yuqori o'tkazuvchanlik"
algoritmlari yaxshi natijalarga erishish uchun ko'plab giperparametrlarni tekshiradi. Katta ierarxik
modellarga qiziqishning ortishi moslashuvchan (ketma-ket) giperparametrlarni optimallashtirish
algoritmlarini tasodifiy qidiruv bilan solishtirishni o'z ichiga oladi, chunki tasodifiy qidiruv taraqqiyotni
o'lchash mumkin bo'lgan tabiiy bazani ta'minlaydi.
Odamlar kichik iteratsiyali giperparametrlarni sozlashni boshqarishi mumkin. Ushbu topilmalar kompyuter
klasterlari va GPU protsessorlari algoritmik usullarni yaxshilashi mumkinligini ko'rsatadi. Giperparametr
Zamonaviy nazorat ostidagi mashinani o'rganish giperparametrlarni talab qiladi. Dasturiy ta'minotning
standart o'zgaruvchilaridan foydalanish, ularni aniq sozlash yoki sozlash orqali prognoz natijalarini optimallashtiring .
Ikki maqsad bu tergovni boshqaradi. Tadqiqotchilar algoritm mikrofon giperparametrining sozlanishi va
ma'lumotlarga asoslangan standart sozlamalarni baholash usullarini taqdim etadilar . Oltita mashinani o'rganish
algoritmlari va 38 OpenML ma'lumotlar to'plami sinovdan o'tkazildi. Ushbu metodologiyalar o'zgartirish imkoniyatini tahlil qiladi.
Ushbu strategiyani boshqalar bilan solishtirish uning haqiqiyligini tekshiradi. Eksperimental ravishda, OptABC eng yaxshi
amaliyotlardan ustundir.
Ushbu tushunchalar foydalanuvchilarga sozlash strategiyasini tanlashda, giperparametrlarga ustunlik
berishda va sozlash joylarini topishda yordam beradi. O'rganishdan oldin, mashinani o'rganish modellari
giperparametrlarga (yoki meta-parametrlarga) muhtoj, ammo trening parametrlarini o'zgartirish mumkin.
Optimal ma'lumotlar modelini taqdim etish uchun tadqiqotchilar tezda modelning giperparametrlarini
tanlashlari kerak. Giperparametrlarni o'rganish tizimini optimallashtirish hisoblash murakkabligini talab
qiladi
[15].
Tadqiqotchilar optimallashtirish usullarini birlashtirish, cheklangan maydonda qidirish va
mashg'ulot vaqtini qisqartirishni taklif qilishadi. Mualliflar adaptiv P va giperparametrlarni ajratgan holda
amaliy tadqiqotlar samaradorligini isbotladi .
Mashinani o'rganish muammolarini hal qilish uchun neyron tarmoqlardan foydalanganda ko'plab
giperparametrlarni o'zgartirish kerak . Ushbu maqola maqsadga yo'naltirilgan sezgirlik tahlilidan
foydalangan holda giperparametr tahlili va optimallashtirish uchun HSICga murojaat qiladi . Murakkab,
dushman muhitlar giperparametrlarni qo'llab-quvvatlaydi. Kategorik, diskret/mantiqiy va uzluksiz.
Sezuvchanlik tahlili murakkab
[16].
Giperparametrlarni optimallashtirgan neyron tarmog'ining chiqish
xatosiga giperparametr ta'sirini baholash uchun murakkab tahliliy o'lchov yaratildi . Buning afzalliklari
giperparametrlarni optimallashtirish kontekstida taqdim etilgan va HSIC asosidagi optimallashtirish
algoritmi yaratilgan va MNIST va Cipher an'anaviy mashina o'rganish ma'lumotlar to'plamlarida,
shuningdek, Runge funktsiyasi va Bateman tenglamalari yechimining yaqinlashuvida ishlatilgan. Bu usul
neyron tarmoqlarni hamyonbop qiladi.
Zamonaviy fotosuratlarni tasniflash mezonlariga javob berish uchun tadqiqotchilar yangi xususiyatlarni
o'rganish yondashuvlarini ishlab chiqish o'rniga, mavjud texnika kombinatsiyalarini yaxshilashga e'tibor qaratdilar .
NLP va MLda giperparametrlarni sozlash qiyin. Ketma-ket Bayesian optimallashtirish oldingi
ma'lumotlardan foydalangan holda iteratsiya va sinovlarni kamaytiradi. Bizning maqolamiz ko'proq
ma'lumotlar bilan ko'p bosqichli giperparametr optimallashtirishni tasvirlaydi. Birinchidan, nomzodlarning
tezligi va ishlashi tezda baholandi. Tadqiqotchilar ushbu yangi usulni Bayesian optimallashtirish bilan
bog'lashdi
[10].
Mashinani o'rganish muammolarni hal qiladi. Turli sharoitlar ML modeli giperparametrlarini
sozlashni talab qiladi
[14].
Giperparametrlar ML modelining ishlashiga ta'sir qiladi. Mashinani o'rganish va
giperparametrlarni optimallashtirish talab qilinadi. Avtonom optimallashtirish strategiyalarining ijobiy va
salbiy tomonlari bor. Bizning tadqiqotimiz unumdorlikni oshirish uchun mashinani o'rganish
giperparametrlarini o'zgartirdi va mashinani o'rganishni optimallashtirishni muhokama qildi. Biz hy
perparameter optimallashtirish tadqiqotlari va ko'rib chiqish vositalari va ramkalaridagi muammolarni hal
qilamiz. Benchmark ma'lumotlar to'plami optimallashtirish metodologiyalarini o'rganadi va giperparametrlarni
sozlashni ko'rsatadi. Mashinani o'rganish modellari uchun Hyperpa rameter sozlash sanoat foydalanuvchilari,
ma'lumotlar tahlilchilari va tadqiqotchilarga foyda keltiradi.
Jarayonlar 2023, 11, 349
3 / 21
Machine Translated by Google

---

Usullarni solishtirish qiyin; masalan, ML parametrlarini tanlash. Giperparametrlarni optimallashtirish
parametrlarni optimallashtirish uchun mashinani o'rganishdan foydalanadi. Tadqiqotchilar Bayes modelini
yaratish yondashuvini modelsiz, fundamental parametr o'zgarishlari bilan solishtirishdi . Tadqiqotchi ushbu
ish uchun Windows PE zararli dasturlarining katta benchmark ma'lumotlar to'plamidan EMBER dan foydalangan.
Fabolas yuqori sifatli echimlarni Bayesian yoki Hyperbandga qaraganda 10-100 baravar tezroq aniqlaydi.
BO yuqori mahsuldorlikka ega, mustaqil materialshunoslik bo'yicha tadqiqotlar olib boradi. Bir nechta testlar
BO ni turli materiallarda sinab ko'rdi
[23].
Tadqiqotchilar surrogat modellar va sotib olish funktsiyalaridan
foydalangan holda BO ni beshta moddiy tizimda tahlil qilishdi . Anizotrop yadroli Gauss jarayoni (GP) va
Tasodifiy o'rmon (RF) materiallarni optimallashtirish maqsadlarini tezlashtiradi va yaxshilaydi.
Bayesian optimallashtirish SVM va DNN-larni kengaytirdi. Katta ma'lumotlar to'plamlari uchun yagona
konfiguratsiyani o'rgatish va sinovdan o'tkazish ko'p vaqt talab etadi va unumdorlikni cheklaydi.
[18]
Modellarni generativ tekshirish xatosi va oÿquv majmuasi oÿlchami. Model optimallashtirish jarayonida
o'qitiladi, bu ekstrapolyatsiyadan oldin kichikroq kichik to'plamlarda konfiguratsiyani o'rganish imkonini
beradi. Tezlashtirilgan giperparametr optimallashtirishga olib keladi. FABOLAS - bu global optimallik va
qayta ishlash xarajatlarini muvozanatlashtiradigan Bayesian optimallashtirish yondashuvidir . FABOLAS
muammolarni Bayesian yoki Hyperbandga qaraganda 10-100 marta tezroq hal qiladi. HPO ML algoritmlarini
optimallashtiradi. Ko'pgina yagona maqsadli HPO yondashuvlari xatolarga asoslangan ko'rsatkichni
yaxshilashga qaratilgan
[19].
Oxirgi algoritmlar qarama-qarshi maqsadlar uchun optimallashtiradi. Ko'p
maqsadli HPO sifati o'lchovlari va davom etayotgan tadqiqotlarni solishtirish uchun metamodelga asoslangan,
metaevristik va gibrid algoritmlar muhokama qilindi.
Mantiqiy funksiyalardan foydalanib,
[24]
tadqiqotchilari oddiy giperparametrlarni optimallashtirish
usulini taqdim etadilar. Neyron tarmog'idagi giperparametrlar yuqori o'lchamli treningni namoyish etadi.
Iterativ ortogonal polinomni siqilgan sezish parallellashtirish imkonini beradi. Cifar-10 dagi eksperimentlar
shuni ko'rsatadiki, bu usul qo'lda sozlashdan ko'ra yaxshiroq (masalan, Hyperband va Spearmint). Giperband
va Bayesian optimallashtirish sekinroq. Tadqiqotchilar ushbu tushunchani sinab ko'rish uchun diskret Furye
o'zgarishlariga ega Tasodifiy qidiruv 8 qaror daraxtlarini o'rganishdi .
Javob yuzasi metodologiyasi (RSM) ANN, SVM va DBN (DBN) ni optimallashtirish uchun ishlatiladi .
Ushbu tadqiqot
[20]
RSM optimal giperparametr qiymatlarini olish uchun zarur bo'lgan yugurishlar sonini
kamaytirish bilan birga ML samaradorligini saqlab qolishi mumkinligini ko'rsatishga harakat qiladi . ML
algoritmlari material sifatini aniqlash uchun Tailand oziq-ovqat ishlab chiqaruvchisi ma'lumotlarini tahlil qildi.
Ma'lumotlarni bo'linish o'qitish, tekshirish va sinov to'plamlarida ML algoritmining samaradorligiga ta'sir qiladi.
Jarayonlar 2023, 11, 349
4 / 21
Bayesian optimallashtirish SVM va DNN-larni sozlashi mumkin. Katta ma'lumotlar to'plamini o'qitish va
tasdiqlash uchun soatlar, kunlar yoki haftalar ketishi mumkin . Tekshirish xatosi modelidagi o'quv majmuasi
o'lchami giperparametrni sozlashni tezlashtiradi. Modelning tuzilishi tufayli mualliflar to'liq ma'lumotlar to'plamida
eng yaxshisini amalga oshirishdan oldin o'quv ma'lumotlari bo'yicha ko'plab konfiguratsiyalarni sinab ko'rishadi.
Bayesian optimallashtirish Fabolas ma'lumotlar to'plami hajmiga qarab bilim olish va qayta ishlash xarajatlarini muvozanatlashtiradi.
optimallashtirish neyron tarmoqlar va DBNlarni o'rgatadi
[17].
Optimal giperparametr
qiymatlarini aniqlash uchun tasodifiy qidiruv va ochko'z ketma- ketlik yondashuvlari qo'llaniladi.
Tasodifiy qidiruv DBNlarni o'qitish uchun ishonchsizdir. Giperparametrlarni sozlash gradientsiz qiyin.
Giperparametr gradientlari impuls bilan stokastik gradient tushishi orqali hosil qilinadi.
Trening bosqichlarini qayta ko'rib chiqish tadqiqotchilarga o'zaro tekshirish gradientlarini baholashga
yordam beradi. Gradientlar o'n minglab giperparametrlarni optimallashtirish uchun ishlatilishi mumkin,
masalan, qadam o'lchami va harakat jadvallari, vaznni ishga tushirish taqsimoti va neyron tarmoq arxitekturasi.
Tadqiqotchilar MAE tasdiqlash to'plamidan foydalangan holda bashorat qilish aniqligini o'lchadilar. GS
va RSM giperparametr sozlamalari tasdiqlandi. GS giperparametr sozlamalari DBN uchun 80%, ANN
uchun esa 90% ishonchli . ANN, SVM va DBN mos ravishda RSM bilan 97, 97,79 va 97,81%
yugurishni tejaydi . Mashinalarni o'rganish vositalariga bo'lgan talab tufayli arzon HPO echimlari
mashhur bo'lib bormoqda. Giperparametrlar ML o'qitish xarajatlariga ta'sir qiladi. Mavjud HPO
algoritmlari bu muammoni e'tiborsiz qoldirib, xarajatlarni boshqarishni oldini oladi
[21].
Arzon HPO
ishlab chiqilmoqda . AutoML benchmarklari HPO dan ustundir. Akademik va biznes guruhlari zararli
dasturlarni aniqlash uchun ishlaydi. Bir nechta tadqiqotlar
[22]
zararli dasturlarni aniqlash uchun mashinani o'rganishdan foydalangan.
GP eng ishonchli hisoblanadi, garchi RF tarqatish taxminlari yo'qligi, murakkabligi pastligi va
boshlang'ich giperparametr talablari kamroq bo'lgani uchun qo'shimcha o'rganishni talab qiladi.
Anizotrop yadrolar yordamida kelajakdagi GP optimallashtirish ham muhokama qilindi.
Machine Translated by Google

---

Ushbu tadqiqot mashinani o'rganish texnikasini o'z ichiga oladi. Hujjat giperparametrlarni optimallashtirish
kutubxonalari va ramkalariga kirish imkonini beradi. Benchmark ma'lumotlar to'plamida optimallashtirish usullari
va giperparametrlarni optimallashtirish sinovdan o'tkaziladi. Ushbu so'rov biznes foydalanuvchilari, ma'lumotlar
tahlilchilari va akademik tadqiqotchilarga aniqroq mashinani o'rganish modellarini yaratishda yordam berishi mumkin.