Muhammad al-xorazmiy nomidagi toshkent axborot texnologiyalari universiteti qarshi

O’ZBEKISTON RESPUBLIKASI AXBOROT TEXNOLOGIYALARI VA KOMMUNIKATSIYALARINI RIVOJLANTIRISH VAZIRLIGI

MUHAMMAD AL-XORAZMIY NOMIDAGI TOSHKENT AXBOROT TEXNOLOGIYALARI UNIVERSITETI QARSHI FILIALI

“ KI ” FAKULTETI

4 – BOSQICH DI 13-19 GURUH TALABASINING
“EVOLYUTSION ALGORITMLAR” FANIDAN TAYYORLAGAN
5-mustaqil ish

Bajardi: A. RAJABOV

Qabul qildi:  ABDULLAYEV R. N. 

QARSHI – 2023
5-MUSTAQIL ISH
Mashinali o‘qitish modellari giperparametrlarini sozlash Chuqur o‘qitish tarmoq arxitekturasini optimallashtirish
Reja:
1. Giperparametrlarni sozlash
2. Chuqur o'rganish tarmog'i arxitekturasini optimallashtirish
3. Xulosa

1. Giperparametrlarni sozlash
Giperparametrlarni sozlash va chuqur o'rganish tarmog'i arxitekturasini optimallashtirish muvaffaqiyatli mashinani o'rganish modellarini yaratishda ikkita muhim vazifadir. Bu erda har birining qisqacha ko'rinishi:
Giperparametrlarni sozlash:
Giperparametrlar mashinani o'rganish modelining parametrlari bo'lib, ular ma'lumotlardan o'rganilmaydi, lekin modelni o'rgatishdan oldin o'rnatilishi kerak. Giperparametrlarga o'rganish tezligi, tartibga solish kuchi va partiya hajmi kiradi. Ushbu giperparametrlar modelning ishlashiga sezilarli ta'sir ko'rsatadi va eng yaxshi natijalarga erishish uchun ularni ehtiyotkorlik bilan sozlash juda muhimdir.
Giperparametrlarni sozlash jarayoni har bir giperparametr uchun qiymatlar diapazonini tanlashni va keyin modelni har bir giperparametrlar kombinatsiyasi bilan eng yaxshi samarali kombinatsiyani topishga o'rgatishni o'z ichiga oladi. Bu jarayon ko'p vaqt va resurslarni talab qilishi mumkin, ammo modelning eng yaxshi ishlashiga erishish kerak.
Giperparametrlarni sozlashning turli xil yondashuvlari mavjud, masalan, panjara qidirish, tasodifiy qidiruv va Bayesian optimallashtirish. Grid qidiruvi giperparametrlar tarmog'ini aniqlashni va modelni giperparametrlarning har bir kombinatsiyasi bilan o'rgatishni o'z ichiga oladi. Tasodifiy qidiruv ma'lum qidiruv maydonidan giperparametrlarning kombinatsiyalarini tasodifiy tanlab olishni o'z ichiga oladi. Bayesian optimallashtirish - bu keyingi iteratsiya uchun giperparametrlarni tanlashga rahbarlik qilish uchun oldingi o'quv iteratsiyalaridan foydalanadigan yanada rivojlangan usul.

Chuqur o'rganish tarmog'i arxitekturasini optimallashtirish:

Chuqur o'rganish tarmog'ining arxitekturasi - bu modelni tashkil etuvchi qatlamlar, tugunlar va ulanishlarning joylashishi. Tarmoq arxitekturasini optimallashtirish muayyan vazifa uchun eng yaxshi ishlashga erishish uchun qatlamlar va tugunlarning to'g'ri kombinatsiyasini tanlashni o'z ichiga oladi.
Giperparametrlar - bu mashinani o'rganish modelining arxitekturasi va xatti-harakatlarini belgilaydigan parametrlar. Ular o'quv jarayonida ma'lumotlardan o'rganilmaydi, lekin modelni o'rgatishdan oldin o'rnatilishi kerak. Giperparametrlarni tanlash modelning ishlashiga sezilarli ta'sir ko'rsatadi va to'g'ri qiymatlarni tanlash yuqori aniqlik va yaxshi umumlashtirishga erishish uchun hal qiluvchi ahamiyatga ega bo'lishi mumkin.
Mashinani o'rganish modellarida ishlatiladigan bir nechta umumiy giperparametrlar mavjud, jumladan:
O'rganish tezligi: Ushbu giperparametr model parametrlarini yangilash uchun optimallashtirish paytida olingan qadam hajmini boshqaradi. Yuqori o'rganish tezligi tezroq konvergentsiyaga olib kelishi mumkin, ammo model optimal echimdan oshib ketishiga olib kelishi mumkin. Pastroq o'rganish tezligi sekinroq konvergentsiyaga olib kelishi mumkin, ammo yaxshi barqarorlik va aniqlikka olib kelishi mumkin.
Regularizatsiya kuchi: Regularizatsiya - bu mashinani o'rganish modellarida haddan tashqari moslashishning oldini olish uchun ishlatiladigan usul. Regularizatsiya kuchi mashg'ulot paytida modelning og'irliklariga nisbatan qo'llaniladigan jazoning kuchini nazorat qiladi. Yuqori tartibga solish kuchi kamroq dispersiyaga ega oddiyroq modelga olib kelishi mumkin, lekin yuqori tarafkashlikka olib kelishi mumkin. Kamroq tartibga solish quvvati yuqori dispersiyaga ega bo'lgan murakkabroq modelga olib kelishi mumkin, ammo past tarafkashlikka olib kelishi mumkin.
Partiya hajmi: Ushbu giperparametr har bir iteratsiya davomida model parametrlarini yangilash uchun foydalaniladigan o'quv namunalari sonini nazorat qiladi. Kattaroq partiya hajmi tezroq konvergentsiyaga olib kelishi mumkin, lekin ko'proq xotira talab qilishi va kamroq barqaror optimallashtirish jarayoniga olib kelishi mumkin. Kichikroq partiya hajmi sekinroq konvergentsiyaga olib kelishi mumkin, ammo yanada barqaror optimallashtirish va yaxshiroq umumlashtirishga olib kelishi mumkin.
Boshqa giperparametrlar neyron tarmog'idagi qatlamlar va tugunlar sonini, har bir qatlamda ishlatiladigan faollashtirish funktsiyasini va model parametrlarini yangilash uchun ishlatiladigan optimallashtiruvchini o'z ichiga olishi mumkin.
Giperparametrlarni sozlash, berilgan topshiriqda mumkin bo'lgan eng yaxshi ishlashga erishish uchun ushbu parametrlar uchun optimal qiymatlarni tanlashni o'z ichiga oladi. Giperparametrlarni sozlashning bir necha yondashuvlari mavjud, jumladan:
Grid qidiruvi: Grid qidiruvida giperparametrlar to'plami aniqlanadi va model giperparametrlarning barcha mumkin bo'lgan kombinatsiyalariga o'rgatiladi va baholanadi. Ushbu yondashuv ko'p vaqt talab qilishi mumkin, ammo giperparametr maydonini to'liq qidirishga olib kelishi mumkin.
Tasodifiy qidiruv: Tasodifiy qidiruvda giperparametrlar oldindan belgilangan diapazon yoki taqsimotdan tasodifiy tanlanadi. Ushbu yondashuv tarmoq qidiruvidan ko'ra samaraliroq bo'lishi mumkin va yuqori o'lchamli giperparametrli bo'shliqlarda samarali bo'lishi mumkin.

Bayesian optimallashtirish: Bayesian optimallashtirish optimal giperparametrlarni qidirishga rahbarlik qilish uchun ehtimollik modelidan foydalanadi. Bu tarmoq qidiruvi yoki tasodifiy qidiruvdan ko'ra samaraliroq bo'lishi mumkin va optimal giperparametrlarga tezroq yaqinlashishi mumkin.

Umuman olganda, giperparametrlarni sozlash samarali mashinani o'rganish modellarini yaratishda muhim qadamdir. Giperparametrlarni ehtiyotkorlik bilan tanlash va sozlash modelning ishlashini yaxshilashga va ko'rinmaydigan ma'lumotlarni yaxshiroq umumlashtirishga olib kelishi mumkin.
Tarmoq arxitekturasini optimallashtirish jarayoni turli arxitekturalarni sinab ko'rish, ularning topshiriqdagi ishlashini baholash va eng yaxshi ishlaydigan arxitekturani tanlashni o'z ichiga oladi. Bu jarayon giperparametrlarni sozlashga o'xshaydi, lekin giperparametrlarni emas, balki tarmoq strukturasini o'zgartirishni o'z ichiga oladi.