Mashinali o’qitishga kirish” fanidan mustaqil ish №2

2. Gradient tushishini tushunish uchun o'xshashlik.
Gradient tushish ortidagi asosiy sezgi gipotetik stsenariy bilan aks ettirilishi mumkin. Biror kishi tog'larda qolib, pastga tushishga harakat qilmoqda (ya'ni global minimal darajani topishga harakat qilmoqda). Ko'rinadigan joy juda past bo'lganligi sababli kuchli tuman mavjud. Shuning uchun tog'dan pastga tushadigan yo'l ko'rinmaydi, shuning uchun ular minimal ma'lumotni topish uchun mahalliy ma'lumotlardan foydalanishlari kerak. Ular gradusli tushish usulidan foydalanishlari mumkin, bu esa tepalikning tik holatiga hozirgi holatiga qarab, so'ng eng to'g'ri tushish yo'nalishi bo'yicha harakatlanishni (ya'ni pastlikka) qarab o'tishni o'z ichiga oladi. Agar ular tog'ning tepasini (ya'ni maksimal) topishga harakat qilsalar, u holda ular eng baland ko'tarilish yo'nalishida (ya'ni tepalikka) borar edilar.
Ushbu usuldan foydalanib, ular oxir-oqibat tog'dan pastga tushib, ehtimol biron bir teshikka yopishib olishlari mumkin edi (ya'ni mahalliy minimal yoki egar nuqtasi), tog'li ko'l kabi. Shu bilan birga, shuningdek, tepalikning tikligi oddiy kuzatish bilan darhol sezilmaydi, aksincha, odam o'ldirishi uchun zamonaviy asbobni talab qiladi, deb taxmin qiling. Tog'ning tikligini asbob bilan o'lchash uchun biroz vaqt talab etiladi, shuning uchun ular quyosh botguncha tog'dan tushishni istasalar, asbobdan foydalanishni minimallashtirishlari kerak. Bu qiyin bo'lgan narsa, ular izdan chiqmaslik uchun tepalikning tikligini o'lchash chastotasini tanlashdir.

Ushbu o'xshashlikda odam algoritmni, tog'dan tushgan yo'l esa algoritm o'rganadigan parametrlarni sozlash ketma-ketligini anglatadi. Tepalikning tikligi Nishab shu nuqtadagi xato yuzasining Nishabni o'lchash uchun ishlatiladigan asbob farqlash (xato yuzasining qiyaligini olish orqali hisoblash mumkin lotin shu nuqtadagi kvadratik xato funktsiyasi). Ular sayohat qilishni tanlagan yo'nalish gradient shu nuqtadagi xato yuzasining Boshqa o'lchovni amalga oshirishdan oldin ular bosib o'tgan vaqtlari algoritmni o'rganish tezligi. Qarang Qayta targ'ib qilish § cheklovlar ushbu turdagi "tepalikka tushish" algoritmining cheklovlarini muhokama qilish uchun.

Qadam o'lchamidan foydalanganingizdan beri bu juda kichik bo'lsa, yaqinlashish sekinlashadi va juda katta divergensiyaga olib keladi, yaxshi sozlamani topadi muhim amaliy muammo. Filipp Vulf amalda "tushish yo'nalishini aqlli tanlash" dan foydalanish tarafdori.[5] Eng tik tushish yo'nalishidan chetga chiqadigan yo'nalishni ishlatish intuitiv bo'lib tuyulishi mumkin bo'lsa-da, g'oya shundan iboratki, kichikroq qiyalik ancha uzoqroq masofada ushlab turilib qoplanishi mumkin.

Bu haqda matematik fikr yuritish uchun yo'nalishni qo'llaymiz va qadam hajmi va umumiy yangilanishni ko'rib chiqing:

.
yaxshi sozlamalarni topish va ozgina o'ylashni talab qiladi. Avvalo, yangilash yo'nalishi pastga qarab yo'nalishini xohlaymiz. Matematik jihatdan, ruxsat berish orasidagi burchakni belgilang va , bu shuni talab qiladi Ko'proq gapirish uchun biz optimallashtirayotgan ob'ektiv funktsiya haqida ko'proq ma'lumotga muhtojmiz. Bu juda zaif taxmin ostida doimiyGradient tushish har qanday o'lchamdagi bo'shliqlarda, hatto cheksiz o'lchovli o'lchamlarda ham ishlaydi. Ikkinchi holda, qidiruv maydoni odatda a funktsiya maydoni, va bittasini hisoblaydi Fréchet lotin tushish yo'nalishini aniqlash uchun minimallashtiriladigan funktsional.[10]

Ushbu gradiyent tushish istalgan o'lchamdagi (hech bo'lmaganda cheklangan sonli) ishning natijasi sifatida qaralishi mumkin Koshi-Shvarts tengsizligi. Ushbu maqola har qanday o'lchamdagi ikkita vektorning ichki (nuqta) hosilasi kattaligi, ular chiziqli bo'lganda maksimal darajaga ko'tarilishini isbotlaydi. Gradient tushish holatida, bu o'zgaruvchan mustaqil sozlash vektori qisman hosilalarning gradyan vektoriga mutanosib bo'lganda bo'ladi.

Gradient tushish mahalliy minimal miqdorni talab qilish bilan hisoblash uchun ko'p takrorlashni talab qilishi mumkin aniqlik, agar egrilik turli yo'nalishlarda berilgan funktsiya uchun juda farq qiladi. Bunday funktsiyalar uchun, oldindan shartlashkabi funktsiya darajasini belgilash uchun bo'shliq geometriyasini o'zgartiradi konsentrik doiralar, sekin yaqinlashishni davolaydi. Shunga qaramay, oldindan shartlarni tuzish va qo'llash hisoblash uchun juda qimmatga tushishi mumkin.

Gradiyent tushishni a bilan birlashtirish mumkin chiziqlarni qidirish, mahalliy darajada maqbul qadam o'lchamini topish har bir takrorlashda. Qatorli qidiruvni amalga oshirish ko'p vaqt talab qilishi mumkin. Aksincha, sobit kichkina yordamida yomon konvergentsiyani keltirib chiqarishi mumkin.

Asoslangan usullar Nyuton usuli va inversiyasi Gessian foydalanish konjuge gradyan texnikasi yaxshi alternativ bo'lishi mumkin.[11][12] Odatda, bunday usullar kamroq takrorlanishda birlashadi, ammo har bir takrorlanish narxi yuqori bo'ladi. Bunga misol BFGS usuli Bu har bir qadamda "yaxshiroq" yo'nalishga o'tish uchun gradient vektori ko'paytiriladigan matritsani hisoblashdan iborat bo'lib, yanada takomillashtirilgan chiziqlarni qidirish algoritmi, ning "eng yaxshi" qiymatini topish uchun Kompyuter xotirasi muammolari ustun bo'lgan juda katta muammolar uchun cheklangan xotira usuli kabi L-BFGS BFGS yoki eng tik tushish o'rniga ishlatilishi kerak.Entsiklopediya site:uz.wikisko.ru ravishda farqlanadigan, biz quyidagilarni isbotlashimiz mumkin.

3. Asosiy xulosalar.

Gradient tushish har qanday o'lchamdagi bo'shliqlarda, hatto cheksiz o'lchovli o'lchamlarda ham ishlaydi. Ikkinchi holda, qidiruv maydoni odatda a funktsiya maydoni, va bittasini hisoblaydi Fréchet lotin tushish yo'nalishini aniqlash uchun minimallashtiriladigan funktsional.

Ushbu gradiyent tushish istalgan o'lchamdagi (hech bo'lmaganda cheklangan sonli) ishning natijasi sifatida qaralishi mumkin Koshi-Shvarts tengsizligi. Ushbu maqola har qanday o'lchamdagi ikkita vektorning ichki (nuqta) hosilasi kattaligi, ular chiziqli bo'lganda maksimal darajaga ko'tarilishini isbotlaydi. Gradient tushish holatida, bu o'zgaruvchan mustaqil sozlash vektori qisman hosilalarning gradyan vektoriga mutanosib bo'lganda bo'ladi.

Gradient tushish mahalliy minimal miqdorni talab qilish bilan hisoblash uchun ko'p takrorlashni talab qilishi mumkin aniqlik, agar egrilik turli yo'nalishlarda berilgan funktsiya uchun juda farq qiladi. Bunday funktsiyalar uchun, oldindan shartlashkabi funktsiya darajasini belgilash uchun bo'shliq geometriyasini o'zgartiradi konsentrik doiralar, sekin yaqinlashishni davolaydi. Shunga qaramay, oldindan shartlarni tuzish va qo'llash hisoblash uchun juda qimmatga tushishi mumkin.

Gradiyent tushishni a bilan birlashtirish mumkin chiziqlarni qidirish, mahalliy darajada maqbul qadam o'lchamini topish har bir takrorlashda. Qatorli qidiruvni amalga oshirish ko'p vaqt talab qilishi mumkin. Aksincha, sobit kichkina yordamida yomon konvergentsiyani keltirib chiqarishi mumkin.

Asoslangan usullar Nyuton usuli va inversiyasi Gessian foydalanish konjuge gradyan texnikasi yaxshi alternativ bo'lishi mumkin. Odatda, bunday usullar kamroq takrorlanishda birlashadi, ammo har bir takrorlanish narxi yuqori bo'ladi. Bunga misol BFGS usuli Bu har bir qadamda "yaxshiroq" yo'nalishga o'tish uchun gradient vektori ko'paytiriladigan matritsani hisoblashdan iborat bo'lib, yanada takomillashtirilgan chiziqlarni qidirish algoritmi, ning "eng yaxshi" qiymatini topish uchun Kompyuter xotirasi muammolari ustun bo'lgan juda katta muammolar uchun cheklangan xotira usuli kabi L-BFGS BFGS yoki eng tik tushish o'rniga ishlatilishi kerak.