Cost funktsiyasi
4-rasm: Logistik regressiya cost funktsiyasi
Lineer uchun ishlatilgan xarajat funktsiyasini nima uchun logistika uchun ishlatib bo'lmaydi?
Lineer regressiya xarajat funktsiyasi sifatida o'rtacha kvadratik xatolardan foydalanadi. Agar bu logistik regressiya uchun ishlatilsa, u holda parametrlarning konveks bo'lmagan funktsiyasi bo'ladi (teta). Gradient tushishi faqat funktsiya konveks bo'lsa, global minimal darajaga yaqinlashadi.
5-rasm: Qavariq va qavariq bo'lmagan cost funktsiyasi
Cost funktsiyasini tushuntirish
6-rasm: cost funktsiyasi 1-qism
7-rasm: cost funksiyasi 2-qism
Soddalashtirilgan cost funktsiyasi
Shakl 8: soddalashtirilgan cost funktsiyasi
Shakl 9: Maksimal ehtimollikni tushuntirish qismi-1
10-rasm: Maksimal ehtimollikni tushuntirish qismi-2
Bu manfiy funktsiya, chunki biz mashq qilayotganda yo'qotish funktsiyasini minimallashtirish orqali ehtimollikni maksimal darajaga ko'tarishimiz kerak. Narxlarni pasaytirish, namunalar bir xil mustaqil taqsimotdan olingan deb taxmin qilishning maksimal ehtimolini oshiradi.
Gradient tushish algoritmining formulasini chiqarish
11-rasm: Gradient tushish algoritmi 1 qism
12-rasm: Gradient tushish algoritmi 2- qism
Izoh: Gradient tushishi - bu taxmin qilishning ko'p usullaridan biridir .
Asosan, bu sizning xarajatlar funktsiyangizni va gradiyentlaringizni aniqlagandan so'ng Python-da osongina ishlatilishi mumkin bo'lgan yanada rivojlangan algoritmlar. Ushbu algoritmlar:
BFGS (Broyden – Fletcher – Goldfarb – Shanno algoritmi)
L-BFGS (BFGS singari, lekin cheklangan xotiradan foydalanadi)
Gradientni birlashtiring
Gradient kelib chiqishi bo'yicha ushbu algoritmlardan birini qo'llashning afzalliklari / kamchiliklari:
Afzalliklari
O'qish tezligini tanlashning hojati yo'q
Ko'pincha tezroq ishlaydi (har doim ham shunday emas)
Siz uchun gradiyentni taxminiy baholashi mumkin (har doim ham yaxshi ishlamaydi)
Kamchiliklari
Keyinchalik murakkab
Agar siz o'ziga xos xususiyatlarni o'rganmasangiz, ko'proq qora quti
Do'stlaringiz bilan baham: |
