3-amaliy mashg’ulot: Mavzu: Sun’iy neyron tarmoqlar uchun zamonaviy dasturiy ta’minot

O’qitishning maqsadi yo'qotish funktsiyasini minimallashtiradigan og'irlik va hisoblashlar to'plamini topishdir.
Teskari tarqatish
Taxmin qilingan xatolarimizni (yo'qotishlarimizni) o'lchaganimizdan so'ng, biz xatoni qaytarib tarqatish va og'irliklarimiz va harakatlarimizni yangilash yo'lini topishimiz kerak.
Og'irliklar va harakatlarni to'g'rilash uchun tegishli miqdorni bilish uchun biz vazn va hisoblashlarga nisbatan yo'qotish funksiyasining hosilasini bilishimiz kerak.
14. Tahlildan eslasak, funktsiya hosilasi funktsiya qayrilish burchagining teginsiga teng edi.

Agar bizdama’lumotimiz mavjud bo'lsa, unda biz og'irlik va hisoblashlarni oshirish / kamaytirish orqali shunchaki yangilashimiz mumkin (yuqoridagi diagramaga qarang). Bu gradient tushish deyiladi.

Biroq, biz yo'qotish funktsiyasining hosilasini og'irlik va harakatga nisbatan to'g'ridan-to'g'ri hisoblab chiqa olmaymiz, chunki yo'qotish funktsiyasi tenglamasi og'irlik va harakatlarni o'z ichiga olmaydi. Shuning uchun, bizga hisoblashda yordam beradigan zanjir qoidasi kerak.

Bu juda murakkab, ammo bu bizga kerakli narsani - og'irliklarga nisbatan yo'qotish funktsiyasining hosilasini (qayrilishini) olishga imkon berdi. Endi biz og'irliklarni mos ravishda sozlashimiz mumkin.
Python kodimizga backpropagation funktsiyasini qo'shamiz:

	class NeuralNetwork:
	def __init__(self, x, y):
	self.input = x
	self.weights1 = np.random.rand(self.input.shape[1],4)
	self.weights2 = np.random.rand(4,1)
	self.y = y
	self.output = np.zeros(self.y.shape)
	def feedforward(self):
	self.layer1 = sigmoid(np.dot(self.input, self.weights1))
	self.output = sigmoid(np.dot(self.layer1, self.weights2))
	def backprop(self):
	# application of the chain rule to find derivative of the loss function with respect to weights2 and weights1
	d_weights2 = np.dot(self.layer1.T, (2*(self.y - self.output) * sigmoid_derivative(self.output)))
	d_weights1 = np.dot(self.input.T, (np.dot(2*(self.y - self.output) * sigmoid_derivative(self.output), self.weights2.T) * sigmoid_derivative(self.layer1)))
	# update the weights with the derivative (slope) of the loss function
	self.weights1 += d_weights1
	self.weights2 += d_weights2

17. Neyron tarmoq ishlashini tekshiramiz
Endi biz to’g’ri va teskari tarqatish uchun to'liq Python kodimizga ega bo'ldik., keling, misol orqali neyron tarmog'imizni qanday ishlashini ko'rib chiqamiz.

Ideal vazn to'plami
Bizning neyron tarmog'imiz ushbu funktsiyani ifodalash uchun ideal vazn to'plamini o'rganishi kerak.
Keling, neyron tarmoqni 1500 marta takrorlash uchun mashq qilamiz va nima bo'lishini ko'rib chiqaylik. Quyidagi iteratsiyani yo'qotish grafigiga qarab, yo'qotish monoton ravishda minimal darajaga tushishini aniq ko'rishimiz mumkin. Bu esa biz yuqorida aytib o'tgan gradient tushish algoritmiga mos keladi.

1500 ta takrorlashdan so'ng neyron tarmoqdan yakuniy taxminni (chiqishni) ko'rib chiqamiz.