Neyron tarmaqlarınıń túrleri hám olardıń islew principlerı

Logistik regressiya ne?

Bul shıǵıw ózgeriwshisi kategorik bolǵan jaǵdaylarda qollanılatuǵın klassifikaciyalaw algoritmı. Logistik regressiyaning maqseti ayrıqshalıqlar hám málim bir nátiyje múmkinshiligı ortasındaǵı baylanıslılıqtı anıqlaw bolıp tabıladı.

Mısalı,
Email: Spam / Emes Spam?
Onlayn Pitim: Jalatay (Awa / Joq )
Bul erda,

Bul xabarda biz studenttiń universitetke qabıl etiliwin shama qılıw ushın logistik regressiya modelin dúzemiz.
Ne ushın logistik regressiya, sızıqlı emes?
Qısqa sızıqlı regressiyada barlıq maǵlıwmatlardı grafikka jaylastıradı (dıń x hám y), barlıq maǵlıwmatlardı eń sáykes keletuǵın sızıqqa sáykes keledi hám keyin sáykes keletuǵın y retinde kirisiw ushın boljaw etedi. basqa tárepden logistik regressiya barlıq maǵlıwmatlardı s-iymek sızig'iga sáykes keledi hám tek ámeldegi joqarı hám tómengi sızıqlar retinde kórsetilgen eki múmkin bolǵan shıǵıw (eki klassifikaciya ).

Sigma sıyaqlı Funktsiya
S iymek sızig'i s hárıbiniń formasına belgi etpeydi; bunıń ornına ol sigma sıyaqlı funktsiyanı ańlatadı. Óytkeni sonda, sigma sıyaqlı funksiya maǵlıwmatlardı eki gruppaǵa ajıratıw maqsetimizge tolıq juwap beredi. Sigma sıyaqlı formula tómendegishe, bul jerde x-kiriwler sanı.

Sigma sıyaqlı jawın qurtı
Anglichan tilinde sigma sıyaqlı -bul kirisiw qásiyetleriniń tartılǵan jıyındısına tiykarlanǵan itimallıqtı esaplaw. Tartılǵan jıyındı formulası tómendegishe,

Sigma sıyaqlı funksiyamizni kodlawdan aldın, maǵlıwmatlar kompleksin jumısqa túsiremiz.
PD import matplotlib retinde np import pandalar retinde import numpy.plt maǵlıwmatlar retinde pyplot = pd. read_csv (" ex2 data1. txt", header = None)
maǵlıwmatlar. bası ()

variatsiya.boshi()

Bul jerde '0' 1 de oqıwshılar belgisin, '1' 2 de oqıwshılar belgisin, ' 2 'da oqıwshılar belgisin, ' 2 ' de bolsa oqıwshılar qabıl etiliwin (1) yamasa qabıl etińmesligin (0) ańlatadı.

Ma'lumotlarimizni tasavvur qilaylik,
X = ma'lumotlar.qiymatlari[:, :-1]
y = data.qiymatlari[:, -1]pos, negadir = (y==1).qayta shakllantirish(100, 1), (y==0).reshaya(100, 1)plt.scatter (x[pos[:, 0], 0], x[pos[:, 0], 1], C='r", marker='+", label= "tan")
plt.tarqalishi (X [neg [:, 0], 0], X [neg [:, 0], 1], marker='o', label="tan emas", s=10)
plt.xlabel ("Exam1 ball")
plt.ylabel ("Exam2 ball")
plt.afsona (loc=0)

Logistik regressiya jaǵdayında gipoteza (h) tómendegi teńleme menen ańlatpalanadı :

Gipoteza

daf sigmasimon (z):
qaytish 1 / (1 + np.exp(-z))chop etish (sigmasimon(0))
chop etish(sigmasimon (10))
chop etish(sigmasimon (1))

Sigmasimon Natijalar
Joqarıdaǵı nomerlerden biz bunı aytiwimız múmkin,

Logistik Regressiya Qarar Shegarası

Maǵlıwmatlar kompleksimiz eki ózgeshelikke iye bolǵanı ushın : test1 hám test2 logistik regressiya gipotezasi tómendegishe:

Logistik regressiya klassifikatori boljaw etedi" qabıl etilgen " eger:

Óytkeni logistik regressiya" Bosaǵa" g (z) =0, 5 te ornatıladı, tekseriw ushın joqarıdaǵı logistik regressiya funktsiyasınıń sızılmasına qarang.

Xarajat Funktsiyasi

Eki qızıǵıwshılıq noqatı ushın logistik regressiya ǵárejetleri funktsiyasın anıqlawdan baslaymız : y=1 hám y=0, yaǵnıy gipoteza funktsiyası qabıl etilgen yamasa tán alınbaǵanlıǵın shama etkende,

Quyidagicha soddalashtirilgan qiymati funksiyasi,

Keyin, biz konveks kombinatsiyasın alamız y logistik regressiya ǵárejetleri funktsiyasın islep shıǵıw ushın bul eki termindiń:

daf Costfunction (X, y, theta):
m = len(y)
h_theta = sigmasimon (x @ theta)
y_pos = - y.T @ np.log (h_theta)
y_neg = (1-y).T @ np . kirish (1-h_theta)
xato = y_pos-y_neg
xarajat = 1/m * so'm(xato)
grad = 1/m * (X. T@(h_theta-y))
qaytish qiymati[0], grad

Ǵárejetlerdi esaplaw ushın maǵlıwmatlardı isletiwden aldın, biz maǵlıwmatlardı normallastırıw kerek.

def featureNormalization (X):
mu = np.o'rtacha (x, o'q = 0)
sigma = np.std (x, o'qi=0)
X_Norm = (x - mu)/sigma
qaytish X_Norm, mu, sigma
m, n = X. shakli
x, mu, sigma = featureNormalization (X)
x = np.column_stack ((np.ones((m, 1)), X))
y = y.reshape(m, 1)
initial_theta = np.nol ((n+ 1, 1))
qiymati, grad= Costfunction(X, y, initial_theta)
chop etish("boshlang'ich teta qiymati hisoblanadi", qiymati)
chop etish("boshlang'ich teta da Gradient (nol):", grad)

Gradient Túsiwi

Logistik regressiyaning gradient túsiw algoritmı sızıqlı regressiyaning gradient túsiw algoritmı menen birdey kórinedi. Gradient túsiw xolati ushın qıdırıw baǵdarı logistik regressiya ǵárejet funktsiyasınıń parametrge salıstırǵanda keri bólekan tuwındı boladıxizmatqiladi. Óziniń eń tiykarǵı formasında gradient túsiw jaqınlasıwǵa eriwgenge shekem (minimallastırıw izbe-izligi retinde belgili) dıń unamsız gradient baǵdarı boylap tákirarlanadı.
daf gradientDescent(X, va, theta, alpha, n_iters):
m=len (y)
J_history =[]
oralig'ida i uchun(n_iters):
qiymati, grad = Costfunction (X, y, teta)
teta = teta - (alpha * grad)
J_history.qo'shish(qiymati)
qaytish teta, J_history
teta, J_history = gradientDescent (X=X, y=y, teta=initial_theta, alpha=1, n_iters=400)

Qarar shegarasın dúziw

Bul erda qarar shegarası tómendegishe:
plt.tarqalishi (X [pos [:, 0],1],X [pos [:, 0],2],c="r",marker="+",yorliq="tan olindi")
plt.tarqalishi (x [neg [:, 0],1],X [neg [:, 0],2],c="b",marker="x",label="tan emas")
x_value = np.array ([np.min (X [:, 1]), np.max(x[:,1])])
y_value = -(theta[0] +theta[1]*x_value)/theta[2]
plt.Arsa (x_value,y_value, "r")
plt.xlabel ("imtihon 1 ball")
plt.ylabel ("imtihon 2 ball")
plt.afsona (loc=0)

Bashoratlar

x_sample = np.array ([45, 85])

x_sample = featureNormalization (x_sample)[0]
x_sample = np.qo'shmoq(np.bo'lganlar (1), x_sample)
prob = sigmasimon(x_sample.dot (teta))
chop etish("ball bilan bir talaba uchun 45 va 85, biz" bir kirish ehtimoli bashorat, prob[0])

Joqarıdaǵı nátiyjelerden 45 hám 85 belgileri bolǵan studenttiń universitetke kirisiw múmkinshiligı 80% ekenligin kórsetedi.

daf bashorat(x, teta):
p = sigmasimon(x@teta) >= 0.37#o'z Pol
qaytish p tanlang
Juwmaq
Búgin biz logistik regressiyaning gipotezasi, ǵárejet funksiyası hám gradiyent túsiw túsiniklerin kórdik. Keyin ol python-dıń numpy, pandalar hám matplotlib járdeminde noldan jaratılǵan. Maǵlıwmatlar kompleksi hám juwmaqlawshı kod github-de Júklengen.