8-tema: mashinada oqitiw turlari hám klassifikatsiyasi reje

8-tema: MASHINADA OQITIW TURLARI HÁM KLASSIFIKATSIYASI

Reje
1. Mashinada oqitiw turlari hám klassifikatsiyasi
Mashinalı oqıtıw sebepli programmist barlıq múmkin bolǵan shınıǵıwalalardi esapqa alǵan hám barlıq sheshimlerdi óz ishine alǵan ko'rsetpeler jazıwı shárt emes. Bunıń ornına, kompyuterge (yamasa bo'lek programmaǵa ) statistikalıq maǵlıwmatlardan kompleks paydalanıw arqalı ǵárezsiz túrde sheshimlerdi tabıw algoritmı juklenedi, alardan naǵıslar alınadı hám alar tiykarında boljaw etiledi.
Maǵlıwmatlardı analiz qılıw tiykarında mashinalardı úyreniw texnologiyası 1950 jılda, shashka oyını ushın birinshi programmalar islep chiqila baslanǵannan baslanadı. Sońǵı on jıllıqlarda ulıwma princip ózgermadi. Biraq kompyuterlerdiń esaplaw qudıretiniń portlaytuǵın ósiwi sebepli olar jaratqan naǵıslar hám boljawlar bir neshe márte quramalılasdı hám mashinada oqıtıw járdeminde echilishi múmkin bolǵan máseleler hám wazıypalar sheńberi keńeytirildi.
Mashinada oqıtıw procesin baslaw ushın aldın kompyuterge maǵlıwmatlar kompleksin (dáslepki maǵlıwmatlardıń bir bólegin) júklep alıw kerek, bul algoritm sorawlardı qayta islewdi úyrenedi. Mısalı, ıytlar hám pıshıqlardıń fotosuratlari bolıwı múmkin, olar qashannan berli kimga tiyisli ekenligin kórsetetuǵın jarlıqlarǵa iye. Oqıw processinden keyin programmanıń ózi ıyt hám pıshıqlardı jańa súwretlerde tegsiz teńiy aladı. Prognozlar shıǵarılǵannan keyin oqıw procesi dawam etedi, biz programma tárepinen qanshellilik kóp maǵlıwmatlardı analiz qilsak, ol kerekli súwretlerdi sonshalıq anıqlaw teńiydi.
Mashinalı oqıtıw arqalı kompyuterler tekǵana júzlerdi, bálki landshaftlar, ob'ektler, tekst hám nomerlerdi fotosuratlar hám sızılmalarda da teńib alıwǵa úyrenediler. Tekst haqqında gáp ketkende, kompyuterde úyreniw de zárúrli áhmiyetke iye: grammatikanı tekseriw funktsiyası endi hár qanday tekst redaktorında hám hátte telefonlarda bar. Bunnan tısqarı, tekǵana sózlerdiń orfografiyası, bálki kontekst, mánis sayaları hám basqa názik lingvistik tárepler de esapqa alınadı. Bunnan tısqarı, qashannan berli adamlardıń aralasıwisiz (ekonomikalıq hám mısalı, sport temasında ) jańalıqlar maqalaların jazıw ushın programmalıq támiynat bar.
2 Mashinada oqıtıw máseleleri túrleri
ML menen hal etilgen barlıq wazıypalar tómendegi taypalardan birine kiredi.
1) Regressiya wazıypası - hár túrlı ayrıqshalıqlarǵa iye bolǵan ob'ektler úlgisi tiykarında prognoz qılıw. Shıǵarılǵan ónim haqıyqıy sanǵa (2, 35, 76. 454 hám basqalar ) tuwrı keliwi kerek, mısalı, kvartira bahası, altı aydan keyin qawipsizlik ma`nisi, dúkandıń keyingi ay ushın kutilayotgan tabısı, soqır-ko'rona sınaqlarda sharob sapası.
2) Klassifikaciyalawdıń wazıypası - bul ayrıqshalıqlar kompleksine tiykarlanǵan kategorik juwaptı aldılarr. Juwaplardıń sheklengen sanına iye (ádetde " ha" yamasa " joq" formatında ): fotosuratda pıshıq barma, insan túsi suwretlanganmi yamasa nawqas saraton keselligine shalınǵanma?
3) Klasterlew wazıypası - maǵlıwmatlardı gruppalarǵa bólistiriw: uyalı baylanıs operatorınıń barlıq klientlerin tólew qábileti dárejesine bolıw, kosmik ob'ektlerdi ol yamasa bul taypaǵa (planeta, juldız, qara tuynuk hám basqalar ) ajıratıw.
4) ólshewdi kemeytiw wazıypası, keyinirek olardı vizualizatsiya qılıw ushın qolay bolıwı ushın (mısalı, maǵlıwmatlardı qısıw ) kóp sanlı ayrıqshalıqlardı kishilew (ádetde 2-3) ga kemeytiw bolıp tabıladı.
5) Anomaliyalarni anıqlawdıń wazıypası anomaliyalarni standart jaǵdaylardan ajıratıw bolıp tabıladı. Bir qarawda, bul klassifikaciyalaw wazıypasına tuwrı keledi, biraq bir zárúrli parq bar: anomaliyalar kemnen-kem ushraytuǵın hádiyse bolıp, bunday ob'ektlerdi anıqlaw ushın mashina úyreniw modelin úyretiw múmkin bolǵan oqıtıw mısalları yamasa joǵalıp qaladı, yamasa jaysha emes, sol sebepli klassifikaciyalaw usılları bul erda islemeydi.... Ámelde bunday wazıypa, mısalı, bank kartaları menen jalataylıqtı anıqlaw bolıp tabıladı.
3 Mashinada oqıtıwdıń tiykarǵı túrleri
Mashinada oqıtıw usılları járdeminde hal etilgen mashqalalardıń tiykarǵı bólegi eki qıylı: oqıtıwshı menen úyreniw (qadaǵalaw astında oqıtıw ) yamasa ol halda (qadaǵalawsız úyreniw). Biraq, bul oqıtıwshı, álbette, kompyuterdiń ústinde turǵan hám programmadaǵı hár qanday háreketlerdi basqaratuǵın programmisttiń ózi emes. Mashinada oqıtıw kózqarasınan " oqıtıwshı" insannıń informaciyanı qayta islew procesine tartılıp ketiwi esaplanadı. Eki túrdegi shınıǵıwlarda da mashina dáslepki maǵlıwmatlar menen támiyinlenedi, olar analiz etedi hám naǵıslardı tabadı. Tek ǵana parq sonda, oqıtıwshı menen sabaq beriwde biykarlaw etiw yamasa tastıyıqlaw kerek bolǵan bir qatar boljawlar bar. Farqni mısallar menen túsiniw ańsat.
Mashinalardı úyreniw basqarıladı
Biziń qolımızda on mıń Moskvanıń kvartiralari: maydanı, qabatı, rayonı, úy qasında toqtap qalıw jayınıń bar ekenligi yamasa joq ekenligi, metrodan aralıq, kvartira bahası hám basqalar haqqında maǵlıwmatlar ámeldegi dep shama qilaylik. Biz onıń parametrlerine qaray kvartiraning bazar ma`nisin shama etetuǵın modeldi jaratılıwmasımız kerek. Bul avtomatlastırılgan qadaǵalawdı úyreniwdiń eń jaqsı úlgisi bolıp tabıladı: bizde dáslepki maǵlıwmatlar (xojalıqlar sanı hám olardıń qásiyetleri dep atalatuǵın ayrıqshalıqlar ) hám kvartiralarning hár biri ushın tayın juwap - onıń bahası. Programma regressiya mashqalasın sheshiwi kerek.
Ámeliyattan taǵı bir mısal : nawqastıń barlıq medicinalıq kórsetkishlerin bilip, saraton keselligin tastıyıqlaw yamasa biykarlaw etiw. Kiretuǵın elektron pochta xabarların spam ekenligin onıń tekstin analiz qılıw arqalı bilip alın. Bulardıń barlıǵı klassifikaciyalaw wazıypaları.
Qadaǵalaw etińmesten mashinalardı úyreniw
Qadaǵalaw etińmesten úyreniw jaǵdayında, sistemaǵa tayın " tuwrı juwaplar" berilmegeninde, barlıǵı jáne de qızıqlaw. Mısalı, bizde málim muǵdardaǵı adamlardıń salmaǵı hám boyı haqqında maǵlıwmat bar jáne bul maǵlıwmatlardı úsh gruppaǵa bolıw kerek, olardıń hár biri ushın uyqas ólshem degi kóylek tıgıwımız kerek. Bul klasterlew wazıypası. Bunday halda, barlıq maǵlıwmatlardı 3 klasterge bolıw kerek boladı (lekin, qaǵıyda jol menende, bunday qatań hám tek bóliniw múmkin emes).
Eger biz basqa jaǵdaynı alsaq, úlgindegi hár bir ob'ekt júz qıylı ózgeshelikke iye bolsa, ol jaǵdayda tiykarǵı qıyınshılıq bunday úlginiń grafik kórinisi boladı. Sol sebepli funktsiyalar sanı ekine yamasa úshewge qısqartiriladi hám olardı tegislikte yamasa 3 D-de oyda sawlelendiriw múmkin boladı. Bul ólshewdi kemeytiw mashqalası.
4 Mashinalı úyreniw modelleriniń tiykarǵı algoritmları
1. Qarar tereki
Bul terekke uqsas grafikadan paydalanıwǵa tiykarlanǵan qararlardı qollap-quwatlaw usılı : olardıń potentsial aqıbetlerin esapqa alǵan halda qarar qabıllaw modeli (hádiyse júzege keliwi múmkinshiligın esaplaw menen), nátiyjelililik, resursların jumsaw.
Biznes-processler ushın bul terek minimal muǵdardaǵı sorawlardan ibarat bolıp, olar anıq juwaptı talap etedi - " ha" yamasa " joq". Bul sorawlardıń barlıǵına turaqlı túrde juwap berip, tuwrı tańlawǵa kelamiz. Qarar terekiniń stilistik abzallıqları sonda, ol mashqalanı dúzedi hám sistemaǵa saladı hám juwmaqlawshı qarar logikalıq juwmaqlar tiykarında qabıl etiledi.
2. Bayeslarning ápiwayı klassifikaciyası
Bayescha ápiwayı klassifikaciyalagichlar ápiwayı itimallıq klassifikatorları shańaraǵına kiredi hám Bayes teoremasidan kelip shıǵadı, bul halda funktsiyalardı ǵárezsiz dep esaplaydı (bul qatań yamasa ápiwayı, shama dep ataladı ). Ámelde, ol mashinasozlikning tómendegi baǵdarlarında qollanıladı :
elektron pochtaǵa jiberilgen spamni anıqlaw ;
jańalıqlar maqalaların tematikalıq bas betlarǵa avtomatikalıq túrde bólew;
teksttiń sezimiy reńlerin ashıp beriw;
suwretler degi júzler hám basqa naǵıslardı teńib alıw.
3. Eń kem kvadratshalar usılı
Statistikanı keminde azǵantay úyrengen hár bir kisi sızıqlı regressiya túsinigin jaqsı biladi. Eń kishi kvadratshalar da onı ámelge asırıw variantlarına tiyisli. Ádetde, sızıqlı regressiya kóplegen noqatlardan ótken tuwrı sızıqtı ornatıw máselelerin sheshiw ushın isletiledi. Bul eń kishi kvadratlar usılı járdeminde ámelge asıriladı : tuwrı sızıqtı tartıń, odan hár bir noqatqa shekem aralıqtı o'lchang (noqatlar hám sızıq vertikal segmentler menen baylanısqan ), nátiyjede alınǵan summanı kóshiriń. Nátiyjede, aralıqlar jıyındısı eń kishi bolatuǵın iymek sızıq kerekli boladı (bul sızıq haqıyqıy bahadan normal bólistirilgen iyiw menen noqatlar arqalı ótedi).
Maǵlıwmatlardı mashinada úyreniw ushın maslastırıwda sızıqlı funktsiya ádetde qollanıladı hám qáte metrikasini jaratıw arqalı qátelerdi minimallastırıw ushın eń kishi kvadratshalar usılı qollanıladı.
4. Logistik regressiya
Logistik regressiya bul ózgeriwshilerden óz-ara baylanıslılıqtı anıqlaw usılı bolıp tabıladı, olardan biri úzil-kesil túrde baylanıslı, basqaları bolsa ǵárezsiz. Onıń ushın logistik funktsiyadan (akkumulyativ logistik bólistiriw) paydalanıladı. Logistik regressiyaning ámeliy ma`nisi sonda, ol bir yamasa bir neshe ǵárezsiz ózgeriwshin óz ishine alǵan waqıyalardı boljawdıń kúshli statistikalıq usılı esaplanadı. Bul tómendegi jaǵdaylarda paydalı bolıp tabıladı:

• 
  kredit skoringi;
  
• 
  reklama kampaniyalarınıń tabıslı bolıwın ólshew;
  
• 
  málim bir ónim ushın payda prognozı ;
  
• 
  málim bir sánede jer silkiniw múmkinshiligın shama qılıw.
  

5. vektorlı mashinanı qollap-quwatlaw (SvM)
Bul klassifikaciyalaw hám regressiya analizi máselelerin sheshiw ushın zárúr bolǵan algoritmlardıń pútkil kompleksi bolıp tabıladı. N ólshewli kosmos daǵı ob'ekt eki klasstan birine tiyisli ekenligine tıykarlanıp, qollap -quwatlaytuǵın vektor mashinası barlıq ob'ektler eki gruppadan birinde bolıwı ushın (N - 1) ólshewli giperplan dúzedi. Qaǵazda onı tómendegishe ańlatıw múmkin: eki qıylı noqatlar ámeldegi hám olardı sızıqlı ajıratıw múmkin. Bul usıl noqatlardı ajıratıwdan tısqarı, hár bir gruppanıń bawırlas noqatınan ılajı bolǵanınsha giperplane payda etedi.
SvM jáne onıń modifikatsiyaları DNKning birigiwi, fotosuratdan adamdıń jinsini anıqlaw, veb-saytlarda reklama bannerlerin kórsetiw sıyaqlı quramalı mashina úyreniw máselelerin sheshiwge járdem beredi.
6. Ansambllar usılı
Bul klassifikaciyalagichlar kompleksin jaratatuǵın hám olardıń ortasha yamasa dawıs beriw nátiyjelerine kóre barlıq alınǵan ob'ektlerden jańa ob'ektlerdi ajıratıp turatuǵın mashinalardı úyreniw algoritmlarına tiykarlanadı. Daslep ansambl usılı Bayesning ortasha kórsetkishi bolǵan, biraq keyinirek ol jáne de quramalılasdı hám qosımsha algoritmlar menen to'lib toshdi:
kúsheytiw - klassifikatorlar ansamblın qáliplestiriw arqalı hálsiz modellerdi kúshli modellerge aylantıradı (matematikalıq kózqarastan, bul jaqsılanatuǵın kesilispe);
sumkalash - quramalı klassifikatorlarni yig'adi, usınıń menen bir waqıtta túpkiliklilerin tayarlaw (kásiplik awqamın jetilistiriw);
shıǵıwdı kodlaw qátelerin ońlaw.
Ansambl usılı ǵárezsiz prognozlaw modellerine qaraǵanda kúshlilew bolıp tabıladı, sebebi:
hár bir tayansh klassifikaciyalagichining qátelerin ortasha esaplaw arqalı kútilmegen jaǵday tásirin minimallastıradı ;
farqni azaytadı, sebebi hár túrlı boljawlarǵa tiykarlanǵan bir neshe hár qıylı modeller bólek alınǵan nátiyjelerge qaraǵanda tuwrı nátiyjege erisiw múmkinshiligı kóbirek;
jıynaqtan tısqarına shıǵıwdı esaptan tısqarı etedi: eger jıynanǵan gipoteza tiykarǵı boljawlar kompleksinen tısqarına shıqsa, ol halda birlestirilgen gipotezani qáliplestiriw basqıshında ol ol yamasa bul usıl járdeminde kengayadi hám gipoteza qashannan berli oǵan kiritilgen.