Mustaqil ish 613 – guruh talabasi Ahmadjonov Subhonjonning

MUSTAQIL ISH

613 – guruh talabasi Ahmadjonov Subhonjonning
Mashinali o'qitishga kirish fanidan mustaqil ishi
MAVZU : Regressiya va tasniflash masalalarini ko‘p darajali perseptron yordamida yechish

Regressiya va tasniflash masalalarini ko‘p darajali perseptron yordamida yechish

Орқа тарқалиш, эҳтимол, нейрон тармоқнинг энг асосий қисмидир. Бу биринчи марта 1960-йилларда тасвирланган ва деярли 30 йил ўтгач, Румелхарт, Хинтон ва Уилямс томонидан "Хатоларни қайта тарқатиш орқали тасвирларни ўрганиш" мақоласида оммалашган.

Ҳар бир алоҳида тугунни кириш маълумотлари, оғирликлар, мойиллик (ёки чегара) ва чиқиш маълумотларидан ташкил топган чизиқли регрессия модели сифатида тақдим қилинади. Ушбу моделни қуйидаги формула билан тавсифлаш мумкин:


Ҳар бир нейрон учун сигнал хатосининг катталиги ҳисобланганда, нейроннинг ҳар бир кириш тугунининг (дендрити) оғирлик коеффитсиентлари созланиши мумкин.
1
S(x) = -----------
1 + exp(-x)


Тескари алоқа
• Умумий хатолик харажат функциясидан ўтган ҳолда кутилган “у” қиймати (ўқув мажмуасидан) ва олинган “у_” қиймати (хатонинг олдинга силжиш босқичида ҳисобланган) ўртасидаги фарқ сифатида ҳисобланади. .
• Хатонинг қисман ҳосиласи ҳар бир вазн бўйича ҳисобланади (бу қисман фарқлар ҳар бир оғирликнинг умумий хатога қўшган ҳиссасини акс эттиради ).
• Кейин бу фарқлар ўрганиш тезлиги (ē) деб аталадиган рақамга кўпайтирилади.

Кейин олинган натижа мос келадиган оғирликлардан чиқарилади.

Бу қуйидаги янгиланган вазнларга олиб келади:
w1 = w1 — (η * ∂(err) / ∂(w1))
w2 = w2 — (η * ∂(err) / ∂(w2))
w3 = w3 — (η * ∂(err) / ∂(w3))
Йўқотиш функцияси
Йўқотиш функцияси нейрон тармоғининг марказида жойлашган. У ҳақиқий ва қабул қилинган жавоблар орасидаги хатоликни ҳисоблаш учун ишлатилади. Бизнинг глобал мақсадимиз бу хатони минималлаштиришдир. Шундай қилиб, йўқотиш функцияси нейрон тармоқни ўқитишни ушбу мақсадга самарали равишда яқинлаштиради.
Йўқотиш функцияси нейрон тармоғининг берилган ўқув мажмуаси ва кутилган жавобларга нисбатан "қанчалик яхши" эканлигини ўлчайди. Бу, шунингдек, оғирликлар ва тарафкашлик каби ўзгарувчиларга боғлиқ бўлиши мумкин.
Йўқотиш функцияси бир ўлчовли ва вектор эмас, чунки у нейрон тармоғининг бутун сифатида қанчалик яхши ишлашини баҳолайди.
Баъзи таниқли йўқотиш функциялари:
Квадрат (стандарт оғиш);
Кросс энтропия;
Экспоненсиал (АдаБоост);
Куллбаcк-Леиблер масофаси ёки маълумот олиш.

ХОР вазифаси

Биз кўриб чиқаётган битта нейронли СН фақат чизиқли бўлинадиган тасвирларни таснифлаши мумкин. Бироқ, амалда мураккаброқ вазифалар кўпроқ учрайди. Мисол учун, тасаввур қилинг-а, бизнинг тасвир синфларимиз қуйидагича тақсимланади

Орқага тарқалиш алгоритми Нейрон тармоғини ўрганиш алгоритмининг энг машҳур варианти орқага тарқалиш алгоритми деб аталади.
Орқага тарқалиш алгоритмини тушуниш энг осон ва баъзи ҳолларда у маълум афзалликларга эга. Ушбу алгоритмнинг эвристик модификациялари ҳам ишлаб чиқилган бўлиб, улар муаммоларнинг маълум синфлари учун яхши ишлайди.
Орқага тарқалиш алгоритми хато юзаси градиент векторини ҳисоблаб чиқади. Бу вектор маълум бир нуқтадан сиртдаги энг қисқа тушиш йўналишини кўрсатади, шунинг учун агар биз унинг бўйлаб "бироз" ҳаракат қилсак, хато камаяди. Бундай қадамларнинг кетма-кетлиги (пастки қисмга яқинлашганда секинлаш) охир-оқибат минимал бир ёки бошқа турга олиб келади.
Левенберг-Марқуард усули, уни ишлатишда бир қатор муҳим чекловлар мавжуд. У фақат битта чиқиш элементи бўлган тармоқлар учун қўлланилади, фақат квадратлар йиғиндисининг хато функцияси билан ишлайди ва W**2 тартибидаги хотирани талаб қилади (бу ерда W - тармоқдаги оғирликлар сони; шунинг учун у ёмон эмас. катта тармоқлар учун амал қилади).
Конжугат градиент усули, бу чекловларга бўйсунмайди.
К - алгоритм. Ушбу алгоритм ўқув маълумотларидаги кластерларнинг марказлари бўлган оптимал нуқталар тўпламини танлашга интилади.
Ҳар бир ўқув пункти кластернинг битта марказига "тегишли" бўлиб, бошқа марказларга қараганда унга яқинроқ жойлашган