Хатони тескари тарқалиш алгоритми

Хатони тескари тарқалиш алгоритми

Хатони тескари тарқалиш алгоритми, оптималлаштиришнинг градиентли усулларидан фойдаланган ҳолда кўп қатламли тармоқнинг оғирликларини танлаш стратегиясини белгилайди. Ҳозирги вақтда у кўп қатламли тармоқни ўрганишнинг энг самарали алгоритмларидан бири ҳисобланади. Ўрганишда одатда чиқиш сигналларининг ҳақиқий ва кутилган қийматлари ўртасидаги фарқларнинг квадратик йиғиндиси сифатида шаклланадиган мақсадли функциянинг минималлаштиришдан вазифаси қўйилиб , P ўқув танловлари учун қуйидаги формула бўйича аниқланади:

(2.7)
Ягона ўқув танлови холатида, мақсадли функция қуйидаги кўринишга эга:
(2.8)
Оғирликларни аниқлаш ҳар бир ўқитиш танлови тақдим этилгандан сўнг ўтказилиши мумкин (“онлайн” режим деб номланган), бунда(2.8) кўринишдаги мақсадли функциясидан фойдаланилади, ёки барча ўқув намуналари тақдим этилгандан кейин бир марта (“офлайн” режим) аниқланиши мумкин,бунда(2.7)шаклнинг мақсадли функциясидан фойдаланилади. Кейинчалик тавсифда (2.8) кўринишдаги мақсадли функциясидан фойдаланилади.
Соддалаштириш учун S = 1,2,......,М да кутилган қийматлари билан керакли аниқликка мос келадиган сигналлари чиқиши ўқтишнинг мақсади тармоқнинг ҳар бир қатламининг нейронлари оғирликларининг қийматларини маълум бир кириш вектори учун қийматларни олиш учун аниқлашдир деб тахмин қилишимиз мумкин..
Хатоларни қайта тарқатиш алгоритмидан фойдаланган ҳолда тармоқни ўқитиш бир неча босқичда амалга оширилади.
Улардан биринчисида x ўқув намунаси тақдим этилади ва тармоқнинг тегишли нейронлари сигналларининг қийматлари ҳисобланади. Берилган x вектори учун аввал яширин қатламнинг чиқиш сигналларининг қийматлари, кейин эса чиқиш қатламининг қийматлари аниқланади. Ҳисоблаш учун (2.1) ва (2.2) формулалар қўлланилади. чиқиш сигналларининг қийматларини олгандан сўнг, E(w) объектив хато функциясининг ҳақиқий қийматини ҳисоблаш мумкин бўлади.
Иккинчи босқичда ушбу функциянинг қиймати минималлаштирилади.
Мақсад функцияси узлуксиз бўлганлиги сабабли, энг самарали ўрганиш усуллари градиэнт алгоритмлари бўлиб, уларга кўра оғирлик вектори қуйидаги формула бўйича аниқланган (ўрганилади):
(2.9)
бу ерда
(2.10)
- ўрганиш коэффициенти ва p(w) - кўп ўлчовли фазодаги йўналиш w. Хатоларни орқага тарқалиш алгоритмида p(w) манфий белгиси билан олинган нинг қисман ҳосиласи сифатида аниқланади.
Кўп қатламли тармоқни градиент усулларидан фойдаланган ҳолда ўргатиш p(w) йўналишини тўғри танлаш учун зарур бўлган тармоқнинг барча қатламларининг оғирлигига нисбатан градиент векторини аниқлашни талаб қилади. Бу масала фақат чиқиш қатламининг оғирликлари учун аниқ эчимга эга. Бошқа қатламлар учун хатони орқага ёйиш алгоритми қўлланилади, у қуйидагича аниқланади:

1. 
   Тармоқнинг киришига x векторни юборинг ва яширин қатламлар ва чиқиш қатлами нейронларининг чиқиш сигналларининг қийматларини, шунингдек ҳар бир қатламнинг фаоллаштириш функцияларининг тегишли ҳосилаларини ҳисобланг (m - қатламлар сони).
   
2. 
   Сигналнинг йўналишини ўзгартириш, фаоллаштириш функцияларини уларнинг ҳосилалари билан алмаштириш ва тармоқнинг олдинги чиқишини ҳақиқий ва кутилган қийматлари ўртасидаги фарқни киритиш орқали хатонинг орқага тарқалиши тармоғини яратинг.
   

(2.9) ва (2.10) формулалар ёрдамида 1 ва 2-бўлимларда дастлабки тармоқ ва хатонинг орқага тарқалиш тармоғи учун олинган натижалар асосида оғирликларни аниқланг.
Тўхташ шарти бажарилгунга қадар барча ўқув намуналари учун 1, 2, 3-босқичларни такрорланг: градиент нормаси машғулот аниқлигини тавсифловчи белгиланган қийматдан камроқ бўлади.
2.3-расмда кўрсатилган битта яширин қатламли тармоқ учун асосий ҳисоблаш формулаларини кўриб чиқамиз. Сигмасимон фаоллаштириш функциясидан фойдаланилади, гиперболик тангенс ҳолатида фаоллаштириш функциясининг ҳосиласига тенгдир.
(2.11)
Логистик функция ҳолатида ҳосила ҳисобланади
(2.12)
(2.11) ва (2.12) формулаларда u ўзгарувчисида (2.13) ва (2.14) формулалар билан ифодаланган яширин ёки чиқиш қатламидаги нейронлар қўшимчаларининг чиқиш сигналлари сифатида тушунилади.
(2.13)
(2.14)
Ҳар бир машғулот танловини тақдим этгандан сўнг биз вазн коэффициентларини аниқлашни ўтказамиз. Минималлаштириш градиент тушиш усули ёрдамида амалга оширилади, бу оғирлик коэффициентларини қуйидагича мослашувни англатади:
(2.15)
Бу ерда - m-1 нейрон қатламининг i-нейронини m-қатламнинг j-нейрони билан боғловчи синаптик боғланишнинг оғирлик коэффициенти, - ўрганиш коэффициенти, 0< <1.
2.3-расмда қабул қилинган белгини ҳисобга олган ҳолда, нейронларнинг чиқиш қатлами учун мақсад функцияси қуйидагича аниқланади:
(2.16)
(2.17)
Бу ерда , аввалгидек, s-нейроннинг чиқиши тушунилади.
Агар биз белгини киритсак , кейин нисбат (2.17) қуйидагича ифодаланиши мумкин:
(2.18)
Яширин қатламнинг нейронларига нисбатан градиентнинг компонентлари янада мураккаб муносабатлар билан тавсифланади:
(2.19)
Бошқа шаклда бу боғлиқликни қуйидаги формула билан ифодалаш мумкин:
(2.20)
Агар биз белгини киритсак
(2.21)
у ҳолда биз яширин қатламдаги нейронларнинг оғирлигига нисбатан градиент компонентларини қуйидаги шаклда аниқлайдиган ифодани оламиз:
(2.22)