ЎҚув материаллари

10-маъруза. Синфларни ажратиб олиш, фактор таҳлили, асосий компоненталар усули, ўлчов назарияси, ўлчов бирлиги турлари


Стохастик градиент усули. , , ўргатувчи танлов берилган. Аппроксимациялашган эмпирик таваккаллик минимум бўладиган вазнлар векторини топиш талаб қилинади:

ни минимизациялаш учун градиент тушиш усулидан фойдаланамиз. Бу усулда вазнлар вектори учун қандайдир бошланғич қийматлар танланади, кейин ҳар қадамда функционал энг тез камаядиган вектори йўналишини ўзгартирадиган итерацион жараён бошланади. Бу йўналиш градиент векторига қарама-қарши бўлади:

бу ерда – ўрганиш темпи (learning rate) дея номланувчи антиградиент йўналиш қадамининг катталиги. йўқотиш функциясини дифференциалланувчи деб олиб, градиентни қуйидагича ёзамиз:

Ҳар бир прецедент вектори ўзгаришига ўзининг аддитив ҳиссасини қўшади, лекин, вектор фақат барча объектларни тўлиқ танлагандан кейин ўзгаради. Агар прецедентларни биттадан танлаб, ҳар бири учун градиент қадам қилиб ва бир вақтнинг ўзида вазнлар векторини қуйидагича янгиласак:

итерацион жараён яқинлашишини яхшилаши мумкин.
Стохастик градиент усулида прецедентлар тасодифий тартибда танланади. Вазнларни бошланғич қийматларини танлаш ҳар хил йўл билан амалга оширилади. Масалан: ёки барча вазнларни нол қиймат билан бошлаш мумкин. Алгоритмнинг тўхташ критерийси экспоненциал сирғалувчи ўртача усул билан функционалга тақрибий баҳога асосланган.
Мослашувчи чизиқли элемент (ADALINE). Йўқотиш функцияси квадратик бўлган ҳолатни қараймиз. У ҳолда стохастик градиент усулининг вазнларни ҳар итерацияда янгилаш қоидаси:

кўринишда бўлади. Бу қоида 1960 йилда Видроу ва Хофф томонидан таклиф қилинган ва дельта қоида (delta-rule) дейилади, чизиқли нейрон эса – мослашувчи чизиқли элемент ёки ADALINE дейилади.