O. S. Rayimjonova M. G. Tillaboyev sh. U. Ergashev

kodlovchi : Kodlovchi manba hujjatni o'qish va uni ichki ko'rinishga kodlash 
uchun javobgardir. 
• 
dekoder dekoder asl hujjatning kodlangan ko'rinishidan foydalangan holda 
olingan xulosadagi har bir so'zni yaratish uchun mas'ul bo'lgan til modeli . 
Matnni yig'ish uchun kodlovchilar 
Kodlovchi - bu modelning murakkabligi, chunki u asl hujjatning qiymatini olish 
uchun javobgardir. 
LSTM kabi ikki yo'nalishli takrorlanuvchi neyron tarmoqlar ko'proq qo'llanilsa-da, 
har xil turdagi kodlovchilardan foydalanish mumkin. Kodlovchida takroriy neyron 
tarmoqlardan foydalanilgan hollarda, so'zlarni joylashtirish taqsimlangan so'z 
namoyishini ta'minlash uchun ishlatiladi. 
Alexander Rush va boshqalar so'z tartibini o'chirib tashlaydigan oddiy so'zli 
kodlovchidan va n-grammni aniq olishga harakat qiladigan konvolyutsion 
kodlovchilardan foydalanadilar. 
Bizning eng asosiy modelimiz asl tartib yoki qo'shni so'zlar o'rtasidagi 
munosabatlarning xususiyatlarini e'tiborsiz qoldirib, H o'lchamiga qadar 
joylashtirilgan kirish jumlasining so'z paketini ishlatadi. [...] So'z to'plami bilan ba'zi 
modellashtirish muammolarini hal qilish uchun biz kiritilgan jumla uchun chuqur 
konvolyutsion kodlovchidan foydalanishni ham ko'rib chiqamiz. 
Konstantin Lopyrev kodlovchi sifatida 4 ta LSTM takrorlanuvchi neyron 
tarmoqlaridan iborat chuqur stekdan foydalanadi. 
Kodlovchi bir vaqtning o'zida bir so'zdan iborat yangilik maqolasi matni uchun 
kirish sifatida xizmat qiladi. Har bir so'z avval so'zni taqsimlangan ko'rinishga 
aylantiradigan o'rnatish qatlamidan o'tadi. Keyinchalik bu taqsimlangan vakillik 
ko'p qatlamli neyron tarmog'i yordamida birlashtiriladi. 

---

110 
Abigail See va boshqalar kodlovchi sifatida bir qatlamli ikki tomonlama LSTM dan 
foydalanadilar. 
Maqola tokenlari w(i) birma-bir enkoderga (bir qatlamli ikki yoʻnalishli LSTM) 
beriladi va h(i) kodlovchining yashirin holatlari ketma-ketligini yaratadi. 
Ramesh Nallapati va boshqalar . o'z kodlovchilarida ikki tomonlama GRU 
takrorlanuvchi neyron tarmoqlaridan foydalaning va kirish ketma-ketligidagi har bir 
so'z haqida qo'shimcha ma'lumotlarni kiriting. 
Kodlovchi ikki tomonlama GRU-RNNdan iborat... 
Matnni yig'ish dekoderlari 
Dekoder ikkita ma'lumot manbasini hisobga olgan holda chiqish ketma-ketligida har 
bir so'zni yaratishi kerak: 
1. Kontekst vektori : Kodlovchi tomonidan taqdim etilgan asl hujjatning 
kodlangan ko'rinishi. 
2. Yaratilgan ketma-ketlik : Xulosa sifatida allaqachon yaratilgan so'z yoki 
so'zlar ketma-ketligi. 
Kontekst vektori oddiy kodlovchi-dekoder arxitekturasida bo'lgani kabi qattiq 
uzunlikdagi kodlash yoki diqqat mexanizmi bilan filtrlangan yanada ifodali shakl 
bo'lishi mumkin. 
Yaratilgan ketma-ketlik kichik tayyorgarlik bilan ta'minlanadi, masalan, so'zlarni 
joylashtirish orqali har bir yaratilgan so'zning taqsimlangan ko'rinishi. 
Har bir t bosqichida dekoder (bir qatlamli bir yo'nalishli LSTM) oldingi so'zni o'z 
ichiga olgan so'zni oladi (trening davomida bu ma'lumotnoma xulosasining oldingi 
so'zi; sinov paytida bu dekoder tomonidan chiqarilgan oldingi so'z) 
Aleksandr Rush va boshqalar buni faqat diagrammada ko'rsatadilar, bunda x - 
dastlabki hujjat, ad - manba hujjatning ichki ko'rinishini ta'minlovchi kodlovchi va 
y - avval yaratilgan so'zlar ketma-ketligi . 

---

111 
3.4.1-rasm.Kodlovchi-dekoder arxitekturasi o'zgaruvchan sonli kirishlar sxemasi. 
Bir vaqtning o'zida so'zlarni yaratish uchun model umumiy so'zlarning maksimal 
soni hosil bo'lgunga qadar yoki ketma-ketlikning maxsus belgisiga erishilgunga 
qadar ishlashini talab qiladi. 
Jarayon birinchi so'zni yaratish uchun modelni maxsus ketma-ketlik belgisi 
bilan ta'minlash orqali boshlanishi kerak. 
Dekoder kirish matnining oxirgi so'zi kiritilgandan so'ng yaratilgan yashirin 
qatlamlarni kirish sifatida oladi. Birinchidan, ketma-ketlik oxiri belgisi kirish 
sifatida kiritiladi, yana belgilarni taqsimlangan tasvirga aylantirish uchun 
joylashtirish qatlamidan foydalaniladi. [...]. Har bir so'zni yaratgandan so'ng, keyingi 
so'zni yaratishda xuddi shu so'z kirish sifatida kiritiladi. 
Ramesh Nallapati va boshqalar . GRU takroriy neyron tarmog'i yordamida 
chiqish ketma-ketligini yaratish. 
Dekoder kodlovchi bilan bir xil yashirin holat o‘lchamiga ega bo‘lgan bir yo‘nalishli 
GRU-RNN dan iborat. 
Manba matnini o'qish 
Matnni umumlashtirish muammosiga qarab, ushbu arxitekturani qo'llashda 
moslashuvchanlik mavjud. 
Ko'pgina tadqiqotlar enkoderdagi bir yoki bir nechta asl jumlalarga qaratilgan, 
ammo bu har doim ham shunday emas. 

---

112 
Masalan, kodlovchi manba hujjatni turli o'lchamdagi bo'laklarga o'qish va kodlash 
uchun sozlanishi mumkin: 
• 
Taklif. 
• 
Paragraf. 
• 
Sahifa. 
• 
Hujjat. 
Xuddi shunday, dekoder har bir bo'lakni yig'ish yoki kodlangan bo'laklarni jamlash 
va kengroq xulosa chiqarish uchun sozlanishi mumkin. 
Yo'lda ba'zi ishlar amalga oshirildi, bu erda Aleksandr Rush va boshqalar . so'z va 
jumla darajasida diqqat bilan ierarxik kodlovchi modeldan foydalaning. 
Ushbu model ikkita manba tomonidagi ikki yo'nalishli RNN yordamida, biri so'z 
darajasida, ikkinchisi esa jumlalar darajasida muhim ahamiyatga ega bo'lgan bu 
tushunchani egallashga qaratilgan. Diqqat mexanizmi bir vaqtning o'zida ikkala 
darajada ham ishlaydi 
Amalga oshirish modellari 
Keras chuqur o'rganish kutubxonasida matnni umumlashtirish uchun Encoder-
Decoder arxitekturasini qanday amalga oshirishni ko'rib chiqamiz . 
Umumiy model 
o'rnatilgan kirishga ega enkoderni va undan keyin asl hujjatning belgilangan 
uzunlikdagi tasvirini yaratadigan yashirin LSTM qatlamini o'z ichiga oladi. 
Dekoder oxirgi yaratilgan so'zning ko'rinishi va o'rnatilishini o'qiydi va natijada 
olingan xulosadagi har bir so'zni yaratish uchun ushbu kirishlardan foydalanadi. 

---

113 
3.4.2- rasm.Keras model struktura sxemasi. 
Keras model chiqishi avtomatik ravishda modelga kirish sifatida kiritiladigan 
rekursiv tsikllarga ruxsat bermaydi. 
Bu shuni anglatadiki, yuqorida tavsiflangan modelni Kerasda to'g'ridan-to'g'ri 
amalga oshirib bo'lmaydi ( lekin TensorFlow kabi yanada moslashuvchan tizimda 
amalga oshirilishi mumkin ). 
Kerasda amalga oshirishimiz mumkin bo'lgan uchta model variantini ko'rib 
chiqamiz . 
Muqobil 1: bir martalik model 
Birinchi muqobil model butun chiqish ketma-ketligini bir martada yaratishdir. 
Ya'ni, dekoder chiqish ketma-ketligini yaratish uchun faqat kontekst vektoridan 
foydalanadi 

---

114 
3.4.3- rasm.Keras model struktura sxemasi. 
Funktsional API yordamida Kerasda ushbu yondashuv uchun namuna kodi . 
Ushbu model dekoderga katta yuk yuklaydi. 
Dekoderda ketma-ket chiqish ketma-ketligini yaratish uchun etarli kontekst 
bo'lmasligi mumkin, chunki u so'zlar va ularning tartibini tanlashi kerak. 

---

115 
Muqobil 2: rekursiv model A 
Ikkinchi muqobil model - bitta so'z bashoratini yaratadigan va uni rekursiv 
chaqiradigan modelni ishlab chiqish. 
Ya'ni, dekoder keyingi so'zni yaratish uchun kontekst vektoridan va kiritishdan oldin 
yaratilgan barcha so'zlarning taqsimlangan ko'rinishidan foydalanadi. 
Til modeli hozirgacha yaratilgan so'zlar ketma-ketligini talqin qilish uchun 
ishlatilishi mumkin, bu ketma-ketlikda keyingi so'zni yaratish uchun asl hujjat 
ko'rinishi bilan birlashtirish uchun ikkinchi kontekst vektorini ta'minlaydi. 
Xulosa oldindan yaratilgan so'z qo'shilgan (yoki aniqrog'i, mashg'ulot paytida 
kutilgan oldingi so'z) bilan modelni rekursiv chaqirish orqali hosil qilinadi. 
Dekoderga keyingi so'zni talqin qilish va chiqarish uchun kengroq kontekstni 
ta'minlash uchun kontekst vektorlari jamlanishi yoki bir-biriga qo'shilishi mumkin. 
3.4.4- rasm.Rekursiv model A sxemasi

---

116 
Funktsional API yordamida Kerasda ushbu yondashuv uchun namuna kodi . 
Bu yaxshiroq, chunki dekoderga avval yaratilgan so'zlar va asl hujjatdan keyingi 
so'zni yaratish uchun kontekst sifatida foydalanish imkoniyati beriladi. 
Bu chiqish ketma-ketligini yaratishda iloji boricha izohlash uchun birlashma 
operatsiyasi va dekoderga yuklaydi. 
3-muqobil: rekursiv model B 
Ushbu uchinchi variantda kodlovchi manba hujjatning kontekst vektorining tasvirini 
yaratadi. 
Ushbu hujjat ishlab chiqarilgan chiqish ketma-ketligining har bir bosqichida 
dekoderga beriladi. Bu dekoderga chiqish ketma-ketligidagi so'zlarni yaratish uchun 
ishlatilgan bir xil ichki holatni yaratishga imkon beradi, shuning uchun u ketma-
ketlikda keyingi so'zni yaratishga tayyor bo'ladi. 
Keyinchalik bu jarayon takrorlanadi, maksimal uzunlik yoki ketma-ketlikning oxiri 
belgisi hosil bo'lgunga qadar, chiqish ketma-ketligidagi har bir so'z uchun model 
qayta-qayta chaqiriladi. 

---

117 
3.4.5- rasm.Rekursiv model B sxemasi
Funktsional API yordamida Kerasda ushbu yondashuv uchun namuna kodi . 
Multipleksatorlar. Multiplekser - bir nechta kirish aloqa liniyalari orqali 
keladigan raqamli ma'lumotlarni bitta chiqish liniyasiga o'tkazishni ta'minlaydigan 
funktsional birlik . Ma'lumot chiqishga yuboriladigan kirish liniyasini tanlash manzil 
kirishlariga keladigan signallar yordamida amalga oshiriladi. 
Multipleksorning umumlashtirilgan sxemasi rasmda ko'rsatilgan. 16.1. MUX 
multipleksor 
( Multiplexer ) 
odatda kirish mantiqiy sxemasi tomonidan 

---

118 
boshqariladigan kalit sifatida taqdim etilishi mumkin . Kirish mantiqiy signallari X, 
kalitning kirishlariga keladi va kalit orqali Y chiqishiga uzatiladi . Kalit kirish 
mantiqiy sxemasi tomonidan boshqariladi. Mantiqiy sxemaning kirishiga A,, ( 
Manzil ) manzil signallari qo'llaniladi. Multiplekserlar qo'shimcha boshqaruv 
kirishiga ega bo'lishi mumkin E ( Yoqish ), u strobe chiqishini amalga oshirishi 
mumkin Y. Bundan tashqari, ba'zi multipleksorlar uch holatli chiqishga ega bo'lishi 
mumkin: ikkita holat 0 va 1 va uchinchi holat - chiqish o'chirilgan (chiqish qarshiligi 
cheksizlikka teng). Multipleksorni uchinchi holatga o'tkazish OE signali ( Chiqish 
Yoqish ).