O‘zbekiston respublikasi axborot texnalogiyalari va kommunikatsiyalarini rivojlantirish vazirligi

O‘ZBEKISTON RESPUBLIKASI AXBOROT TEXNALOGIYALARI VA KOMMUNIKATSIYALARINI RIVOJLANTIRISH VAZIRLIGI

MUHAMMAD AL-XORAZMIY NOMIDAGI TOSHKENT AXBORT TEXNALOGIYALARI UNIVERSITETI

Kommutatsiya va marshrutizatsiya Fanidan

ESSAY

Tekshirdi: Maxmudov Salim

Bajardi: Mustafoyeva Zuhra
Variant: 26

Multi-Agent Packet Routing (MAPR): Co-Operative Packet Routing Algorithm with Multi-Agent Reinforcement Learning

Paketlarni yo'naltirish muammosi kompyuter tarmoqlarida asosiy muammo bo'lib, kechikish, tirbandlik va boshqa ishlash ko'rsatkichlarini minimallashtirishda paketlarning manba tugunidan maqsad tuguniga o'tishi uchun maqbul yo'lni topishga qaratilgan. Kabi an'anaviy marshrutlash algoritmlari birinchi navbatda ochiq qisqa yo'l (OSPF) va marshrutlash haqida ma'lumot protokoli (RIP), marshrutlash yo'llarini hisoblash uchun oldindan belgilangan qoidalar yoki ko'rsatkichlarga tayanadigan markazlashtirilgan yoki taqsimlangan boshqaruv mexanizmiga asoslangan. Biroq, ushbu algoritmlar topologiya, trafik va ulanish sifati tez-tez va oldindan aytib bo'lmaydigan darajada o'zgarishi mumkin bo'lgan dinamik, heterojen, keng ko'lamli va mustahkam tarmoqlar uchun mos kelmasligi mumkin.

Ushbu muammolarni hal qilish uchun tadqiqotchilar ko'p agentli paketli marshrutlash (MAPR) algoritmini taklif qilishdi, bu ko'p agentli mustahkamlashni o'rganish bilan kooperativ paketli marshrutlash algoritmi. MAPR ko'p agentli tizimlar kontseptsiyasiga asoslanadi, bu tizimni umumiy maqsadga erishish uchun bir-biri bilan o'zaro ta'sir qiluvchi avtonom agentlar to'plami sifatida ko'radigan paradigma. MAPR - da har bir yo'riqnoma o'z tajribasidan o'rganadigan va boshqa agentlar bilan ma'lumot almashish va ularning harakatlarini muvofiqlashtirish uchun muloqot qila oladigan agent sifatida taqdim etiladi.

MAPR foydalanadi mustahkamlashni o'rganish, bu agentlarga atrof-muhit bilan o'zaro ta'siridan saboq olish va o'z harakatlariga qarab mukofot yoki jazo olish imkonini beradigan mashinani o'rganish texnikasi. MAPR-da har bir agent q-learning-dan foydalanadi, bu kelajakdagi kutilayotgan mukofotlar asosida harakatlar sifatini baholaydigan mustahkamlashni o'rganish algoritmining bir turi. Q qiymati agent ma'lum bir holatda ma'lum bir harakatni amalga oshirish orqali erishishi mumkin bo'lgan kutilgan mukofotni anglatadi. Q qiymati Bellman tenglamasi yordamida takroriy ravishda yangilanadi, bu rekursiv tenglama bo'lib, optimal Q qiymatini bevosita mukofotning maksimal qiymati va keyingi holatning diskontlangan kelajakdagi Q qiymati sifatida ifodalaydi.

MAPR shuningdek foydalanadi qo'shma harakatlarni o'rganish, bu agentlarga o'z harakatlarining atrof-muhitga birgalikdagi ta'sirini hisobga olgan holda bir-biri bilan qanday hamkorlik qilishni o'rganishga imkon beradigan usuldir. MAPR-da agentlar o'zlarining Q qiymatlarini baham ko'rishadi va barcha agentlarning q qiymatlarining maksimal yig'indisi asosida keyingi yo'riqchini birgalikda tanlaydilar. Bu agentlarning global tarmoq ishlashini hisobga olishini va tirbandlik va kechikishdan saqlanishini ta'minlaydi.

MAPR algoritmi an'anaviy marshrutlash algoritmlariga nisbatan bir nechta afzalliklarga ega. Birinchidan, u o'z tajribasidan o'rganish va marshrutlash qarorlarini mos ravishda sozlash orqali dinamik va heterojen tarmoq muhitiga moslasha oladi. Ikkinchidan, markazlashtirilmagan boshqaruv mexanizmidan foydalangan holda va bitta nosozlik nuqtalaridan qochib, keng ko'lamli va mustahkam tarmoqlarni boshqarishi mumkin. Uchinchidan, agentlarning harakatlarining birgalikdagi ta'sirini hisobga olgan holda va tirbandlik va kechikishni minimallashtirish orqali an'anaviy marshrutlash algoritmlariga qaraganda yaxshiroq ishlashga erishish mumkin.

Biroq, MAPR algoritmini ishlab chiqishda bir nechta muammolar mavjud. Asosiy muammolardan biri qidiruv va ekspluatatsiya savdosini muvozanatlashdir. Kuchaytirishni o'rganishda agentlar optimal siyosatni kashf qilish uchun yangi harakatlarni o'rganishlari kerak, ammo ular kutilgan mukofotni maksimal darajada oshirish uchun mavjud bilimlardan foydalanishlari kerak. MAPR-da agentlar tanlash orqali yangi harakatlarni o'rganadilar

tasodifiy ma'lum bir ehtimollik bilan keyingi router, tadqiqot darajasi chaqirdi, ular bir ehtimollik bilan eng yuqori Q-qiymati bilan keyingi router tanlab joriy bilim foydalanish esa 1 minus tadqiqot darajasi. Vaqt o'tishi bilan razvedka tezligi pasayadi, ya'ni agentlar ko'proq tajriba orttirganda ko'proq ekspluatatsiyaga aylanadi. Ammo, agar qidiruv tezligi juda tez pasaysa, agentlar suboptimal eritmaga yaqinlashishi yoki mahalliy minimal darajaga tushib qolishi mumkin. Shuning uchun qidiruv tezligini tanlash MAPR algoritmining ishlashi uchun juda muhimdir.

Yana bir qiyinchilik-paketli marshrutlash muammosining ishlash ko'rsatkichlarini aks ettiruvchi mukofot funktsiyasini loyihalash. MAPR-da darhol mukofot joriy yo'riqchining kechikishi va tiqilib qolishiga asoslanadi, bu global tarmoq ishlashini ushlab turolmaydigan mahalliy ko'rsatkichdir. Shuning uchun, tadqiqotchilar bunday o'rtacha kechikish, paketi zarar darajasi, va transport ajratish adolat sifatida end-to-end ishlash o'lchadi, deb hisoblaydi mukofot vazifasini loyihalashtirish kerak. Buning uchun tarmoq topologiyasini, trafik tartibini va foydalanuvchi talablarini chuqur tushunishni, shuningdek, turli xil ishlash ko'rsatkichlari o'rtasidagi kelishuvni talab qiladi.

Xulosa qilib aytganda, ko'p agentli paketlarni yo'naltirish (MAPR) algoritmi dinamik, heterojen, keng ko'lamli va mustahkam tarmoqlarda paketlarni yo'naltirish muammosini hal qilishning istiqbolli yondashuvidir. MAPR agentlarga o'z tajribasidan o'rganish va kechikish, tirbandlik va boshqa ishlash ko'rsatkichlarini minimallashtirish uchun bir-biri bilan hamkorlik qilish uchun ko'p agentli mustahkamlashni o'rganishdan foydalanadi. Biroq, MAPR algoritmini ishlab chiqish qidiruv va ekspluatatsiya savdosini muvozanatlash, mukofot funktsiyasini loyihalash va miqyosi va mustahkamligini ta'minlash kabi bir nechta muammolarni hal qilishni talab qiladi. Shu sababli, kelajakdagi tadqiqotlar MAPR algoritmining ishlashi va qo'llanilishini yaxshilashga va turli tarmoq stsenariylarida uning imkoniyatlarini o'rganishga qaratilishi kerak.

Words: 798
Characters: 5 295
Sentences: 32
Paragraphs: 8