Bug‘doy navlarini tanlash jarayoniga Multiagent texnologiyalarini qo‘llash

O‘quv agentlari. Yuqorida turli xil harakatlarni tanlash usullarini qo‘llagan agent dasturlari tasvirlandi. Ammo agent dasturlari qanday yaratilishi hali ko‘rib chiqilmadi. Tyuring o‘zining dastlabki mashhur maqolasida o‘zi taklif qilgan aqlli mashinalarni qo‘lda dasturlash qanday amalga oshirilishi kerakligi haqidagi fikrni tahlil qildi. U buning uchun zarur bo‘lgan ish hajmini baholadi va shunday xulosaga keldi: "qandaydir samaraliroq usulga ega bo‘lish maqsadga muvofiq bo‘lar edi". Uning taklif qilgan usuli shundaki,dastlab o‘quv mashinalarini yaratish va keyin ularni o‘qitish kerak bo‘ladi. Hozirga kelib bu usul sun'iy intellektning ko‘plab sohalarida eng zamonaviy tizimlarni yaratishda ustunlik qilmoqda. Har qanday agent turi (modelga asoslangan, maqsadli, amaliy va boshqalar) o‘quv agenti sifatida yaratilishi mumkin .
Yuqorida ta'kidlab o‘tilganidek, o‘qitish yana bir afzalliklarga ega: o‘qitish agentga dastlab noma'lum muhitda ishlashga imkon beradi va faqat uning dastlabki bilimlari bilan taqqoslaganda yanada samarali bo‘ladi. 18-rasmda ko‘rsatilgandek, o‘quv agenti tarkibida to‘rtta kontseptual komponentni ajratish mumkin. Uni yaxshilash uchun mas'ul bo‘lgan o‘quv komponenti va tashqi harakatlar tanlovini ta'minlaydigan faol komponent o‘rtasida eng muhim farq kuzatiladi. Agentning faol komponentlarini ko‘rib chiqamiz: u idrok ma'lumotlarini oladi va bajarilgan harakat to‘g‘risida qaror qabul qiladi; O‘quv komponenti agentning qanday ishlashini baholaydigan tanqidchining fikr-mulohazalaridan foydalanadi va kelajakda yanada muvaffaqiyatli ishlashi uchun faol komponentni qanday o‘zgartirish kerakligini aniqlaydi.
O‘quv komponentining dizayni ko‘p jihatdan faol komponentning dizayniga bog‘liq. Muayyan qobiliyatlar bo‘yicha o‘qitiladigan agentni loyihalashga urinish, dastlab, "faol tarkibiy qism" degan savolga javob topishi kerak. agent o‘z vazifalarini samarali bajarishga o‘rgatilgandan keyin unga qanday turdagi ko‘rsatmalar kerak bo‘ladi? Agentning o‘zi ishlab chiqilgandan keyingina, ushbu agentning biron bir qismini takomillashtirishga imkon beradigan o‘quv mexanizmlarini ishlab chiqishni boshlash mantiqan to‘g‘ri bo‘ladi.
T
anqidchi komponenti o‘quv komponentiga agentning belgilangan ishlash standartini hisobga olgan holda qanchalik yaxshi ishlashini aytib beradi. Ushbu komponent zarur, chunki idrok natijalarining o‘zi agentning muvaffaqiyatli ishlashi to‘g‘risida hech qanday ma'lumot bermaydi. Masalan, shaxmat dasturi raqibini mot qilganligini ko‘rsatadigan idrok natijalarini olishi mumkin, ammo bu yaxshi natija ekanligini aniqlashga imkon beradigan ishlash standartini talab qiladi; ammo idrok ma'lumotlarining o‘zi bu haqda hech narsa demaydi. Ishlash standarti doimiy bo‘lishi muhimdir, chunki,
18-rasm.
ushbu standart agentga nisbatan butunlay tashqi deb qaralishi kerak, ammo agent uni o‘z xatti-harakatlariga ko‘proq mos keladigan tarzda o‘zgartira olmasligi kerak.
18-rasm. O‘quv agentining umumiy tuzilishi. Agent dasturidagi "Faol komponent" to‘rtburchagi yuqorida ko‘rib chiqilgan strategiyani anglatadi. "Ta'lim komponenti" to‘rtburchagi agentning ish faoliyatini yaxshilash uchun uni o‘zgartirish imkoniyatini beradi.
O‘quv agentining oxirgi komponenti muammo generatori hisoblanadi. Uning vazifasi yangi, ma'lumotli tajribaga olib kelishi kerak bo‘lgan harakatlarni taklif qilishdir. Haqiqat shundaki, agar faol tarkibiy qism o‘z-o‘zidan saqlanib qolsa, u allaqachon bilgan narsalari nuqtai nazaridan eng yaxshi bo‘lgan harakatlarni bajarishda davom etadi. Ammo agent biroz tajriba o‘tkazishga va qisqa muddatda unchalik maqbul bo‘lmasligi mumkin bo‘lgan harakatlarni bajarishga tayyor bo‘lsa, u uzoq muddatli nuqtai nazardan ancha yaxshi harakatlarni kashf etish imkoniyatiga ega bo‘ladi. Muammo generatori aynan shunday tadqiqot faoliyatini taklif qilish uchun mo‘ljallangan. Aynan shu narsa olimlar tomonidan tajribalar o‘tkazish orqali amalga oshiriladi. Galiley pisa minorasining tepasidan toshlarni tashlashni maqsad deb o‘ylamagan. Uning maqsadi ob'ektlar harakatining eng yaxshi nazariyasini shakllantirish orqali o‘z ongida shakllangan qarashlarni o‘zgartirish edi.
O‘quv komponenti agentlarning tuzilish sxemalarida mavjud bo‘lgan "bilim" ning har qanday tarkibiy qismlariga o‘zgartirishlar kiritishi mumkin (12, 14, 16 va 17-rasmlarga qarang). Eng oddiy holatlarda o‘qitish to‘g‘ridan-to‘g‘ri idrok aktlari ketma-ketligi asosida amalga oshiriladi. Atrof-muhitning ketma-ket holatlarining juftligini kuzatish agentga ushbu harakatlarga javoban "mening harakatlarim qanday ta'sir qilishi" va "dunyo qanday o‘zgarishi" haqida ma'lumot olishga imkon berishi mumkin. Masalan, avtomatlashtirilgan taksi haydovchisi sirpanchiq yo‘lda haydash paytida ma'lum bir tormoz bosimini qo‘llaganidan so‘ng, u aslida qanday tezlikni pasayishiga erishilganligini va yo‘lda sirpanish sodir bo‘lganligini bilib oladi. Olingan natijalarga asoslanib, muammo generatori modelning yaxshilanishga muhtoj bo‘lgan ayrim qismlarini aniqlay oladi va turli xil yo‘llarda va turli ob-havo sharoitida tormoz ta'sirini sinash shaklida bir qator tajribalarga ega bo‘lishi mumkin.
Model asosida ishlaydigan agent uchun uning tarkibiy qismlarini real hayotga aniqroq mos keladigan tarzda takomillashtirish deyarli har doim yaxshi urinish, tashqi ishlash standartiga bog‘liq emas. (Ba'zan hisoblash nuqtai nazaridan mukammal, ammo nihoyatda murakkab bo‘lganidan ko‘ra sodda, biroz noaniq modelga ega bo‘lish yaxshiroqdir.) Tashqi standartdan olingan ma'lumotlar sizga faqat refleks komponentini yoki foydali funktsiyani o‘rgatish kerak bo‘lganda zarur bo‘ladi.
Masalan, agent taksi haydovchisi deb faraz qilaylik, u sayohatdan keyin charchagan va butunlay holdan toygan yo‘lovchilar haqidagi ma’lumot ularga kerak bo‘lmaydi. Tashqi ishlash standarti agentga maslahat bermasdan balki uning umumiy ishlashiga salbiy hissa qo‘shishi haqida xabar berishi kerak. Bunday holda, trening natijasida agent yo‘lovchilarni bezovta qiladigan va charchatadigan qo‘pol manevrlar uning foydali funksiyasini baholashni oshirishga imkon bermasligini bilib olish imkoniyatiga ega bo‘ladi. Shu ma'noda, ishlash standarti kirish idrok natijalarining ma'lum bir qismini agentning xulq-atvori sifati to‘g‘risida to‘g‘ridan-to‘g‘ri fikr bildiradigan rag‘bat (yoki jarima) sifatida ajratishga imkon beradi.
Masalan, aytaylik, taksi haydovchisi agentida odamlar odatda baland tovushlarni yoqtirmasliklari haqida hech qanday ma'lumot yo‘q edi va piyodalarni yaqinlashayotgani to‘g‘risida ogohlantirish uchun signalni doimiy ravishda bosish g‘oyasiga qaror qildi. Yo‘lovchilarning keyingi xatti - harakatlari - quloqlarni berkitish, haqoratli so‘zlarni ishlatish va, ehtimol, signalga boradigan simlarning uzilishi-agentga o‘zining foydali funktsiyasini muvaffaqiyatli yangilash imkoniyatini beradi.
Xulosa qilib shuni ta'kidlaymizki, agentlar juda ko‘p tarkibiy qismlarga ega va bu tarkibiy qismlarning o‘zi agent dasturida ko‘p jihatdan taqdim etilishi mumkin, shuning uchun o‘qitish usullarining xilma-xilligi mavjud. Biroq, bu usullarning barchasi bitta birlashtiruvchi jihatga ega. Umuman olganda, aqlli agentlardagi o‘quv jarayonini agentning har bir tarkibiy qismini o‘zgartirish jarayoni deb ta'riflash mumkin, bu tarkibiy qismlarni mavjud bo‘lgan teskari aloqa ma'lumotlariga yaxshiroq moslashtirish va shu bilan agentning umumiy ish faoliyatini yaxshilash kerak bo‘ladi.
Multi agent dasturlarining tarkibiy qismlari qanday ishlaydi. Yuqorida agent dasturlari (eng yuqori darajada) turli xil tarkibiy qismlardan tashkil topgan deb ta'riflangan, ularning vazifalari ba'zi savollarga javob berishdan iborat: "Hozir qanday harakat qilishim kerak?", "Mening harakatlarim natijasida nima bo‘ladi?"O‘quvchi uchun muqarrar ravishda paydo bo‘ladigan navbatdagi savol" bu tarkibiy qismlar qanday ishlaydi?"Bunday savolga to‘g‘ri javob berish uchun minglab sahifalardan iborat ma’lumotlar kerak bo‘ladi. Shuning uchun, bu erda biz faqat o‘quvchining e'tiborini ushbu tarkibiy qismlar agent joylashgan muhitni ifodalashi mumkin bo‘lgan ba'zi bir asosiy farqlarga qaratmoqchimiz.
Taxminan aytganda, murakkablikni va ekspressivlik darajasini oshirish uchun o‘q bo‘ylab tasvirlarni joylashtirish mumkin. Ushbu g‘oyani tasvirlash uchun agentning ma'lum bir tarkibiy qismini ko‘rib chiqish foydali bo‘ladi, masalan, "mening harakatlarim natijasida nima bo‘ladi?"Ushbu komponent harakatni amalga oshirish natijasida muhitda yuz berishi mumkin bo‘lgan o‘zgarishlarni tavsiflaydi. 19-rasmda ushbu o‘zgarishlarni qanday ifodalash mumkinligi sxematik tarzda ko‘rsatilgan.
Atom ko‘rinishida dunyoning har bir holati bo‘linmasdir-u ichki tuzilishga ega emas.

19-rasm. Holatlarni ifodalashning uchta usuli va ular orasidagi bog‘lanish. a) atom tasviri: har qanday holat (masalan, b yoki C) hech qanday ichki tuzilishga ega bo‘lmagan qora quti. b) Kengaytirilgan vakillik: holat mantiqiy, haqiqiy sonlar yoki belgilangan to‘plamdagi ba'zi belgilar bo‘lishi mumkin bo‘lgan atribut qiymatlari vektori sifatida ifodalanadi. C) strukturaviy vakillik: davlat har biri o‘ziga xos xususiyatlarga ega bo‘lishi mumkin bo‘lgan ob'ektlarni, shuningdek boshqa ob'ektlar bilan aloqalarni o‘z ichiga oladi
Kengaytirilgan ko‘rinishda har bir holat o‘zgaruvchilar yoki atributlarning belgilangan to‘plamiga joylashtiriladi, ularning har biri ma'lum bir qiymatga ega bo‘lishi mumkin. Ko‘pgina hollarda, biz dunyoni nafaqat ma'lum qiymatlarga ega o‘zgaruvchilar, balki bir-biri bilan muayyan munosabatlar yoki aloqalarga ega bo‘lgan ob'ektlar yoki mavjudotlar sifatida tasavvur qilishimiz kerak. Masalan, butun mamlakat bo‘ylab sayohat paytida biz oldimizda katta yuk mashinasi sut fermasiga kirish yo‘liga burila boshlaganini ko‘rishimiz mumkin, ammo dangasa sigir uning yo‘lini to‘sib qo‘yadi. Bunday holda, biz sigirlar va yuk mashinalari kabi o‘ziga xos xususiyatlarga ega bo‘lgan ob'ektlarni, shuningdek ular orasidagi turli xil munosabatlarni aniq tasvirlash mumkin bo‘lgan holatlarning strukturaviy tasviri bilan ishlashimiz kerak bo‘ladi. (19-rasmga qarang). Aslida, odamlar tabiiy tilda ifoda etadigan narsalarning aksariyati ob'ektlar va ularning munosabatlari bilan bog‘liq.
Yuqorida ta'kidlab o‘tilganidek, biz 19-rasmda atom, kengaytirilgan va strukturaviy tasvirlarni joylashtirgan o‘q-bu vakillikning ekspressivligini oshirish o‘qi. Taxminan aytganda, yanada ifodali vakillik, hech bo‘lmaganda ixcham shaklda, kamroq ekspressivlikni o‘z ichiga olgan barcha narsalarni o‘z ichiga olishi mumkin. Masalan, shaxmat o‘yinining qoidalari birinchi darajali mantiq kabi tizimli vakillikdan foydalanadigan tilda bir yoki ikki sahifada yozilishi mumkin, ammo agar siz ularni bayon mantig‘i kabi kengaytirilgan vakillikdan foydalanadigan tilda yozsangiz, minglab sahifalar kerak bo‘ladi va agar siz atom vakili bo‘lgan tildan foydalansangiz, taxminan 10³⁸ sahifa kerak bo‘ladi. Boshqa tomondan, g‘oyalarning ekspresivligining oshishida mulohaza yuritish va o‘quv jarayonlari yanada murakkablashadi. Ekspressiv g‘oyalardan foyda olish va shu bilan birga o‘ziga xos kamchiliklardan qochish uchun Real dunyodagi aqlli tizimlar bir vaqtning o‘zida ekspressivlik o‘qi bo‘ylab barcha nuqtalarda ishlashi kerak bo‘ladi.[18]

II bob bo‘yicha xulosa

Shuni ta’kidlash kerakki, ma'lumotlarni ishlab chiqish tizimlari o‘zlarining ilk bosqichida va ulardan qishloq xo‘jaligining bir qator(urug‘chilik) sohalarida tadqiqotlarda foydalanish o‘zining dastlabki qadamlarini tashlamoqda. Eng muhimi(bu sohada), to‘plangan bilimlarning ulkan zaxirasi, urug‘chilik kabi sohalarning tabiati tajriba amaliyoti bizga mutaxassislarning mehnati behuda ketmasligiga umid qilish imkonini beradi. Qishloq xo‘jaligi sohasiga intellektual tizimlarning aralashuvidan so‘ng bir qator yangi qarashlar vujudga kela boshladi. Shu bois ushbu bobda, quyidagi mavzular ostida bir qator fikr va mulohazalar bayon etildi:

• 
  Atrof-muhit va agentlar. Agent-bu atrof-muhitni sensorlar orqali idrok etish va aktuatorlar (ijro etuvchi mexanizmlar) orqali ushbu muhitga ta'sir qilish qobiliyatiga ega deb hisoblanuvchi inson tomonidan yaratilgan vosita sifatida qaraladi.
  
• 
  Ratsional agent - bu to‘g‘ri harakatlarni amalga oshiradigan agent. Bobning ikkinchi bo‘limi aynan shu mavzuga qaratildi.
  
• 
  Atrof-muhit xususiyatlari mavzusi ostida agent uchun muammoli muhit madaniyati o‘rganildi.
  
• 
  Agentlarning tuzilishi – bu bo‘limda ularning tuzilishini chizmalar yordamida tushuntirishga harakat qilindi.
  

Shuni ta'kidlaymizki, agentlar juda ko‘p tarkibiy qismlarga ega va bu tarkibiy qismlarning o‘zi agent dasturida ko‘p jihatlarini taqdim etishi mumkin, shuning uchun ham o‘qitish usullarida xilma-xillik mavjud. Biroq, bu usullarning barchasi bitta birlashtiruvchi jihatga ega. Umuman olganda, aqlli agentlardagi o‘quv jarayonini agentning har bir tarkibiy qismini o‘zgartirish jarayoni deb ta'riflash mumkin bo‘ladi, bu tarkibiy qismlarni mavjud bo‘lgan teskari aloqa ma'lumotlariga