Aqlli o'yinlarni yaratish uchun mashinani o'rganish: bu qanday amalga oshiriladi

Chimera o'ynashni o'rganish
Chimera katta davlat maydonida to'liq bo'lmagan ma'lumotlarga ega karta o'yini bo'lgani uchun , biz ML modelini o'rganish qiyin bo'lishini kutgandik, ayniqsa nisbatan oddiy modeldan foydalanishga qaror qilganimiz uchun. Biz AlphaGo kabi oldingi o'yinchi agentlaridan ilhomlangan texnikadan foydalandik, unda konvolyutsion neyron tarmog'i (CNN) o'zboshimchalik bilan o'yin holatida g'alaba qozonish ehtimolini bashorat qilish uchun o'rgatiladi. Modelni tasodifiy harakatlar tanlangan o'yinlarda biroz o'rgatganimizdan so'ng, biz agentlarni bir-biriga qarshi o'ynashga majbur qildik, iterativ ravishda o'yin ma'lumotlarini to'pladik, keyin esa yangi agentni o'rgatish uchun foydalanildi. Har bir iteratsiya bilan mashg'ulot ma'lumotlarining sifati va agentning o'ynash qobiliyati yaxshilandi.

O'quv jarayonida qo'lda yaratilgan eng yaxshi AIga qarshi o'yinda ML agentining natijalari. Asl ML agenti (versiya 0) harakatlarni tasodifiy tanladi.
Modelning kiritilishiga uzatiladigan o'yin holatining tavsifini tanlashda biz CNN tarmog'iga kodlangan "tasvir" ni uzatish orqali eng yaxshi natijalar berilishini aniqladik; u barcha protsessual benchmark agentlari va boshqa turdagi tarmoqlardan yaxshiroq bo'lib chiqdi (masalan, to'liq ulangan ). Tanlangan model arxitekturasi protsessorda mos vaqt ichida ishlash uchun etarlicha kichik, bu bizga model og'irliklarini yuklab olish va Unity Barracuda yordamida agentni to'g'ridan-to'g'ri HYPERLINK "https://github.com/Unity-Technologies/barracuda-release" Chimera o'yin mijozida ishga tushirish imkonini berdi .

Neyron tarmog'ini o'rgatish uchun ishlatiladigan o'yin holatining tavsifiga misol.

AI o'yini bo'yicha qaror qabul qilishdan tashqari, biz o'yin davomida o'yinchining g'alaba qozonish ehtimolini baholash uchun modeldan ham foydalandik.
Chimerani muvozanatlash
Ushbu uslub bizga jonli o'yinchilar bir xil vaqt ichida o'ynashi mumkin bo'lgan millionlab o'yinlarni simulyatsiya qilish imkonini berdi. Yuqori samarali agentlar o'ynagan o'yinlardan ma'lumotlarni to'plaganimizdan so'ng, biz yaratgan ikkita o'yinchi palubasi o'rtasidagi nomutanosiblikni topish uchun natijalarni tahlil qildik.
Evasion Link Gen palubasi o'yinchining ximerasini rivojlantirish uchun ishlatiladigan qo'shimcha aloqa energiyasini ishlab chiqaradigan qobiliyatga ega afsunlar va mavjudotlardan iborat edi. Unda jonzotlarga hujumlardan qochishga imkon beruvchi afsunlar ham mavjud edi. Shikastlanish-shifolash palubasi asosan shifo va kichik zararni bartaraf etish uchun mo'ljallangan afsunlar bilan har xil kuchli mavjudotlarni o'z ichiga olgan. Garchi biz ushbu palubalarni teng kuchga ega bo'lishi uchun ishlab chiqqan bo'lsak-da, Evasion Link Gen Damage-Heal palubasiga qarshi o'ynagan vaqtning 60 foizida g'alaba qozongan .
Biz biomlar, mavjudotlar, afsunlar va kimera evolyutsiyasi bilan bog'liq turli statistik ma'lumotlarni to'plaganimizda, bizga ikkita jihat darhol ayon bo'ldi:

1. 
   Ximeraning rivojlanishi aniq ustunlikni ta'minlaydi - agent o'zining ximerasini dushmanga qaraganda ko'proq ishlab chiqqan ko'pgina o'yinlarda g'alaba qozondi. Biroq, har bir o'yindagi evolyutsiyalarning o'rtacha soni bizning kutganimizga mos kelmadi. Ularni asosiy o'yin mexanikasi qilish uchun biz strategik bo'lgan holda evolyutsiyalarning umumiy o'rtacha sonini oshirishni xohladik .
   
2. 
   T - Reks mavjudoti juda kuchli ekanligini isbotladi. Uning ko'rinishi g'alabalar bilan juda bog'liq edi va model har doim noto'g'ri yoki haddan tashqari ko'p biomdagi mavjudotni chaqirish tufayli yo'qotishlardan qat'i nazar, T - Rexni o'ynadi.
   

Ushbu kuzatishlarga asoslanib, biz o'yinni biroz yaxshilashga erishdik. Ximera evolyutsiyasini asosiy oʻyin mexanikasiga aylantirish uchun biz ximerani rivojlantirish uchun zarur boʻlgan bogʻlanish energiyasi miqdorini 3 dan 1 gacha kamaytirdik. Shuningdek, biz T- Rex jonzotiga "dam olish" davrini qo'shdik, bu uning har qanday harakatlaridan tiklanish vaqtini ikki baravar oshirdi.
Qoidalarni o'zgartirish va "o'zing bilan o'ynash" o'rganish protseduramizni takrorlash orqali biz ushbu yangilanishlar o'yinni to'g'ri yo'nalishga siljitganini aniqladik - har bir o'yinda o'rtacha evolyutsiya soni ortdi va T- Rexning ustunligi yo'qoldi.

Rex ta'sirini muvozanatlashdan oldin va keyin solishtirishga misol . Grafiklar kemaning ma'lum afsunlar bilan o'zaro ta'sirini boshlaganda yutilgan (yoki yutqazilgan) o'yinlar sonini ko'rsatadi (masalan, T- Rex jonzotining ustunligini ta'minlash uchun "Dodge" afsunidan foydalanish ). Chapda: O'zgarishlardan oldin T - Rex o'rganilgan har bir ko'rsatkichga kuchli ta'sir ko'rsatdi - eng yuqori omon qolish darajasi, salbiy ta'sirlarni e'tiborsiz qoldirib, chaqirilishning eng yuqori ehtimoli, g'alaba qozongan o'yinlarda eng ko'p iste'mol qilingan mavjudot. O'ngda: O'zgarishlardan so'ng, T- Rexning haddan tashqari quvvati sezilarli darajada kamaydi.
T - Rexni zerikish orqali biz Evasion Link Gen palubasining kuchli mavjudotga bo'lgan ishonchini kamaytirdik. Ammo bundan keyin ham palubalar orasidagi g'alaba nisbati 50/50 emas, balki 60/40 bo'lib qoldi. Shaxsiy o'yin jurnallarini sinchkovlik bilan ko'rib chiqish, o'yin ko'pincha biz xohlaganimizdan kamroq strategik ekanligini ko'rsatdi. Yig'ilgan ma'lumotlarni qidirish orqali biz o'zgartirish kerak bo'lgan yana bir nechta sohalarni aniqladik.
Boshlash uchun biz ikkala o'yinchining asosiy salomatligini, shuningdek, shifobaxsh afsunlar orqali tiklanishi mumkin bo'lgan salomatlik miqdorini oshirdik. Bu uzoqroq o'yinlarni rag'batlantirishi kerak edi, bu esa turli xil strategiyalarni ishlab chiqishga imkon beradi. Xususan, bu " Zararni davolash " kemasiga shifo strategiyasidan foydalanish uchun etarlicha uzoq vaqt yashashga imkon berdi. Agentni mavjudotlarni to'g'ri urug'lantirishga va ularni biomlarga strategik joylashtirishga undash uchun biz jonzotlarni noto'g'ri yoki haddan tashqari ko'p biomlarga joylashtirganlik uchun jazolarni oshirdik. Biz, shuningdek, kichik atribut o‘zgarishlari bilan eng kuchli va eng zaif mavjudotlar o‘rtasidagi farqni kamaytirdik.
Yangi o'zgarishlarni amalga oshirganimizdan so'ng, bizda ushbu ikkita paluba uchun yakuniy o'yin balansi xususiyatlari mavjud: