Chuqur o'rganish usullari

Takrorlanuvchi neyron tarmoqlar: rasmlarga to'g'ri sarlavha qo'yish

Ko'pchilik uchun ko'p yondoshuvdan foydalanib, RNN-ning yana bir qo'llanilishi taglavha yaratish, bu neyron tarmoqqa tasvirni taqdim etishni va tasvirda nima bo'layotganini tushuntirib beradigan matnli ma'lumotni olishni o'z ichiga oladi. Odamlar tomonidan iste'mol qilinadigan chatbotlar va mashinalar tarjimonlaridan farqli o'laroq, sarlavha yaratish robototexnika bilan ishlaydi. Bu shunchaki rasm yoki video tavsifini yaratish bilan kifoyalanmaydi. Sarlavha yaratish ko'zi ojiz odamlarga Horus taqiladigan qurilmalar yordamida atrof-muhitni anglashga yoki robotlar uchun tasvirlar va bilim bazalari (matnga asoslangan) o'rtasida ko'prik qurishga yordam beradi - bu ularga atrofini yaxshiroq tushunishga imkon beradi. Siz maxsus ishlab chiqilgan ma'lumotlar to'plamlaridan, masalan Paskal jumlalari ma'lumotlari to'plamidan boshlaysiz; Flickr 30K, bu Flickr rasmlaridan iborat bo'lib, olomon ularni qiziqtirishi bilan izohlanadi; yoki MS Coco ma'lumotlar bazasi. Ushbu barcha ma'lumotlar to'plamlarida har bir rasmda rasm tarkibini tushuntirib beradigan bir yoki bir nechta iboralar mavjud. Masalan, 5947 raqamli MS Coco ma'lumotlar to'plamida siz to'rtta uchib ketuvchi samolyotlarni ko'rasiz, ularda quyidagicha sarlavha yozishingiz mumkin:

• 
  To'fonli kunda osmonda to'rtta samolyot uchib o'tdi
  
• 
  Bulutli kunda havoda to'rtta bitta dvigatelli samolyot
  
• 
  To'rtta samolyotdan iborat guruh shakllanmoqda
  
• 
  Samolyotda bir guruh samolyotlar
  
• 
  Osmonda uchadigan samolyotlar floti
  

Yaxshi o'rgatilgan neyron tarmog'i, agar shunga o'xshash fotosurat taqdim etilsa, o'xshash iboralarni yaratishi kerak. Google ushbu muammoni hal qilish bo'yicha birinchi bo'lib nomini e'lon qildi Tarmoq yoki neyronik tasvirlar sarlavhasini (NIC) ko'rsatish va aytib bering., 2014 yilda ishga tushirildi va keyin bir yildan keyin yangilandi.