International research journal

Keywords: k-means clustering algorithm, convolutional neural network (CNN), unsupervised learning. 
Введение 
Для обучения глубоких нейронных сетей требуется большое количество данных. В крупных наборах данных 
методы обучения с учителем прекрасно себя зарекомендовали в последние годы благодаря достижениям в 
параллельных вычислениях [1]. Популярные наборы данных, такие как ImageNet [2], содержат более чем один миллион 
размеченных образцов, но даже этого недостаточно, и исследователи нуждаются в еще более крупных наборах данных 
в этой области. Расширяясь, наборы видеоданных становятся все более важными в контексте применения сверточных 
нейронных сетей для задач распознавания событий. Во всех таких сценариях, маркировка данных необходима, чтобы 
алгоритм обучения с учителем мог быть использован. Однако задача маркировки данных – довольно сложное занятие, 
которое занимает много времени. К примеру, несколько сотен часов были потрачены на создание ImageNet и тысячи 
часов могут понадобиться для аннотирования самого простого набора видеоданных [3]. Исследовательское сообщество 
искало способы обойти эту проблему и пришло ко мнению, что серьезного прорыва можно достичь за счет 
использования неразмеченных данных, которые широко доступны в общем доступе в больших количествах. За 
последние десятилетия многочисленные исследования были посвящены обучению иерархических признаков для 
глубокого обучения в контексте распознавания изображений. Примеры включают в себя контролируемое, 
неконтролируемое, полу-контролируемое обучение. Такие методики глубокого обучения используют иерархию слоев, 
которые задействуют фильтры для извлечения многочисленных входных признаков и соединения для объединения 
извлеченных признаков вместе в качестве входных данных для следующего слоя. В более ранних исследованиях в этой 
области предварительное обучение без учителя было обязательным для обучения глубоких нейронных сетей 
посредством методик обучения с учителем. Недавние достижения в области сверточных нейронных сетей (CNN) в 
сочетании с большими объемами размеченных данных хорошо проявили себя в задачах распознавания образов для 
исправления этой проблемы [4]. 
С другой стороны, алгоритмы обучения без учителя, такие как кластеризация методом k-средних, также увеличили 
количество параметров в сети и достигли передовых результатов, в случаях, когда количество размеченных данных 
ограничено. Хотя методики обучения без учителя, использующие алгоритм k-средних, были, в основном, использованы 
для обучения фильтров в нескольких исследованиях [5], [6], полученная структура имела много сходств с CNN 
(сверточной нейронной сетью), такие как использование свертки и субдискретизации в каждом слое. Главное различие 
между CNN и методиками обучения без учителя на основе k-средних применительно к распознаванию изображений 

---

Международный научно-исследовательский журнал ▪ № 1 (103) ▪ Часть 1 ▪Январь 
53 
заключается в количестве слоев (глубине), количестве фильтров (ширине) в каждом слое и соединениях между слоями. 
CNN повышают точность с помощью увеличения глубины и ширины сети. Недавние исследования показали, что на 
производительность значительное влияние оказала увеличенная глубина. И напротив, методики обучения без учителя 
для глубоких сетей не смогли масштабироваться до такой же глубины как обычные CNN. Таким образом, недавние 
исследования в области обучения без учителя используют большую ширину сети и 2-3 слоя с сужающимися выходными 
данными. В этой работе будет продемонстрировано, что изучение соединений между слоями глубокой нейронной сети 
играет ключевую роль в повышении производительности методик обучения без учителя.
Несмотря на то, что в ранних работах по CNN зачастую было принято полагаться на неполную схему соединений 
[7] для поддержания числа соединений в разумных пределах, в последнее время тренд изменился в сторону 
полносвязности слоев с целью использования всех возможностей, предоставляемых параллельными вычислениями. 
Полносвязные слои выполняют множество потенциально ненужных операций, поскольку они соединяют все объекты 
предыдущего слоя с каждым объектом следующего. В этом исследовании представлена улучшенная версия алгоритма 
кластеризации с обучением без учителя, позволяющая фильтрам обучаться различным признакам. Это достигается за 
счет предотвращения обучения алгоритмом излишних фильтров. Также к научной новизне этой работы можно отнести 
то, что изучение разреженных матриц соединений между слоями происходит посредством проецирования разреженных 
групп признаков в объект для следующего слоя. Было показано, что алгоритм сверточной кластеризации k-средних 
способен обеспечить сопоставимые иерархии признаков среднего уровня для контролируемых сетей с улучшенным 
обучением соединений.