International research journal

DOI: https://doi.org/10.23670/IRJ.2021.103.1.006 
СВЕРТОЧНАЯ КЛАСТЕРИЗАЦИЯ МЕТОДОМ K-СРЕДНИХ 
Научная статья 
Воробжанский Н.Н.* 
Воронежский государственный университет, Воронеж, Россия 
* Корреспондирующий автор (vorobzh[at]gmail.com) 
Аннотация 
Задача маркировки данных для обучения глубоких нейронных сетей представляет собой сложный и утомительный 
процесс, требующий получения миллионов пометок для достижения необходимых результатов. Такая зависимость от 
большого объема размеченных данных может быть снижена за счет использования иерархических признаков, 
полученных посредством методик обучения без учителя. В этой работе предлагается обучить глубокую сверточную 
нейронную сеть, построенную на улучшенной версии метода кластеризации k-средних, который сокращает число 
коррелируемых параметров в виде похожих фильтров, и таким образом увеличивает точность категоризации на 
тестовой выборке. Подобный метод можно назвать кластеризацией сверточных k-средних. В дальнейшем будет 
показано, что обучение соединениям между слоями глубокой сверточной нейронной сети улучшает ее способности 
обучаться на меньшем числе размеченных данных. Эксперименты показывают, что предложенный алгоритм 
существенно превосходит другие методики, которые обучаются фильтрам без учителя. Так, на STL-10 была получена 
точность на тестовой выборке в 70.5%. 
Ключевые слова: алгоритм кластеризации k-средних, сверточная нейронная сеть (CNN), обучение без учителя. 
CONVOLUTIONAL K-MEANS CLUSTERING 
Research article 
Vorobzhansky N.N.* 
Voronezh State University, Voronezh, Russia 
* Corresponding author (vorobzh[at]gmail.com) 
Abstract 
The task of marking data for deep neural network training is a complex and tedious process that requires millions of marks 
to achieve the necessary results. This dependence on a large amount of labeled data can be reduced by using hierarchical features 
obtained through unsupervised learning techniques. In this study, the authors propose a deep convolutional neural network 
training based on an improved version of the k-means clustering method, which reduces the number of correlated parameters in 
the form of similar filters, and thus increases the accuracy of categorization on test samples. Such a method can be called 
convolutional k-means clustering. Further into the article, the study demonstrates that learning connections between layers of a 
deep convolutional neural network improves its ability to learn on a smaller number of labeled data. Experiments show that the 
proposed algorithm is significantly superior to other methods that learn filters without supervision. Therefore, on the STL-10, 
the test sample demonstrated an accuracy of 70.5%.