International research journal

Методы и принципы исследования 
Метод обучения фильтрам основан на алгоритме k-средних. Классический алгоритм k-средних находит центры масс 
кластеров, которые минимизируют расстояние между точками в евклидовом пространстве. В этом случае, точки 
являются случайным образом извлеченными фрагментами изображения, а центры масс – фильтрами, использующимися 
для кодирования изображений. С этой точки зрения, алгоритм k-средних обучается словарю 
n k
D
R


из вектора 
данных 
( )
i
n
w
R

для 
1, 2,...,
i
m

. Алгоритм обучается словарю следующим образом: 
( )
( )
( )
( )
,
arg max
( )
0
( )
( )
( )
2
T
T
j
i
l
i
D
w
j
D
w
i
s j
l
T
D
WS
D
j
D
j
D
j
D



 





(1) 
где 
( )
i
k
R
s

— это кодовый вектор, ассоциированный с входом 
( )
i
w
и 
( )
j
D
- 
j
-ая колонка 
D
. Матрицы 
n m
W
R


и 
k m
S
R


имеют колонки 
( )
i
w
и 
( )
i
s
соответственно. 
( )
i
w
- выбранные случайным образом участки 
входных изображений, имеющие такую же размерность как векторы словаря 
( )
j
D
. 
Описанная схема обучения обучает центры масс каждого кластера на уровне фрагмента, в то время как в CNN 
фильтры применяются к изображениям сверточным способом. Как можно увидеть из рис. 1, множество центров масс 
из обучения k-средними имеют практически такую же ориентацию и являются смещенными версиями друг друга в 
пространстве. Таким образом, после операции свертки они приведут к образованию излишних карт признаков на 
соседних областях. В следующем подразделе будут рассмотрена предлагаемая модификация алгоритма k-средних, 
которая сводит эту проблему к минимуму. 
а)
 
 
 
 
 
 б)
Рис. 1 – Фильтры обученные на STL-10 с помощью k-средних и сверточных k-средних: а) метод k-средних; б) 
сверточный метод k-средних 

---

Международный научно-исследовательский журнал ▪ № 1 (103) ▪ Часть 1 ▪Январь 
54 
Для того чтобы снизить избыточность между фильтрами на соседних областях, был предложен новый метод 
извлечения фрагментов из изображений. Этот метод существенно снижает избыточность в центрах масс, получившихся 
в результате выполнения алгоритма k-средних, и оставляет только необходимый базис. Стандартный алгоритм k-
средних извлекает случайные участки из входных изображений, чьи размеры соответствуют размерам центров масс. 
Напротив, предложенный метод использует более широкие окна в качестве входов для того, чтобы решить какой 
фрагмент извлечь для кластеризации. 
Окна выбираются таким образом, чтобы быть в два раза больше, чем размер фильтра и извлекаются случайным 
образом из входных изображений. Центры масс алгоритма k-средних сворачивают окно целиком для вычисления меры 
сходства на каждом участке извлеченной области. Участок, соответствующий наибольшей активации из окна, считается 
наиболее похожим на центр масс. И наконец, участок на этой области (наибольшая активация) извлекается из окна и 
присваивается соответствующему центру масс. Измененный процесс обучения словаря можно записать следующим 
образом: 
( )
( )
( )
( )
( , )
( , )
( )
( , , )
( , )
( )
( )
( )
2
, ( , , )
arg max
0
T
T
j
i
l
i
x y
m n
i
l m n
j
T
x y
j
j
j
D
w
j x y
D
w
s
D
W
S
D
D
D
D



 





(2) 
где 
( )
j
D
- 
j
-ая колонка словаря, которая соответствует 
c
s
s
 
ядру 3D-фильтра и 
( )
i
w
- окно размером 
2
2
c
s
s


. 
x
и 
y
- индекс входного участка, 
( )
( , )
i
x y
w
- извлеченный участок из области 
( , )
x y
размером 
c
s
s
 
. 
После того, как скоррелированные фильтры удалены, у новых фильтров появляется больше возможностей для 
обучения дополнительным признакам. Фильтры, которые обучаются с помощью k-средних и сверточных k-средних 
представлены на рис. 1. Как можно увидеть, фильтры, которые обучались на уровне участков с помощью алгоритма k-
средних имеют похожие признаки, но на разных областях внутри участка. 
В работе также изучаются способы обучения соединениям от одного слоя сети к следующему. В то время как 
полносвязные слои используют все признаки предыдущего слоя при переходе к следующему слою, в работе 
используются неполные соединения, которые более эффективны при вычислениях. Эти неполные соединения 
используют несколько групп, каждая из которых включает ограниченную порцию признаков предыдущих слоев. 
Используется матрица разреженных соединений, которая ограничивает локальное рецептивное поле. Следовательно, 
становится возможным избежать низкой эффективности алгоритма k-средних, когда входные данные обладают 
большой размерностью. 
Метод использует обучение с учителем на ограниченном наборе данных во время обучения весам соединений 
между слоями. Соединения описываются полносвязной матрицей весов, агрегирующей карты признаков. Таким 
образом, одно значение в матрице весов отражает то, насколько этот признак важен для соответствующей группы. Для 
обучения взаимосвязям между картами и организации их в группы добавляется сверточный слой с заранее заданным 
неполным соединением. Добавляется линейный классификатор после сверточного слоя и обучается система 
посредством обратного распространения ошибки. Интуиция этой настройки заключается в том, что, так как новым 
фильтрам обучаются из групп признаков и каждая матрица весов агрегирует признаки, чей выход находится в заранее 
определенной группе, матрица весов в действительности вынуждена обучаться правильным соединениям между 
входными картами признаков и предопределенными группами в процессе обучения. Таким образом, даже несмотря на 
то, что соединения сверточного слоя были предопределены, матрица весов обеспечила достаточную гибкость для 
определения соединений на практике. 
Необходимо заметить, что матрица весов, агрегирующая карты признаков, может быть рассмотрена как 
одномерный полносвязный сверточный слой с активированным смещением. Такой подход позволяет ограничить 
локальное рецептивное поле для алгоритма k-средних. После того как завершится контролируемое обучение 
соединениям, выученные фильтры удаляются из сети и остается только матрица соединений. Затем алгоритм 
сверточных k-средних применяется вновь к предварительно обученной матрице соединений для обучения фильтрам 
для следующего слоя. Детали и экспериментальные результаты представлены в следующем разделе.