Контрольная работа Дисциплина: Нейросетевые технологии

Главные теоретические положения

Метод главных компонент PCA (Principal Component Analysis)— один из основных способов уменьшить размерность данных, с потерей наименьшего количества информации. В совокупности основная цель анализа главных компонентов заключается в следующем:
• выявить скрытый паттерн в наборе данных,
• уменьшить размерность данных за счет устранения шума и избыточности,
• определить коррелированные переменные.
Метод главных компонент применяется к данным, записанным в виде матрицы X – прямоугольной таблицы чисел [1]. Традиционно строки этой матрицы называются образцами, а столбцы – переменными (атрибутами). Суть метода главных компонент – существенное понижение размерности данных. Исходная матрица X заменяется двумя новыми матрицами T и P.


(1)

Если декомпозиция выполнена правильно – размерность k выбрана верно, то матрица T должна нести в себе практически столько же информации, сколько ее было в начале, в матрице X. При этом матрицы T и P в совокупности должны быть меньше, соответственно, проще, чем X.

Метод SVD (Singular Value Decomposition) в целом похож на метод главных компонент, но исходная матрица X разлагается в произведение трех матриц.


(2)
матрицы U и V – ортогональные, S - диагональная, значения на ее диагонали называются сингулярными значениями σ1 ≥ ... ≥ σR ≥ 0, которые равны квадратным корням из собственных значений λr:


(3)
если в матрице S оставить только k наибольших сингулярных значений, а в матрицах U и V только соответствующие этим значениям столбцы, то произведение получившихся матриц будет наилучшим приближением исходной матрицы X к матрице меньшего ранга k [1].

Решение поставленной задачи

Главные компоненты в работе вычисляются, используя сингулярное разложение матриц, которое выполняется с помощью функции svd, включенной в базовое программное обеспечение языка R. Эта функция вычисляет три матрицы S, U и V сингулярного разложения.

Рис. 3 - SVD разложение

Их используют как основу и выбирают из них разное число главных компонент k, формируя сжатые изображения. Сделать это можно в цикле (рис. 4)

Рис. 4 - Формирование изображений с разным количеством главных компонент (5,20,50,250)
В результате получается 4 изображения с разным количеством главных компонент и соответственно с разным качеством. На рисунке 5 можно увидеть, что 50 компонент (левый нижний рисунок), уже достаточно, чтобы основная информация исходного изображения сохранилась в приемлемом качестве, а 250 компонент (правый нижний рисунок) уже дает четкость, сопоставимую с четкостью оригинала.

Рис. 5 - Изображения с разным количеством главных компонент (5,20,50,250)

Проверить выигрыш сжатого изображения по объему можно, если сравнить размер полученных изображений по сравнению с оригиналом. Согласно рисунку 6 видно, что минимум на 50 % сжатое изображение меньше исходного.

Рис. 6 - Сравнение размера сжатого и оригинального изображения
Но поскольку исходное изображение цветное, а сжатые являются одноканальными, то корректнее сравнить количество потерянной информации путем сравнения количества пикселей. На примере k=50 главных компонент для изображения размером 475 на 475 пикселей можно увидеть, что исходное изображение в монохромном виде содержит 225625 пикселей, а сжатое – 50000. Таким образом выигрыш составляет 4.5 раза. Однако уже k=250, визуальный вид изображения при котором выглядит наиболее четко среди всех остальных, уже не дает выигрыша в количестве пикселей.