Контрольная работа Дисциплина: Нейросетевые технологии

3) Что такое собственные значения матрицы счетов метода РСА и что они характеризуют?
Пусть A — это квадратная матрица. Вектор v называется собственным вектором матрицы A, если 
Av = λv,
где число λ называется собственным значением матрицы A. Таким образом преобразование, которое выполняет матрица A над вектором v, сводится к простому растяжению или сжатию с коэффициентом λ. Собственный вектор определяется с точностью до умножения на константу α ≠ 0, т.е. если v — собственный вектор, то и αv — тоже собственный вектор. 
У матрицы A, размерностью (N×N) не может быть больше чем N собственных значений. Они удовлетворяют характеристическому уравнению
det(A − λI) = 0,
являющемуся алгебраическим уравнением N-го порядка.
4) Как связаны между собой сингулярные значения SVD разложения и собственные значения матрицы счетов метода РСА?
Исходная матрица X разлагается в произведение трех матриц 
X=USV^t
Здесь U – матрица, образованная ортонормированными собственными векторами u_r матрицы XX^t, соответствующим значениям λ_r; 
XX^tu_r = λ_ru_r;
V– матрица, образованная ортонормированными собственными векторами v_r матрицы X^tX; 
X^tXv_r = λ_rv_r;
S – положительно определенная диагональная матрица, элементами которой являются сингулярные значения σ₁≥... ≥σ_R≥0 равные квадратным корням из собственных значений λ_r

Связь между PCA и SVD определяется следующими простыми соотношениями 
T = US, P = V
5) Какие критерии выбора числа главных компонент используются на практике?
 задача метода главных компонент заключается в том, чтобы построить новое пространство признаков меньшей размерности, дисперсия между осями которой будет перераспределена так, чтобы максимизировать дисперсию по каждой из них. Для этого выполняется последовательность следующих действий:

1. 
   Вычисляется общая дисперсия исходного пространства признаков. Это нельзя сделать простым суммированием дисперсий по каждой переменной, поскольку они, в большинстве случаев, не являются независимыми. Поэтому суммировать нужно взаимные дисперсии переменных, которые определяются из ковариационной матрицы.
   
2. 
   Вычисляются собственные векторы и собственные значения ковариационной матрицы, определяющие направления главных компонент и величину связанной с ними дисперсии.
   
3. 
   Производится снижение размерности. Диагональные элементы ковариационной матрицы показывают дисперсию по исходной системе координат, а её собственные значения — по новой. Тогда разделив дисперсию, связанную с каждой главной компонентой на сумму дисперсий по всем компонентам, получаем долю дисперсии, связанную с каждой компонентой. После этого отбрасывается столько главных компонент, чтобы доля оставшихся составляла 80-90%.