Рабочая программа науки утверждена постановлением Совета Ферганского филиала Ташкентского университета информационных технологий имени Мухаммада ал-Хоразмий от 30 августа 2022 года №1

12.2. Передача стереоскопических изображений с учетом корреляции между кадрами стереопары
В этой группе можно выделить три варианта передачи:

• 
  один из кадров стереопары (для совместимости) плюс разностный кадр;
  
• 
  один из кадров стереопары плюс векторы параллакса;
  
• 
  один из кадров стереопары плюс карта глубины.
  

Первый вариант предполагает, что вместо одного из кадров стереопары передается разница (разностный сигнал) между ними (рис.12.2). Под разностным сигналом или сигналом параллактических разностей (СПР) понимается разность (по яркостной и по цветоразностной компонентам) между двумя сигналами, образующими изображения стереопары:

Eспр = Eпр - Eл или Eспр = Eл - Eпр, (12.1)
где:
Eспр – сигнал параллактических разностей;
Eпр, Eл – сигналы соответственно правого и левого изображений.

Поскольку формирование пространственного образа в сознании зрителя в большей степени определяют яркостные перепады, то цветовая составляющая изображения при этом играет второстепенную роль и повышает качество изображения. Тем не менее, цветоразностные данные также должны присутствовать в СПР для тоже чтобы на приемной стороне синтезировать второй кадр в цвете, а за одно и исключить уменьшение насыщенности объемной модели сцены.

Рис.12.2. Передача стереопары с формированием сигнала параллаксной разности
При формировании разностного изображения толщина контуров объектов изменяется в зависимости от величины параллакса. При этом динамический диапазон СПР в целом близок к нулевому значению (серый цвет на рис.12.2) и лишь изредка значительно отклоняется от нуля. В связи с этим распределение плотности вероятностей амплитуд рассматриваемого сигнала выгодно с точки зрения передачи информации поскольку имеет максимум в области нулевых значений. В работе К. Шеннона "Математическая теория связи" доказаны два важных математических свойства для среднего количества информации на символ или энтропии:

1. 
   Если вероятность одного из символов равна единице (т.е. вероятности всех других символов равны нулю), то энтропия равна нулю.
   
2. 
   Энтропия максимальна при равенстве вероятностей всех символов.
   

В связи с этим, чем более неравномерно распределение вероятностей, тем меньше энтропия. Таким, образом, энтропия передаваемого СПР меньше энтропии исходных сигналов, образующих левое и правое изображение стереопары. Для подтверждения этого было проведено сравнение по энтропии одного из изображений стереопары и изображения, образованного СПР для разных сюжетов.
Исходя из формулы формирования СПР (12.1) и иллюстративного примера (рис. 12.2) следует, что СПР биполярной природы имеет больший динамический диапазон по сравнению с исходными сигналами. Для его кодирования необходимо либо использовать двоично-дополнительный код, либо осуществлять некоторое преобразование СПР, позволяющее заключить его в диапазон, предусмотренный для цифровых телевизионных сигналов "плоского" телевидения. Второе предпочтительней, поскольку дополнительный код требует передачи дополнительных бит. А при кодировании отсчетов телевизионного сигнала 8-битовой длиной кодового слова, динамический диапазон составляет [0…255]. Однако на практике для яркостного сигнала используется диапазон [16…235], а для цветоразностных сигналов – [16…240]. Поэтому формирование СПР с диапазоном [0…255] возможно за счет использования коэффициента компрессии 2 со смещением на 128. Таким образом, обусловленное СПР изображение представляет собой полноправное изображение со значительной частью равномерного серого фона, соответствующего нулевому уровню, не являющемуся информационным. При этом передача динамических стереоскопических ТВ- изображений приводит также к пространственной и временной избыточности.
Вторым вариантом передачи стереоскопических изображений является метод с оценкой и компенсацией параллакса (рис.12.3). При этом, имеется близкая аналогия между изображениями обычного "двумерного" телевидения, в котором изменение содержания определяется как движением камеры, так движением объектов, и изображениями, составляющими стереопару. Этот особенность позволяет применить ДИКМ с компенсацией движения для устранения, как временной, так и бинокулярной избыточности. В этом случае речь идет уже о ДИКМ с компенсацией параллакса.

Рис.12.3. Передача стереопары с оценкой компенсации параллакса.
Таким образом, процесс компенсации параллакса состоит из двух этапов:

1. 
   определение величины параллакса различных участков стереопары, в результате чего формируется совокупность векторов параллакса, образующая векторное поле;
   
2. 
   по полученным векторам осуществляется предсказание одного из кадров стереопары и формирование ошибки предсказания.
   

При этом вектор параллакса может быть определен для следующих случаев:

• 
  для отдельных элементов изображения;
  
• 
  для группы элементов;
  
• 
  для объектов, составляющих стереоскопическое изображение (вариант объектно-ориентированного кодирования).
  

Таким образом оценка параллакса может быть осуществлена сопоставлением точек, фрагментов или объектов левого и правого изображений. При этом процедура нахождения параллакса требует значительных вычислительных затрат, поэтому основным требованием при ее осуществлении является быстродействие, сопровождающееся точным обнаружением параллактических смещений объектов сцены.
Для повышения быстродействия оценки параллакса может быть применен метод фазовой корреляции параллактических сдвигов между кадрами стереопары, основу которого составляет преобразование Фурье (ПФ).
Так, если отсчеты левого и правого изображений обозначить через fл(x, y) и fпр(x, y), то функции их частотного спектра имеют следующий вид


где: