Рабочая программа науки утверждена постановлением Совета Ферганского филиала Ташкентского университета информационных технологий имени Мухаммада ал-Хоразмий от 30 августа 2022 года №1

12.3. Передача сигналов стереопары с формированием карты глубины в формате 2D+Z
Для обеспечения высокой реалистичности изображений трехмерного мира на экране стереодисплея требуется многоракурсная съемка с большим количеством камер. При этом для формирования, кодированного многоракурсного изображения требуется разрешение более высокое, чем для каждого из исходных кадров по отдельности, так как под каждую линзу должны войти элементы всех исходных кадров. Таким образом, только с появлением возможности передавать и декодировать видео высокого разрешения и количества пикселов стало достаточно, чтобы увеличить качество воспроизводимого стереоэффекта.
Для выполнения многоракурсной съемки требуется либо специальная камера с большим количеством объективов (рис.12.6), либо ряд камер и устройство, обеспечивающее синхронную съемку.

Рис.12.6. Многокамерная система для многоракурсной съемки.
При такой многоракурсной съемке возникает проблема хранения большого количества видеоданных от видеопотоков с каждой камеры. При этом, несмотря на то, что современные методы цифрового видеосжатия позволяют эффективно уменьшать объемы видеоданных, тем не менее, объем данных при многоракурсной видеосъемке возрастет многократно.
Поэтому для совместимости систем обычного и объемного телевидения и эффективного уменьшения больших объемов видеоданных был разработан специальный формат, называемый 2D+Z.
В этом формате любому обычному плоскому (2D) изображению можно сопоставить информацию об удаленности каждого пиксела от наблюдателя (Z-координату). Такое представление изображения называют "формат 2D+Z", а плоскость координат Z – "картой глубины".
Карта глубины – это черно-белое изображение, по размеру совпадающее с изображениями стереопары и несущее в себе информацию о глубине объектов сцены. Удаленность по глубине от наблюдателя представлена градациями серого. На рис.12.7 показан пример оригинального изображения и его карты глубины. На таком изображении более светлые области характеризуют их близость к наблюдателю, а более темные – их удаленность.

Рис. 12.7. Оригинальное изображение и его карта глубины.
Формат 2D+Z является продолжением концепции компонентного представления видеоинформации. Так в телевидении изображение формируется из яркости и двух цветоразностных составляющих. Добавление еще одного компонента, характеризующего "объемность" изображения, является вполне логичным развитием и хорошо согласуется с принципами совместимости. Так, черно-белые телевизоры успешно работают, воспринимая только яркостную компоненту телевизионного изображения, в то время как цветные телевизоры используют все данные.
При трансляции видео, содержащего информацию об объеме изображения, дополнительные данные могут быть использованы теми устройствами визуализации, которые умеют их правильно интерпретировать и игнорированы остальными. Использование формата 2D+Z позволяет осуществить передачу стереоскопического видео с увеличением потока данных всего на 25-30%. Таким образом, удовлетворяется требование приемлемого объема данных.
Существуют различные методы получения карты глубины. Так, карта глубины может быть получена с помощью специальной камеры глубины (например, сенсор Kinect является своего рода такой камерой), а также может быть построена по стереопаре изображений. В настоящее время существует довольно много методов вычисления значений карт глубины, отличающихся точностью, алгоритмической сложностью и быстродействием. Но в общем случае для каждой точки на одном изображении выполняется поиск парной ей точки на другом изображении. А затем по паре соответствующих точек на основе триангуляции определяются координаты их прообраза в трехмерном пространстве. После этого зная трехмерные координаты прообраза, вычисляется глубина, как расстояние до плоскости камеры. Более подробно с методами вычисления карт глубины можно ознакомится в литературе.
Кодирование стереоскопических изображений, представленных согласно этому методу, может осуществляться в виде формирования двух цифровых потоков (рис.12.8). Где один поток содержит левую или правую видеопоследовательность (для совместимости с "двумерным" телевидением), а второй поток передает видеопоследовательность карт глубины.

Рис.12.8 Схема передачи сигналов стереопар с формированием карты глубины.
На приемной стороне происходит синтез второго кадра стереопары.
Существуют телевизионные приемники, на вход которых можно подавать декомпрессированные потоки одного из изображений стереопары и карту глубин. А приемник восстанавливает второй кадр и формирует трехмерное изображение, которое можно наблюдать на безочковых автостереоскопических экранах. Исследования показывают, что при передаче программы объемного телевидения с использованием корреляционной связи между кадрами стереопары дополнительный поток (СПР, ошибка предсказания и векторы параллакса, карта глубины) дает примерно 20 % прирост по скорости по отношению к передаче обычной "плоской" программы телевидения
Спецификация формата MPEG-4, части 2, определяющая способ кодирования видеообъектов, позволяет стандартным способом передавать и обычное 2D изображение, и соответствующую ему карту глубины (Z). Аналогичные возможности есть и в MPEG-4, части 10 (AVC). Причем стандарты определяют возможность кодировать плоскость как дополнительные данные, которые могут быть проигнорированы устройствами, не ожидающими их появления. При этом наличие Z никак не повлияет на декодирование основного изображения. В настоящее время форматы MPEG-4 (AVC) являются основным в цифровом телевидении, поэтому уже есть достаточная база для стандартной трансляции 3D видеоданных.
Для отображения объемных изображений, передаваемых в формате 2D+Z разработаны специальные приставки (set top box -- STB). Например, российской компанией "Элекард" (Elecard) выпускается серия STB на базе DSP-процессоров Philips Nexperia и TI DaVinci.
Особенность этих устройств в том, что они сочетают в себе свойства аппаратного декодера (малый размер, низкое потребление мощности в пределах 6-8 Ватт, надежность), а также гибкость программного обеспечения (легкость наращивания функционала). Архитектура этих устройств позволяет менять встроенное в них программное обеспечение. Это дает возможность легко наращивать функциональность устройств, не меняя при этом аппаратную часть и, например, предусмотреть в партии устройств возможность работы с объемным изображением.
Разработана специальная версия программного обеспечения для STB, которая выполняет формирование служебной информации, необходимой для показа видео в формате 2D+Z на 3D мониторе. Внешний вид одного из вариантов такой приставки показан на рис. 12.9, где производится декодирование потока MPEG-4/АVС 1920х1080 (HD) в формате 2D+Z в реальном времени. Вся картинка в ширину 1920, но на 3D экране показана только левая часть, а на правой части отображается информация о глубине.

Рис.10.9. Декодирование MPEG-4 1080 HD видеопотока в формате 2D+Z приставкой Elecard 3DSTB.
При переключении STB в режим объемной визуализации в изображение добавляется управляющая информация, которая обеспечивает объемную визуализацию на автостереоскопических дисплеях. Такая 3DSTB позволяет расширить сферу применения устройств стереоскопической визуализации. Elecard 3DSTB имеют аналоговые выходы для подключения к бытовым телевизорам и DVI/HDMI интерфейсы для подключения к цифровым устройствам. По сути, это реальная возможность создать доступные для большого числа абонентов услуги стереоскопического телевидения по IP-сетям (IPTV) и в перспективе обеспечить реализацию стереоскопического телевизионного вещания. Кроме того, компактность устройства 3DSTB облегчает использование стереоскопических мониторов для оформления и демонстрации рекламной информации в магазинах и других общественных местах.