Наука и технологии России

Вход Регистрация

Российские ученые участвуют в революции в 3D

На рабочем столе Дмитрия Ватолина лежит штук 30 дисков с 3D-фильмами. Для него это не хобби, а предмет профессионального интереса. Вместе с коллегами из лаборатории компьютерной графики и мультимедиа МГУ имени М. В. Ломоносова он занимается обработкой и улучшением качества трёхмерного изображения и уверен, что работы учёных произведут настоящую революцию в киноиндустрии.

На пути между США и Китаем

Об интервью с Дмитрием я договаривалась около месяца. У него была продолжительная командировка в США, а по возвращению в Москву он начал готовиться к поездке в Китай.

Дмитрий_Ватолин
Дмитрий Ватолин: «Человека можно приучить к плохому стерео, и он через некоторое время к нему привыкнет. Это одна из причин, почему 3D в итоге обречено на успех»

Тема 3D привлекает учёных со всего мира, бесспорные лидеры – американцы, но всё более заметную роль начинают играть исследователи с Востока.

«Сейчас складывается интересная ситуация, – говорит Дмитрий Ватолин. – Стоимость пикселя с каждым годом сокращается. Буквально пять лет назад на улицах Москвы висела реклама Full-HD телевизоров, и это было в новинку, а сегодня сплошь и рядом телефоны с Full-HD разрешением экрана. Происходит революция в дисплеях. Прямо на глазах растут их характеристики. Когда в 2009–2010 году вышел «Аватар», практически не было телевизоров, которые показывали бы 3D. Сегодня примерно треть продаваемых в России телевизоров способна воспроизводить 3D, причём зачастую качественно. Это уже стандартная возможность телевизора. Производители дисплеев думают, куда двигаться дальше, как использовать эти пиксели?».

Одно из направлений, которое развивается уже лет 15 – автостереоскопия, 3D без очков. Ежегодно проводится NAB Show (National Association of Broadcasters, Национальная Ассоциация Телерадиовещательных Компаний), крупнейшая индустриальная выставка, которая объединяет более 90 тысяч участников из 156 стран и в рамках которой проходит порядка 15 конференций. В 2011 году на конференции Digital Cinema Summit один день был полностью посвящён 3D. В том числе проводился интереснейший, по мнению Дмитрия, круглый стол, в котором принимали участие руководители дисплейных подразделений Panasonic, Sony, LG, Samsung и других компаний. И все они сказали, что работают над созданием автостереоскопических телевизоров. Их выход на массовый рынок планируется к 2018 году.

Долгие годы развитие автостереоскопических дисплеев сдерживало недостаточное разрешение, даже с Full-HD экранами условное видимое разрешение автостереоскопической картинки примерно около 600 пикселей по горизонтали. С появлением 4К-дисплеев стало возможным делать картинку с видимым разрешением до 1200 пикселей. Это уже вполне телевизионное качество.

«Первая и главная проблема автостереоскопического телевидения заключается в том, что нет контента, нечего показывать, – объясняет Дмитрий. – В идеале нужна картинка, снятая десятью камерами. Лучшими серийными на сегодня считаются так называемые 28-ракурсные дисплеи, которым для максимального качества необходимо изображение с 28 разных ракурсов. В компьютерной графике его без труда можно сгенерировать, а вот со съёмкой возникает много сложностей. Здесь ещё лет на 20 исследований хватит. Так, серьёзная проблема для всех алгоритмов, которые меняют местоположение виртуальной камеры, связана с полупрозрачными объектами, например, волосами. Сегодня трудно добиться, чтобы они смотрелись естественно в 3D при сдвиге виртуальной камеры. Я говорю о полуавтоматическом режиме. Даже вручную их обработать довольно сложно. Так Джеймсу Камерону, который потратил 100 000 долларов на минуту фильма при конвертации Титаника в 3D, в части сцен пришлось урезать волосы, особенно главной героине. У нас есть примеры «стрижки» в 3D-версии ещё в нескольких фильмах, часто также волосы удаляют, накладывая их трёхмерную модель, т.е. исходные снятые волосы сохранить на сегодня зачастую достаточно сложно».

Без очков и головной боли

Когда телевизоры станут автостереоскопическими, то есть когда их качество станет приемлемым для большинства, произойдёт настоящая революция, уверен Дмитрий Ватолин. Аналогичных революций в том же кино было две. Первая – когда кино стало говорящим и появился звук. В Голливуде переход на него произошёл буквально за год. Вторая – появление цвета. Этот этап растянулся где-то на 20 лет. Со стерео, видимо, произойдёт то же самое.

3D-видео
В своих работах Дмитрий с коллегами отмечают ошибки, которые встречаются в 3D-видео, заснятом с нескольких камер с различными ракурсами. На данной фотографии видно, как различаются цвета в кадре при съемке с двух разных камер – left (левой) и right (правой)

3D-видео
А на этой фотографии видны ошибки настройки обьективов (глубины резкости) для правого и левого ракурса, что приводит к существенной разницу в размытии для ракурсов и дискомфортному стерео, увеличивая процент людей, которые выходят из кинотеатров с головной болью

Люди не любят в 3D две вещи – очки и возникающую после просмотра головную боль, на которую по статистике жалуются от 3 до 20% зрителей.

Учёные МГУ провели массовый анализ 3D-фильмов по разнице в геометрии, яркости, цвету, резкости и т.д. Недавно выпустили 5-й отчёт по качеству 3D фильмов – в каждом по пять картин. Найдено более 10000 мест с дискомфортным стерео. Исследование показало, что в среднем высокобюджетные фильмы аккуратнее. Но не все. Есть блокбастеры, которые по отдельным техническим параметрам сильно «проваливаются». И у низкобюджетных фильмов ситуация разная. Некоторые сделаны в техническом плане очень качественно.

«Человека можно приучить к плохому стерео, и он через некоторое время к нему привыкнет и голова перестанет болеть, – говорит Дмитрий Ватолин. – Это одна из причин, почему 3D в итоге обречено на успех. Но мы-то подходим с другой стороны. «Господа, зачем людям показывать плохое стерео, когда можно исправить в нём ошибки и сделать хорошим?». Да, это сложно. Да нужно решить целую массу задач. Но это возможно! Например, перепутанные ракурсы – одна из самых болезненных ошибок в 3D. Недавно мы нашли в трейлере к детскому фильму «Смурфики», который показывали все кинотеатры, сцену, где перепутан правый ракурс с левым. Когда человек видит такую картинку, то сразу не в состоянии понять, в чём проблема, но она кажется ему крайне дискомфортной, потому что невозможна в реальной жизни. Проблема перепутанных ракурсов хороша для иллюстрации сложности задачи: её легко исправить, но очень сложно автоматически обнаружить с низким процентом ложных срабатываний.

Как показали наши отчеты, сегодня в киностудиях фактически отсутствует цифровой контроль качества стереосъёмки (в основном проверка происходит «глазами», со всеми сложностями такого подхода и массовыми характерными пропущенными проблемами). Я надеюсь, что в течение ближайших пяти лет это будет решено. Но сейчас этого нет. Исправить многие ошибки относительно просто. Надо только создать алгоритмы, которые бы их находили в автоматическом режиме. На это уйдёт лет 10».

Обойти Беркли и MIT

Последние три года учёные МГУ выполняли исследования по совместному гранту с Intel, Cisco и Verizon. Дмитрий как раз недавно вернулся из Кремниевой долины, где защищал финальные результаты проекта в штаб-квартире Intel.

Для участия в программе нужно было представить короткую заявку. Если она получала положительный отзыв, то участник приглашался в очный тур, в котором нужно было защитить свои идеи. Среди соперников МГУ было 14 вузов, в основном американских, включая Стэнфорд, Беркли, MIT и т.д. Это лучшие университеты мира по computer science.

«И мы смогли многих обойти, – с гордостью говорит Дмитрий Ватолин. – В финале программы грант получили пять университетов, в т.ч. единственный не из США – МГУ. Каким-то чудом мы умудрились получить этот грант, при том, что вышеупомянутые гранды его не получили. Я думаю, это связано с тем, что

ведущие вузы часто берутся за очень возвышенные темы, которые на практике не выстреливают. То есть не дают того конкретного результата, на который рассчитывают представители индустрии.

Мы в итоге смогли предложить реальный проект, эффект от которого будет осязаем в обозримом будущем».

В проекте работа велась над двумя направлениями – сжатием 3D и повышением его качества. Учёные показали, что можно сжимать стерео почти «бесплатно». К моноканалу добавляется 5% дополнительных данных, и канал становится стерео. К сожалению пока это результаты на будущее, потому что требуются большие вычислительные ресурсы, в том числе и при воспроизведении такого видео (используется слишком сложный анализ 2D-видео), однако это ещё один аргумент в пользу упрощения перехода на 3D в дальнейшем. И второе – учёные предложили практический подход по увеличению степени сжатия 2D-видео, в первую очередь для маленьких экранов мобильных устройств.

Вера в успех

Дмитрий Ватолин уже много лет занимается проблемами видео в разных аспектах. Сначала сжатием, потом обработкой. В 2D очень много задач решено. О перспективах 3D он может говорить часами. Для простых потребителей многие нюансы непонятны. Но важно, что учёные верят в свой успех и готовы упорно работать, чтобы его добиться.

«У нас в лаборатории три основные группы: компьютерной графики, компьютерного зрения и видео. Темой 3D, в том числе 3D как стерео, и камерами глубины занимаются все группы. У нас у всех есть пересечения. Я уверен, что через некоторое время эта тема переживёт всплеск активности. На неё есть спрос, в том числе, профессиональный».

РЕЙТИНГ

4.33
голосов: 6

Обсуждение