Реконструкція 3D-моделі рухомого особи

Цікаву презентацію підготували для Європейської конференції з комп'ютерного зору (ECCV-2014) дослідники з Вашингтонського університету. Це технологія покадрової реконструкції 3D-моделі на відео.



Використовуючи відео з YouTube, програма автоматично будує 3D-моделі високою мірою деталізації для кожного кадру.

Це дуже вражаючий результат, враховуючи складність завдання, адже міміка людського обличчя дуже складна. Для розпізнавання емоцій важливо бачити точне положення очей, вигин брів, зморшки. Найменша похибка в такий 3D-моделі сильно впадає в очі.



Переважна більшість інших програм для 3D-трекінгу та оцифровки особи використовують метод плавних модифікацій (blend shapes), коли змінюється форма об'єкту, «перетікаючи» з одного стану в інший. У методу плавних деформацій недолік якраз у втрату дрібних деталей, які так важливі для сприйняття особи. Автори нового алгоритму відмовилися від такого підходу.



З іншого боку, хоча в покадрової реконструкції кожна модель існує «окремо» один від одного, але при відтворенні на 30/60 кадрах в секунду результат повинен бути більш реалістичний, ніж у випадку з плавною модифікацією.

І ще. На відміну від інших подібних технологій, тут не потрібна участь людини в тестовій відеозйомці. Замість цього використовується великий архів його фотографій в різних умовах освітлення і позах, із застосуванням методу оптичного потоку (3D optical flow). Автор наукової роботи говорять, що в наш час на кожну людину зібраний великий архів фотографій.



Програма успішно проявила себе в умовах різної освітленості і на різних виразах обличчя.

Робота представлена на Європейській конференції з комп'ютерного зору, яка пройшла 6-12 вересня в Цюріху.

Наукова стаття
Супроводжуючий матеріал

Технологію можна використовувати в кінематографі, 3D-друку, комп'ютерних іграх і віртуальної реальності, може бути, для точного відновлення зовнішнього вигляду і міміки померлої людини за його фотографіями і відеозаписами.

Ну, а самим безпосереднім додатком технології здається створення більш реалістичних 3D-кінофільмів і анімація міміки персонажів в комп'ютерних іграх.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.