Дослідники відновили звук з коливань предметів на відеозапису

     
Звук є коливаннями певної частоти, які поширюються в навколишньому джерело просторі. Ці хвилі досягають знаходяться поруч об'єкти і змушують їх відчувати вібрації. Група дослідників Массачусетського технологічного інституту зуміла на підставі цих вібрацій, видимих ​​на відеозаписі, частково відновити вихідний звук з деякими спотвореннями.
 
У роботі Ейб Девіс, Майкл Рубінштейн, Ніл Вадхва, Гаутам Майсор, Фредо Дуранд і Вільям Фріман використовували камеру, що записує відео з частотою кілька тисяч кадрів на секунду, і такі поширені і піддані вібраціям предмети, як фольга пакета чіпсів, листя кімнатної рослини, грань коробки з серветками або склянку з водою. Знайти подібну відеокамеру в побуті буде досить складно, але їх інша техніка показала, що відновлення звуку можливо і за допомогою звичайного запису частотою 60 кадрів в секунду.
 
Якість відновленого звуку дозволяє розділяти окремі слова і має відносно високі показники ставлення сигнал-шум. Відновлені аудіозаписи навіть дозволяють смутно розрізняти мова людини або використовувати сервіси розпізнавання музики.
 
У представленому вище відеоролику на позначці 00:45 або на сторінці проекту показані вихідний звук (дослідники використовували добре відому кожному, цікавиться історією звукозапису, пісеньку «У Мері був баранчик ») і відновлений звук, при цьому коливання на високочастотному Відео не видно неозброєному оку — вібрації досягають близько сотої пікселя.
 
Потім у відеоролику на позначці 1:50 демонструється оригінальний звук, записаний мікрофоном стільникового телефону, і відновлений звук людської мови. При цьому камера перебувала на деякому віддаленні від вібруючого від звукових хвиль пакета чіпсів, а між нею і об'єктом розташовувалося скло, що збільшувало складність завдання. Дослідники знову використали перший із записаних на фонограф Томаса Едісона пісень.
 
На позначці 2:35 показано, що сервіси розпізнавання музики здатні «впізнавати» відновлені аудіозаписи, зокрема була розпізнана пісня Under Pressure групи Queen.
 
Представлені вище результати були отримані з камер з частотою зйомки в тисячі кадрів в секунду. Але також було показано, що артефакти зйомки звичайних побутових відеокамер (зокрема, роллінг шаттер ) іноді можна використовувати для отримання звуку з частотою куди вище, ніж частота кадрів оригінальної відеозапису.
 
Результати зміненої техніки можна побачити на позначці 3:35, дослідникам вдалося відновити частоту в п'ять разів вище частоти кадрів відеозапису. Використовувався все той же MIDI-файл з мелодією дитячої пісеньки.
 
Більше інформації та аудіозаписів є на сторінці проекту . Група дослідників обіцяє опублікувати код проекту в недалекому майбутньому.
    
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.