Científicos del MIT extraen audio de las vibraciones de un objeto en un video

BOSTON.- Unos investigadores del Instituto Tecnológico de Massachusetts (MIT) junto a Microsoft y Adobe han desarrollado un algoritmo que puede reconstruir una señal de audio mediante el análisis de minutos de objetos en un video.

De acuerdo a un comunicado del MIT, luego de varios experimentos fueron capaces de recuperar el sonido inteligible de las vibraciones de una bolsa de papas fritas, capturadas desde una distancia de 15 metros a través de un cristal a prueba de sonido, sólo con un video. 

"Cuando el sonido choca contra un objeto, hace que el objeto vibre", dice Abe Davis, un estudiante graduado en Ingeniería Eléctrica en el MIT y encargado del proyecto.

La reconstrucción de audio desde un video requiere que la frecuencia de las muestras -número de fotogramas de video capturadas por segundo- sean superior a la frecuencia de la señal de audio. En otras palabras, ya sería posible determinar el sonido de un objeto sin necesidad de un micrófono: tan sólo con una cámara de video.

Para esto, los investigadores utilizaron una cámara de alta velocidad que captó desde 2.000 a 6.000 fotogramas por segundo, lo que es mucho más rápido que los 60 cuadros por segundo que algunos smartphones pueden captar.

Usaron algoritmos que amplifican las variaciones minúsculas en el video, haciendo visibles los movimientos previamente indetectables: la respiración de un bebé en una la sala de neonatología de un hospital, o el pulso en la muñeca de una persona.

Esta técnica pasa cuadros sucesivos de video a través de una batería de filtros de imagen -que se utilizan para medir las fluctuaciones- tales como el cambio de valores de color en los límites, en diferentes orientaciones.

"Estamos recuperando los sonidos de los objetos. Eso no sólo nos da una gran cantidad de información sobre el sonido que está pasando alrededor del objeto, sino que además nos otorga información sobre el objeto en sí ", dice Davis advirtiendo que los objetos responder de diferente manera ante el sonido.

En otros experimentos, se extrajeron las señales de audio a partir de videos de papel de aluminio, la superficie de un vaso de agua e incluso las hojas de una planta en un macetero.