INSTITUTO DE OPTICA  
Español | English

Algoritmo de transferencia de estilo fotorrealista para video en tiempo real  
Algoritmo de transferencia de estilo fotorrealista para video en tiempo real
Un equipo científico formado por la Universitat Pompeu Fabra y el Instituto de Óptica ha desarrollado un algoritmo capaz de transferir el estilo de una imagen realista a un video dado, de forma que este adopte el tono, la paleta de colores y el contraste de la imagen dada.
El algoritmo permite procesar en tiempo real la salida de vídeo sin procesar de una cámara de forma que el vídeo resultante se puede ver a la vez que se graba. Además el algoritmo permite que el usuario marque correspondencia en regiones de interés de la imagen y el vídeo.

Los videos resultantes están libres de artefactos y brindan una excelente aproximación al aspecto deseado, lo que genera ahorros en el tiempo de preproducción, filmación y posproducción. El método supera a diversos sistemas actuales de vanguardia según los experimentos realizados con voluntarios.

El color en el cine


El color juega un papel fundamental en el cine, ya que afecta en gran medida la forma en que percibimos la película y los personajes. El color puede crear armonía o tensión dentro de una escena, o llamar la atención sobre un tema clave. Si se elige con cuidado, una paleta de colores de película bien colocada evoca un estado de ánimo y establece el tono de la película.
Idealmente, la apariencia de color deseada sería concebida de antemano, luego implementada en la grabación y cuidadosamente mejorada y renderizada por el colorista durante la postproducción en una etapa llamada clasificación de color. Todo este proceso es muy costoso en términos de presupuesto y tiempo y puede requerir una cantidad significativa de trabajo de artistas y técnicos muy capacitados.

En este trabajo proponemos un método que puede aliviar la carga de trabajo de los cineastas y coloristas durante el rodaje y la postproducción. En muchos casos, el director quiere emular el estilo de una imagen de referencia, por ejemplo una imagen fija de una película existente, una fotografía o incluso una secuencia tomada previamente en la película actual.
Dada esta imagen de referencia, nuestro sistema transfiere automáticamente el estilo, en términos de tono, paleta de colores y contraste. El algoritmo se aplica directamente en las imágenes sin procesar y genera un resultado listo para la visualización que coincide con el estilo de la imagen de referencia. Es un proceso de bajo costo computacional que se puede implementar en la cámara, por lo que la iluminación y los elementos de la escena se pueden ajustar en el set mientras se ve la imagen resultante en la pantalla. Si bien el método se propone como un sustituto de algunas de las tareas de postproducción, es compatible con más refinamientos, tanto en el set como en la postproducción.


Transferencia de estilo de video


Extender un método basado en imágenes a secuencias de video no es trivial, aplicar una transferencia de estilo independiente a cada cuadro de una secuencia de video puede resultar en un fuerte parpadeo de textura e incoherencia temporal. También es computacionalmente costoso calcular los parámetros de cada cuadro sin tener en cuenta el contenido común entre cuadros. Para evitar eso, en el artículo proponemos un método simple pero efectivo y diseñado para manejar estas limitaciones.

Resultados y validación experimental


Hemos probado los resultados de la transferencia de estilo en una amplia gama de fuentes y secuencias de referencia, donde la luminosidad y la gama de colores varíaban de una a otra.
En estos experimentos han participado 15 voluntarios, que han validado nuestros resultados al compararlos con métodos de transferencia de estilo para imágenes fijas actuales. En ellos se mostró que el método propuesto supera a los algoritmos del estado del arte en la literatura académica y es comparable a los mejores métodos para imágenes fijas de la industria.

Como trabajo futuro, pretendemos incorporar a nuestro método una serie de extensiones, como permitir la separación de primer plano / fondo y el uso de fotogramas clave, con el fin de superar algunas de las limitaciones que se han observado.

Enlace al artículo científico

Este trabajo es una colaboración del Department of Information and Communication Technologies de la Universitat Pompeu Fabra y el Instituto de Óptica del CSIC

 
Investigación financiada por el Ministerio de Ciencia e Innovación y la Agencia Estatal de Investigación
Instituto de Óptica "Daza de Valdés"
(IO-CSIC)
C/ Serrano, 121
28006 Madrid (España)
Tel: 915 616 800
Consejo Superior de Investigaciones Científicas - Instituto de Óptica twitter twitter twitter twitter
Enlaces | Contacto | Aviso legal | Intranet | Instituto de Óptica (CSIC) | Exposición 75 años | Fondo Fotográfico “María Teresa Vigón”