Transferencia del estilo visual de una fotografía a otra imagen o vídeo

Ciencias de la imagen y la visión (IVIS)

Madrid / 10 de octubre de 2023

Un equipo de investigadores de la Universidad de York de Toronto y el Instituto de Óptica del CSIC ha desarrollado un nuevo método automático de transferencia de estilo fotorrealista para imágenes y videos. Este método, basado en principios de ciencia de la visión y una nueva formulación matemática, muestra mejoras significativas respecto a las tecnologías actuales en términos de calidad visual y rendimiento.

El método propuesto se ha concebido para superar las limitaciones de los métodos de inteligencia artificial, tecnología que en este campo no se ha implantado porque a menudo produce resultados con artefactos visuales inaceptables.

Esquema en el que se ilustra cómo se extrae el estilo de dos imágenes, para poder trasplantarlo de una en otra
Esquema de funcionamiento del método. Las características extraídas (representadas esquemáticamente como capas concéntricas) capturan el estilo de la imagen, mientras que la imagen normalizada (representada esquemáticamente por un círculo central) no tiene información de estilo. El resultado final se obtiene fusionando el estilo de la referencia con la imagen original normalizada. / Instituto de Óptica

¿Qué son las transferencias de estilo?

El “estilo” de una imagen o una secuencia de vídeo es difícil de definir. Esto se debe en parte al hecho de que cualquier característica de una imagen puede ser relevante para el estilo percibido. La iluminación, la escena, el sujeto, la óptica, la cámara o el posprocesamiento pueden tener impacto en cómo el espectador aprecia una imagen y las sensaciones que le transmite.
Los coloristas de cine, cuyo trabajo es embellecer y perfeccionar las imágenes en la postproducción después de haberlas filmado, actualmente utilizan ajustes manuales para replicar las características de color y tono del metraje de referencia y así darles el estilo deseado.
En muchos casos, el director quiere emular el estilo de una imagen de referencia, por ejemplo, una imagen fija de una película existente, una fotografía o incluso una secuencia tomada previamente en la película actual.
Dada esta imagen de referencia, el método propuesto por Canham y colegas consigue transferir automáticamente el estilo, en términos de tono, paleta de colores y contraste. El algoritmo modifica la imagen en tiempo real y genera un resultado que coincide con el estilo de la imagen de referencia. Al ser un proceso de bajo costo computacional, la iluminación y los elementos de la escena se pueden modificar en el momento del rodaje, mientras se ve la imagen resultante en la pantalla.
Una parte de la potencia de este nuevo desarrollo es que al conseguir desacoplar y extraer aisladas las características más importantes del estilo, como son el brillo, el contraste, el equilibrio de sombras/iluminación y el equilibrio de negro/luz, el sistema permite modificar cada uno de ellos sin alterar el resto y sin crear efectos antinaturales.

12 fotos pequeñas con caras de personas, paisajes de montañas, y diferentes locales y edificios de ciudades
En cada fila de la figura se pueden ver, de izquierda a derecha: la imagen original, la imagen de referencia cuyo estilo se quiere transferir a la imagen original, y finalmente el resultado de nuestro método, donde la imagen original ahora tiene el estilo visual (en términos de color, contraste, brillo) de la imagen de referencia. / Instituto de Óptica

Aplicaciones

Una de las aplicaciones propuestas para este método es en la llamada homogeneización de fuentes de difusión, donde la imagen de los participantes remotos capturada en teléfonos móviles y cámaras web puede integrarse en la transmisión de estudio sin que se note que la imagen está grabándose con otra cámara y con otra iluminación.
Además, el equipo ha demostrado cómo este método puede ser utilizado para emular los costosos filtros de difusión óptica utilizados en fotografía y cinematografía, proporcionando a los artistas una herramienta para probar y aplicar distintos efectos ópticos de texturas únicas e imágenes suaves en posproducción a una fracción del costo.
Este avance promete mejorar la calidad y la eficiencia de la transferencia de estilo en una variedad de aplicaciones, desde la edición de video en tiempo real hasta la postproducción de imágenes y cinematografía.
Software de demostración.
Los autores han publicado el software con entorno gráfico y el código fuente de MATLAB en el siguiente enlace: https://github.com/trevorcanham/dCoupST.
Con él los usuarios podrán probar la transferencia de estilo con sus propias imágenes de origen y destino

Comunicación IO-CSIC
cultura.io@io.cfmac.csic.es

Noticias relacionadas

Suscripción