Transferencia del estilo visual de una fotografía a otra imagen o vídeo
Madrid / 10 de octubre de 2023
Un equipo de investigadores de la Universidad de York de Toronto y el Instituto de Óptica del CSIC ha desarrollado un nuevo método automático de transferencia de estilo fotorrealista para imágenes y videos. Este método, basado en principios de ciencia de la visión y una nueva formulación matemática, muestra mejoras significativas respecto a las tecnologías actuales en términos de calidad visual y rendimiento.
El método propuesto se ha concebido para superar las limitaciones de los métodos de inteligencia artificial, tecnología que en este campo no se ha implantado porque a menudo produce resultados con artefactos visuales inaceptables.
Últimas noticias

¿Qué son las transferencias de estilo?
El “estilo” de una imagen o una secuencia de vídeo es difícil de definir. Esto se debe en parte al hecho de que cualquier característica de una imagen puede ser relevante para el estilo percibido. La iluminación, la escena, el sujeto, la óptica, la cámara o el posprocesamiento pueden tener impacto en cómo el espectador aprecia una imagen y las sensaciones que le transmite.
Los coloristas de cine, cuyo trabajo es embellecer y perfeccionar las imágenes en la postproducción después de haberlas filmado, actualmente utilizan ajustes manuales para replicar las características de color y tono del metraje de referencia y así darles el estilo deseado.
En muchos casos, el director quiere emular el estilo de una imagen de referencia, por ejemplo, una imagen fija de una película existente, una fotografía o incluso una secuencia tomada previamente en la película actual.
Dada esta imagen de referencia, el método propuesto por Canham y colegas consigue transferir automáticamente el estilo, en términos de tono, paleta de colores y contraste. El algoritmo modifica la imagen en tiempo real y genera un resultado que coincide con el estilo de la imagen de referencia. Al ser un proceso de bajo costo computacional, la iluminación y los elementos de la escena se pueden modificar en el momento del rodaje, mientras se ve la imagen resultante en la pantalla.
Una parte de la potencia de este nuevo desarrollo es que al conseguir desacoplar y extraer aisladas las características más importantes del estilo, como son el brillo, el contraste, el equilibrio de sombras/iluminación y el equilibrio de negro/luz, el sistema permite modificar cada uno de ellos sin alterar el resto y sin crear efectos antinaturales.

Aplicaciones
Una de las aplicaciones propuestas para este método es en la llamada homogeneización de fuentes de difusión, donde la imagen de los participantes remotos capturada en teléfonos móviles y cámaras web puede integrarse en la transmisión de estudio sin que se note que la imagen está grabándose con otra cámara y con otra iluminación.
Además, el equipo ha demostrado cómo este método puede ser utilizado para emular los costosos filtros de difusión óptica utilizados en fotografía y cinematografía, proporcionando a los artistas una herramienta para probar y aplicar distintos efectos ópticos de texturas únicas e imágenes suaves en posproducción a una fracción del costo.
Este avance promete mejorar la calidad y la eficiencia de la transferencia de estilo en una variedad de aplicaciones, desde la edición de video en tiempo real hasta la postproducción de imágenes y cinematografía.
Software de demostración.
Los autores han publicado el software con entorno gráfico y el código fuente de MATLAB en el siguiente enlace: https://github.com/trevorcanham/dCoupST.
Con él los usuarios podrán probar la transferencia de estilo con sus propias imágenes de origen y destino
Comunicación IO-CSIC
cultura.io@io.cfmac.csic.es
Noticias relacionadas
Nuestro compañero Sergio Barbero participa en la inauguración de la exposición sobre Piedad de la Cierva
Madrid / 19 de noviembre de 2024La Universidad de Navarra inaugura hoy 19 de noviembre, la exposición “Piedad de la Cierva: pionera, visionaria y...
El 4 de noviembre charla de nuestro compañero Sergio Barbero en el Ciclo de Conferencias sobre Historia de la Óptica
Madrid / 31 de octubre de 2024El próximo lunes (4 de noviembre) a las 12:30 pm, tendremos la segunda charla virtual del IV Ciclo de Conferencias...
Métrica de suavidad de tercer orden para caracterizar lentes de adición progresiva
Una nueva métrica de suavidad de tercer orden permite un análisis más preciso de las lentes progresivas, mejorando la evaluación de la calidad...