Síntesis de ilusiones visuales utilizando modelos generativos profundos

12 Ago, 2022 | Ciencias de la imagen y la visión (IVIS)

¿Ven ilusiones ópticas las redes neuronales artificiales?
Un estudio científico juega con redes neuronales que ven las ilusiones visuales y que además son capaces de inventarse nuevos ejemplos

Una ilusión visual es una imagen que induce una percepción visual que no corresponde con la descripción real de la escena, que se puede medir correctamente con sensores como espectrorradiómetros, reglas, transportadores, etc.
Son imágenes que el ojo humano malinterpreta debido a su estrategia de codificación de imágenes que por lo demás es óptima.
Dos cuadrados, uno negro y otro blanco los dos con un pequeño cuadro gris en el centro

En esta imagen un cuadro gris parece más oscuro que el otro cuando son iguales

Ilusión visual como forma de estudiar la visión

Las ilusiones visuales sirven como estrategias para ampliar nuestra comprensión del sistema visual humano porque nos sirven para comprobar primero si los modelos de visión artificial también las sufren y además como segunda estrategia podemos pedirle al modelo artificial que genere nuevas imágenes con ilusiones visuales convincentes para humanos para comprobar si ha “entendido” su funcionamiento.

Ilusiones visuales en redes neuronales artificiales

Desde 2018, se ha observado que las redes neuronales artificiales (ANN) entrenadas en imágenes naturales también pueden ser “engañadas” por ilusiones visuales, en el sentido de que su respuesta a una entrada que induce una ilusión en humanos es (cualitativamente) la misma.
En este trabajo nos centramos en la segunda parte de la estrategia (menos explorada): proponemos un marco para que la red neuronal genere nuevas ilusiones visuales y compruebe por sus propios medios si son buenas o no.

Con estos estudios se pueden estudiar las diferencias entre la percepción humana y el modelo artificial de visión en el caso particular de las ilusiones visuales y de esta forma ajustar el modelo para que se comporte lo más parecido posible a la visión humana.
El estudio directo de la percepción visual es un problema extremadamente desafiante y, por esta razón, la mayor parte de la investigación psicofísica se realiza en el estudio de casos particulares como estos que reducen la complejidad del sistema.

En este trabajo el equipo científico ha propuesto un marco que crea ilusiones visuales novedosas mediante el uso de redes antagónicas generativas (GAN) las cuales están optimizadas para producir ilusiones que serán mostradas a un modelo de visión dado. Estos estímulos sintetizados también se mostrarán a observadores humanos, como comprobación.

las contribuciones de este trabajo son las siguientes:

• Un método nuevo para generar ilusiones visuales en humanos en el que las imágenes se generarán sin participación humana.
• Una nueva forma de estudiar las diferencias entre un determinado modelo de visión y la percepción humana mediante las ilusiones visuales generadas para engañar al modelo de visión.
• Una extensa colección de ilusiones visuales sintéticas producidas por diferentes elecciones del marco.

Esquema de diferentes configuraciones del marco propuesto

Diferentes configuraciones del marco propuesto, en la de arriba se busca la mejor imagen posible y en la de abajo se busca el mejor generador de ilusiones visuales

Medidor de ilusiones

El medidor de ilusiones es el elemento más importante del marco propuesto porque es el encargado de medir el efecto que produce la ilusión visual generada y por lo tanto necesita “ver” la imagen como lo haría un humano. Se compone de dos partes bien diferenciadas, la primera es un módulo de visión que procesa la imagen (actuando así como replicante de la visión humana) y un segundo módulo que mide cuanto se ha equivocado el módulo de visión como consecuencia de la ilusión visual. De esta forma el generador de imágenes ha podido ir buscando las imágenes generadas que causan una mayor ilusión visual.

Este es un trabajo de colaboración entre el Centro de Visión por Computador de a Universidad Autónoma de Barcelona, el Departamento de Tecnologías de la Información y Comunicaciones de la Universidad Pompeu Fabra, el grupo de Ciencias de la Imagen y la Visión del Instituto de Óptica y el Laboratorio de Procesado de Imágenes de la Universidad de Valencia

Noticias relacionadas

Suscripción