Los investigadores de la Universidad de Duke han desarrollado una herramienta de inteligencia artificial que puede transformar imágenes borrosas e irreconocibles de los rostros de las personas en atractivos retratos generados por computadora, con detalles más finos que nunca.
Los métodos anteriores a Pulse GAN podían detallar una imagen pixelada hasta ocho veces su resolución original. Pero el equipo de Duke ideó una forma de tomar un puñado de píxeles y crear caras de apariencia realista con hasta 64 veces la resolución, "imaginando" características como líneas finas, pestañas y arrugas que no estaban en la primera imagen. .
Nunca se han creado imágenes con esta resolución.
cynthia rudin, informático, Duke University
No es un identikit
El sistema Pulse GAN no puede usarse para identificar personas, dicen los investigadores: no convertirá una foto borrosa e irreconocible de una cámara de seguridad en una imagen nítida de una persona real. Más bien, es capaz de generar caras nuevas que no existen, pero que parecen plausiblemente reales.
En teoría, la misma técnica podría tomar fotos de baja resolución de casi cualquier cosa y crear imágenes nítidas y realistas, con aplicaciones que van desde la medicina y la microscopía hasta la astronomía y las imágenes de satélite, dijo el coautor. Sachit Menón, doble especialización en matemática e informática.
Los investigadores presentarán su método, llamado LEGUMBRES GAN, desde mañana hasta el 19 de junio en la conferencia de Visión por Computador y Reconocimiento de Patrones (CVPR) 2020.
Los enfoques tradicionales comienzan con capturar una imagen de baja resolución con píxeles borrosos y "adivinar" qué píxeles adicionales se necesitan tratando de hacer coincidir, en promedio, con los píxeles correspondientes en imágenes de alta resolución que la computadora ha visto antes. Como resultado de este promedio, las áreas texturizadas en el cabello y la piel que pueden no alinearse perfectamente de un píxel a otro pueden aparecer borrosas e indistintas.
El equipo de Duke ha adoptado un enfoque diferente.
En lugar de capturar una imagen de baja resolución y agregar lentamente nuevos detalles, el sistema busca ejemplos de caras de alta resolución generadas por IA (ahora ser muy bueno en esto), buscando las que se parezcan lo más posible a la imagen de entrada cuando se reducen al mismo tamaño.
El equipo utilizó una herramienta de aprendizaje automático llamada GAN, o 'red generativa de adversarios'. Lo he hablado más a fondo en este artículo y otros en este sitio. Las GAN son redes neuronales entrenadas en el mismo conjunto de datos fotográficos. Una red presenta rostros humanos creados por inteligencia artificial que imitan a aquellos en los que fue entrenada, mientras que la otra toma este resultado y decide si es lo suficientemente convincente como para confundirlo con una foto real. La primera red mejora cada vez más con la experiencia, hasta que la segunda no logra distinguir. Compiten entre sí, en otras palabras, y al competir mejoran.
PULSE es capaz de crear imágenes de aspecto realista a partir de entradas ruidosas y de mala calidad. A partir de una sola imagen borrosa de un rostro, puede emitir un número ilimitado de posibilidades realistas, cada una de las cuales se ve sutilmente diferente.
Incluso dadas las fotos pixeladas donde los ojos y la boca son apenas reconocibles, “nuestro algoritmo hace algo al respecto. Algo que los enfoques tradicionales no pueden hacer ". Palabra del coautor Alex Damián, matemático de Duke.
Pulse GAN, la "fantasía" en el poder
El sistema puede convertir una imagen de píxeles borrosa o una imagen de 16 × 16 píxeles en una imagen de 1024 × 1024 píxeles en segundos, agregando más de un millón de píxeles, similar a la resolución HD. Detalles como poros, arrugas y mechones de cabello, imperceptibles en fotos de baja resolución, se vuelven nítidos y claros en las versiones generadas por computadora.
Los investigadores pidieron a 40 personas que evaluaran 1.440 imágenes generadas a través de PULSE GAN y otros cinco métodos de escalado. Su juicio? Un número en una escala del uno al cinco. y Pulse GAN ha hecho lo mejor de todo. Además, anotó casi igual a fotos de alta calidad de personas reales.
Mira los resultados tu mismo https://pulse.cs.duke.edu/.
