Un equipo de investigadores de la Universidad de California y los dos departamentos de Facebook Reality Labs e AI Research ha desarrollado una red neuronal capaz de crear imágenes en 3D y figuras en 3D a partir de imágenes en 2D.
Pifu HD, que significa Función implícita alineada con píxeles HD, ha sido entrenado para convertir imágenes y videos en 3D que reproducen personas vestidas a 2D.
Además de las características faciales como la boca y la nariz, el sistema puede convertir con precisión las arrugas y la textura de la ropa en un modelo 3D correspondiente. Las posturas fotográficas femeninas son elocuentes, y las posturas masculinas tampoco son bromas.
Pifu HD es una versión mejorada del AI Pifu anterior, presentado el año pasado. Con más información de píxeles, se pueden transferir detalles más pequeños a un modelo 3D, como pliegues y posiciones de los dedos. El Científico Saito Shunsuke presentó el nuevo trabajo en dos videos. También hay una documento cientifico con información detallada
El entrenamiento de Pifu HD
Inteligencia artificial está capacitado para producir imágenes en 3D utilizando imágenes en 2D, que actúan como puntos de referencia. En el caso específico, se utilizó un conjunto de imágenes de moda, que contiene modelos fotográficos masculinos y femeninos en varias poses y con diferentes prendas de vestir.
Al igual que funciona para la resonancia magnética médica, cada nivel de profundidad escaneado da como resultado una figura tridimensional. Un codificador de imágenes calcula la coordenada 3D respectiva para cada píxel 2D y estima si está dentro o fuera de la sección transversal de la imagen bajo examen. Y de la imagen a 3D en ese punto, el paso es corto.
Pifu HD codifica imágenes paralelas con resolución reducida y utiliza la información para crear su propio modelo 3D.
El video de demostración funciona bastante bien. Por lo tanto, Pifu puede generar una figura humana en 3D a partir de imágenes de modelos. Además, un modelo 3D mucho más detallado a partir de diferentes imágenes de la misma persona de referencia con diferentes ángulos de visión.
Todavía necesitamos algo de tiempo
Pifu aún no está completamente desarrollado y no es lo suficientemente eficiente como para usarse de manera productiva con sus modelos 3D. Sin embargo, la velocidad de creación y aprendizaje de este software es asombrosa.
