Nvidia ha demostrado un nuevo y sorprendente algoritmo de inteligencia artificial que puede transformar automáticamente algunas fotos en una escena 3D realista.
El algoritmo, que se basa en una red neuronal de aprendizaje profundo, pudo crear una escena 3D a partir de solo 12 tomas, renderizándola en segundos. Los resultados aún están lejos de ser perfectos pero son sorprendentes: y muestran la promesa de futuras aplicaciones en áreas como la edición de video y la representación de rostros, personas o paisajes.
Nvidia ha lanzado un video que demuestra el algoritmo en acción: compruébelo usted mismo.
Instant NERF, la "magia" 3D de Nvidia
La herramienta desarrollada por Nvidia se conoce como Instant NERF, derivada de "campos de radiación neuronal", una técnica de Google Research y UC San Diego University of California que se lanzó en 2020.
Si realmente quieres saber más echa un vistazo aquí (Texto en inglés). Si, por otro lado, está satisfecho con lo que entiendo: en esencia, la técnica combina los datos de intensidad de luz y color de algunas imágenes 2D para producir una escena 3D. Y de hecho, además de fotografías, el sistema necesita información sobre la posición de la cámara.
Los investigadores han estado trabajando para mejorar este tipo de modelo de 2D a 3D durante un par de años, agregando más complejidad a las representaciones y reduciendo el marco de tiempo. De hecho, Nvidia afirma que su nuevo método de renderizado con Instant NeRF es quizás el más rápido jamás creado: el procedimiento pasa de tardar unos minutos a completarse prácticamente al instante.
Posibles campos de aplicación
A medida que la técnica se vuelve más rápida y fácil de implementar, podría usarse para todo tipo de negocios, dice Nvidia en una publicación de blog. describiendo el trabajo.
Instant NeRF se puede utilizar para generar avatares o entornos para mundos virtuales, capturar participantes de videoconferencias y su entorno en 3D, o recrear configuraciones para mapas digitales en 3D, según Isha Salyan de Nvidia
La tecnología se puede utilizar para enseñar a los robots y a los coches autónomos cómo identificar el tamaño y la forma de los objetos del mundo real tomando fotografías o películas en 2D de ellos. También será muy útil en arquitectura y entretenimiento. Ayudará a las startups (también italianas, como este) para crear representaciones digitales más rápidas de entornos reales que los creadores pueden modificar y desarrollar en un instante.
