Google está haciendo las cosas de nuevo, ¡tecnología 3D y de captura negra basada en la tecnología de la luz!

El papel de las luces en el cine, la televisión, los videojuegos y los entornos virtuales es crucial. Constituyen un importante medio de modelado. En las obras cinematográficas, transmiten información y expresan emociones, crean atmósferas, representan personajes y cambios mentales, etc. Influyen en la formación del tono y el estilo del espectáculo, y el tono forma la relación de unidad de opuestos, y otros métodos de modelado se combinan con la interpretación del ritmo y la melodía de la película.

Muchos efectos especiales en películas y televisión deben realizarse con la ayuda de una pantalla verde, y cuando la tecnología no es alta, a menudo ocurren los "cinco efectos MAO" de la tragedia.

Querer copiar la eficiencia fotosintética perfecta es un problema complejo. Con la evolución de la tecnología de visión artificial, las computadoras han logrado restaurar de forma más natural la forma del rostro y la textura de la piel, pero con la condición de que las luces simuladas carezcan de realismo.

Y Google anunció recientemente una nueva tecnología basada en la luz: Relightables. Para poder conseguirlo perfecto.

El proceso de trabajo del sistema Relightables se puede dividir en tres partes: captura, reconstrucción y renderizado.

El núcleo de este sistema se basa en un sensor de profundidad estéreo esférico que contiene múltiples puntos de vista (La iniciativa) luces de dispositivos esféricos equipados con 331 de las 90 luces programables y una cámara de alta resolución de 12,4 MP para la reconstrucción.

Las cámaras de captura utilizadas en el cuerpo humano incluyen 32 cámaras infrarrojas (IR) y 58 cámaras RGB. Los sensores infrarrojos proporcionan datos 3D precisos y fiables, así como mapas de geometría y texturas normales con calidad RGB. La frecuencia de grabación de la cámara original es de 60 Hz. Los investigadores, basándose en el gradiente esférico, utilizan dos condiciones de iluminación diferentes de forma alternada.

A continuación, los investigadores cargan los datos al público en el repositorio; la primera fase es generar cada 'ranura' de profundidad de la figura, la segmentación de la imagen y la cuadrícula 3D [Kazhdan y Hoppe 2013].

Utilizan un algoritmo de alineación de secuencias para reconstruir la cuadrícula, lo que permite que una secuencia larga comparta una triangulación común (三角). Los investigadores propusieron un nuevo método para resolver el problema de la elección de fotogramas clave y lo transformaron en un problema de razonamiento MRF. Cada triangulación única se convierte en parámetros en el espacio de textura 2D ordinario, que puede compartirse con todas las triangulaciones del fotograma.

Al final de cada cuadrícula hay dos luces esféricas de gradiente de imagen disponibles, que pueden generar diagramas de bloques de albedo, normales, brillo y luz ambiental. Estas figuras, compatibles con el motor de renderizado estándar, pueden utilizarse en cualquier condición de iluminación para regenerar la imagen renderizada.

Este nuevo sistema de Google perfecciona la iluminación y las sombras, reduciendo la intensidad del efecto, haciendo que las imágenes sintéticas parezcan más realistas. Capturará la fusión perfecta con el mundo real del cuerpo humano, películas, juegos, etc., y el número en la escena. Es posible que se pueda cambiar por completo la tecnología de captura 3D.