El proceso de composición, o de colocar a los actores sobre un fondo que en realidad no existe, es tan antiguo como el cine mismo, y siempre ha sido un fastidio. Netflix tiene una nueva técnica que se basa en el aprendizaje automático para hacer parte del trabajo pesado, pero requiere iluminar a los actores en un magenta espeluznante.

Durante décadas, el método más simple de composición fue la codificación por colores, en la que los actores se paran sobre un fondo de colores brillantes (originalmente azul, luego verde) que se puede identificar fácilmente y reemplazar con cualquier cosa, desde un mapa del tiempo hasta una batalla con Thanos. Se dice que el primer plano es “mate” y el fondo es un canal “alfa” transparente manipulado junto con los canales rojo, verde y azul.

Es fácil y económico, pero tiene algunos inconvenientes, incluidos problemas con objetos transparentes, detalles finos como el cabello y, por supuesto, cualquier cosa con un color similar al fondo. Sin embargo, por lo general es lo suficientemente bueno como para que los intentos de reemplazarlo con métodos más sofisticados y costosos (como una cámara de campo de luz) hayan languidecido.

Sin embargo, los investigadores de Netflix están probando una combinación de lo antiguo y lo nuevo que podría dar como resultado una composición simple e inmaculada, a costa de una configuración de iluminación infernal en el set.

Como se describe en un artículo publicado recientemente, su “pantalla verde magenta” produce resultados impresionantes, esencialmente poniendo a los actores en un sándwich de iluminación. Detrás de ellos, verde brillante (activamente iluminado, no como telón de fondo); en el frente, una mezcla de rojo y azul, haciendo que los colores contrasten dramáticamente.

La apariencia resultante en el set probablemente hace que incluso el artista de postproducción más experimentado se resista. Por lo general, quiere iluminar a sus actores con bastante naturalidad, por lo que, si bien pueden requerir un poco de presión aquí y allá, se ven relativamente normales en la cámara. Pero si se iluminan exclusivamente con luz roja y azul, se distorsiona por completo ese aspecto, ya que, por supuesto, la luz normal no tiene gran parte de su espectro cortado.

Pero la técnica también es inteligente porque al hacer que el primer plano sea solo rojo/azul y el fondo solo verde, simplifica el proceso de separación de los dos. Una cámara normal que normalmente capturaría esos colores en su lugar captura rojo, azul y alfa. Esto hace que los mates resultantes sean extremadamente precisos, sin los artefactos que surgen al tener que separar una entrada de espectro completo de un fondo clave de espectro limitado.

Por supuesto, parecen haber sustituido una dificultad por otra: el proceso de composición ahora es fácil, pero es difícil restaurar el canal verde a sujetos iluminados en magenta.

Debe hacerse de manera sistemática y adaptativa, ya que los sujetos y las composiciones difieren, pero un enfoque lineal “ingenuo” para inyectar verde da como resultado un aspecto amarillento y descolorido. ¿Cómo se puede automatizar? ¡IA al rescate!

El equipo entrenó un modelo de aprendizaje automático con sus propios datos de entrenamiento, esencialmente tomas de “prueba” de escenas similares, pero con iluminación normal. La red neuronal convolucional recibe parches de la imagen de espectro completo para compararlos con los resaltados en magenta y desarrolla un proceso para restaurar rápidamente el canal verde faltante de una manera más inteligente que un simple algoritmo.

Un algoritmo simple conduce a resultados deficientes (arriba), mientras que un modelo ML más sofisticado produce colores que son muy similares a la realidad del suelo. Créditos de imagen: netflix

Por lo tanto, el color se puede restaurar sorprendentemente bien en la publicación (es “prácticamente indistinguible” de una realidad de fondo en la cámara), pero aún existe el problema de que los actores y el escenario deben iluminarse de esta manera horrible. Muchos actores ya se quejan de lo poco natural que es trabajar frente a una pantalla verde; imagínense haciéndolo mientras están iluminados por una luz dura e inhumana.

El documento aborda esto, sin embargo, con la capacidad de “multiplexar en el tiempo” la iluminación, esencialmente encendiendo y apagando la iluminación magenta/verde varias veces por segundo. Esto es una distracción (incluso peligroso) hacerlo 24 veces por segundo (es decir, la velocidad de fotogramas a la que se filman la mayoría de las películas y la televisión), pero si encienden la luz más rápido, 144 veces por segundo, parece “casi constante”.

Sin embargo, esto requiere una sincronización compleja con la cámara, que solo tiene que capturar la luz durante los breves momentos en que la escena es magenta. Y también hay que tener en cuenta los marcos que faltan para el movimiento…

Como puede ver, esto todavía es muy experimental. Pero también es una forma interesante de abordar un viejo problema en la producción de medios con un nuevo enfoque de alta tecnología. Esto no habría sido posible hace cinco años, y aunque puede o no ser adoptado en el set, claramente vale la pena intentarlo.