L’écran vert alimenté par l’IA de Netflix baigne le casting dans un violet brûlant pour les yeux

Le processus de maquillage, ou de placement des acteurs dans un contexte qui n’existe pas dans la réalité, est aussi vieux que le cinéma lui-même et toujours difficile. Netflix dispose d’une nouvelle technologie qui s’appuie sur l’apprentissage automatique pour effectuer une partie du travail acharné, mais cela nécessite d’éclairer les acteurs d’une couleur violette éclatante.

Pendant des décennies, la méthode de maquillage la plus simple était une clé chroma, avec des acteurs se tenant devant un fond aux couleurs vives (bleu à l’origine, puis vert) qui pouvait être facilement identifié et remplacé par n’importe quoi, d’une carte météo à une bataille avec Thanos. L’avant-plan est dit « incohérent » et l’arrière-plan est un canal « alpha » transparent manipulé avec les canaux rouge, vert et bleu.

C’est facile et bon marché, mais il y a quelques inconvénients, parmi lesquels des problèmes avec des objets transparents, des détails fins comme les cheveux, et bien sûr, tout ce qui a une couleur similaire à l’arrière-plan. C’est généralement assez bon, cependant, en essayant de le remplacer par des méthodes plus compliquées et coûteuses (Comme une caméra à champ lumineux) affaibli.

Les chercheurs de Netflix s’y essaient, cependant, avec un mélange d’ancien et de nouveau qui peut garder le maquillage simple et pur – au détriment d’une configuration d’éclairage infernale.

Comme le montre un article récemment publié, « l’écran vert violet » produit des résultats éblouissants en mettant les acteurs dans un sandwich d’éclairage. derrière eux, vert vif (activement allumé, pas en arrière-plan) ; Sur le devant, c’est un mélange de rouge et de bleu, ce qui crée de superbes contrastes de couleurs.

Les acteurs s’éclairaient en violet sur fond vert. Crédits image : Netflix

Le look qui en résulte sur le tournage fera probablement grincer des dents même l’artiste de post-production le plus expérimenté. Normalement, vous voulez que vos acteurs soient éclairés avec une lumière assez naturelle, donc même s’ils peuvent avoir besoin d’un peu de tapotement ici et là, leur aspect à huis clos est relativement naturel. Mais s’il est éclairé exclusivement avec de la lumière rouge et bleue, cela déforme complètement l’apparence, car, bien sûr, la lumière naturelle n’a pas une grande partie de son spectre coupé.

L’histoire continue

Mais la technologie est également intelligente à ce sujet en rendant le premier plan uniquement rouge/bleu et l’arrière-plan uniquement vert, cela simplifie le processus de séparation des deux. Un appareil photo normal qui capture normalement ces couleurs capture à la place le rouge, le bleu et l’alpha. Cela rend les pièces résultantes très précises, dépourvues des artefacts résultant de la séparation de l’entrée à spectre complet de l’arrière-plan principal à spectre limité.

Bien sûr, ils semblent avoir remplacé une difficulté par une autre : l’ajustement est maintenant facile, mais la restauration du canal vert pour les cibles éclairées en violet est difficile.

Cela doit être fait systématiquement et de manière adaptative, compte tenu des différents sujets et compositions, mais une approche linéaire «naïve» de l’injection de vert donne un aspect terne et jaunâtre. Comment peut-il être automatisé ? L’IA à la rescousse !

L’équipe a formé le modèle d’apprentissage automatique sur ses données de formation, qui sont essentiellement des séquences de « répétition » de scènes similaires, mais naturellement éclairées. Le réseau neuronal convolutif reçoit des corrections de l’image à spectre complet à comparer avec celle éclairée en violet, et développe un processus pour restaurer rapidement le canal vert perdu d’une manière plus intelligente qu’un simple algorithme.

Un algorithme simple donne des résultats médiocres (plus élevés) tandis qu’un modèle ML plus complexe produit des couleurs très similaires à la réalité sous-jacente. Crédits image : Netflix

Ainsi, la couleur peut être étonnamment bien restaurée en post (« pratiquement impossible à distinguer » de la vérité au sol à huis clos) – mais il reste le problème des acteurs et du décor devant être éclairés d’une manière aussi horrible. De nombreux acteurs se plaignent déjà du fait que travailler devant un écran vert n’est pas naturel – imaginez le faire tout en étant éclairé par une lumière crue et inhumaine.

Le document aborde cela, cependant, avec la possibilité de « doubler » l’éclairage, en activant et désactivant essentiellement l’éclairage violet/vert plusieurs fois par seconde. C’est distrayant (voire dangereux) de faire 24 fois par seconde (c’est la fréquence d’images à laquelle la plupart des films et de la télévision sont tournés), mais s’ils allument les lumières plus rapidement – 144 fois par seconde – cela semble « presque constant ».

Cependant, cela nécessite une synchronisation complexe avec la caméra, qui ne doit capter la lumière que pendant les brefs instants où la scène est violette. Et ils doivent également tenir compte des images perdues pour le mouvement…

Comme vous pouvez le voir, c’est encore très expérimental. Mais c’est aussi une manière intéressante d’aborder un vieux problème de la production médiatique avec une nouvelle approche high-tech. Cela n’aurait pas été possible il y a cinq ans, et même si cela peut être approuvé ou non, cela vaut clairement la peine d’essayer.