En modifiant ou en remplaçant l'arrière-plan de la vidéo en direct, les créateurs peuvent transmettre une ambiance particulière, se transporter à un endroit amusant ou améliorer l'impact du message. Comme dans un journal télévisé.
Cependant, cette opération a traditionnellement été exécutée comme un processus manuel long ou qui nécessite un environnement de studio avec un écran vert pour le retrait en temps réel du fond (une technique appelée incrustation Chroma).
Afin de permettre aux utilisateurs de créer cet effet en direct dans le viseur, YouTube vient de concevoir une nouvelle technique qui convient aux téléphones mobiles.
Et, aujourd'hui, YouTube ajoute la précision, en temps réel, de la segmentation vidéo sur l'appareil mobile à l'application YouTube en intégrant cette technologie dans les Stories de YouTube (Reels).
Les Stories, le nouveau format léger de vidéo sur YouTube, actuellement en version bêta limitée, sont spécifiquement conçues pour les créateurs de YouTube.
Et la nouvelle technologie de segmentation permet aux créateurs de remplacer et modifier l'arrière-plan, en augmentant, sans aucun effort, la valeur de production des vidéos en l'absence d'équipement spécialisé.
Beaucoup d'ingéniosité semble donc avoir été introduite dans cet outil de la “Segmentation vidéo".
 |
| Images via Google |
C'est un outil qui aide à comprendre où le premier plan se termine et où le fond (arrière-plan) commence si vous avez une caméra de détection de profondeur (comme avec le Front-facing Array de l'iPhone X) ou beaucoup de temps de traitement sans avoir à vous soucier de votre batterie (comme avec un ordinateur).
Sur le mobile, cependant, et avec une image RVB ordinaire, ce n'est pas si facile à faire. Et si faire une image fixe est difficile, la vidéo l’est encore plus, puisque l'ordinateur doit faire le calcul 30 fois par seconde au minimum.
Eh bien, les ingénieurs de Google ont pris cela comme un défi, et ont mis en place une architecture de réseau neuronal Convolutif, le formant (training) via le machine learning sur des milliers d'images étiquetées (comme dans la première image visible au début de cet article).
Le réseau neuronal convolutif a appris à sélectionner les caractéristiques communes d'une tête et des épaules, et une série d'optimisations a réduit la quantité de données dont il avait besoin de recueillir afin d’y parvenir.
Et même si c'est en quelque sorte tricher un peu, le résultat du calcul précédent est utilisé comme matière première pour le prochain résultat, tout en réduisant la charge supplémentaire.
Le résultat, c’est un moteur de segmentation rapide et relativement précis qui fonctionne plus vite pour être utilisé dans la vidéo de 40 images par seconde sur le Pixel 2 et aussi dans la vidéo de plus de 100 images par seconde sur l'iPhone 7.
Cet outil de segmentation de la vidéo en temps réel est une grande nouvelle pour beaucoup de créateurs qui pourront supprimer ou remplacer un arrière-plan lors d’une diffusion de YouTube Story en live.
