NOTRE REGARD SUR LA PLACE DE L'IA DANS LA VIDÉO

L'hybride est-il l'avenir ?

Chaque cinéaste a une liste de choses qu'il voulait dans un plan sans pouvoir les obtenir. Le lieu. Le décor. Les costumes. La météo. La lumière. Une deuxième personne pour aider. Quand on parle d'IA en vidéo, on en revient presque toujours à une seule question : va-t-elle remplacer le tournage ? Nous pensons que ce n'est pas la bonne question. La bonne, c'est de savoir ce que devient cette liste.

Un vidéaste peut déjà faire un bon film, agréable à regarder, sans aucune IA. Mais il a toujours plus en tête que ce qui arrive à l'écran. Avec plus de temps, plus d'argent ou plus d'énergie, il serait allé plus loin : un meilleur lieu, une meilleure lumière, une distribution plus large, un mouvement de caméra plus audacieux. Quelque part en chemin, la vision a été réduite pour tenir dans le possible.

C'est ce que nous appelons la méthode hybride. Vous continuez à faire ce que vous savez faire et aimez faire. Les parts de votre vision qui ne sont jamais entrées dans le cadre sont complétées ensuite avec l'IA. Vous tournez de vraies images, et la vidéo finale est générée à partir de ces images. Nous pensons que c'est la meilleure façon d'utiliser l'IA en vidéo, et chaque exemple de cette page a été réalisé ainsi.

Tourné Développé par IA

Regardez l'exemple ci-dessus avant de poursuivre. D'un côté, ce que nous avons tourné. De l'autre, ce que nous avons publié. Ce que nous avons décidé nous-mêmes se retrouve des deux côtés. Ce qui était hors de notre portée n'apparaît que d'un seul. La suite de cet article explique pourquoi cela fonctionne.

LE MÉCANISME

Le modèle comble tout ce que vous laissez vide

La plupart d'entre nous ont découvert la vidéo par IA par le mauvais bout. On nous l'a présentée comme une technologie du tout ou rien : vous tapez un prompt, et la vidéo entière sort à l'autre bout. Honnêtement, pour des gens comme nous, c'était difficile à avaler. Nous n'avions pas besoin qu'on nous retire quelque chose que nous faisons déjà bien, et que nous aimons faire.

Ce que nous ne voyions pas alors, c'est que nous avions découvert une seule extrémité d'un éventail très large. À cette extrémité, vous tapez un prompt et toute la vidéo est générée, et pour quelqu'un qui n'a pas de caméra, c'est une vraie porte d'entrée. Mais l'IA en vidéo n'est pas un interrupteur. C'est un éventail, et vous pouvez en utiliser aussi peu ou autant que vous le souhaitez. Ce n'est pas ainsi qu'on nous l'a présentée, alors la plupart d'entre nous n'ont jamais cherché l'entre-deux.

La règle de fond est simple. Le modèle comble tout ce que vous laissez vide. Donnez-lui une simple phrase, et il comble tout : la caméra, l'acteur, le rythme, la pièce. Donnez-lui un film terminé, et il n'a plus rien à combler. Tout ce qui se situe entre ces deux extrémités est hybride, et votre position est une décision que vous prenez plan par plan.

Tout ce que vous apportez au tournage, c'est une chose de moins que le modèle doit inventer.

LA MÉTHODE HYBRIDE

Partez de la vidéo que vous avez déjà

Vous tournez la scène pour de vrai. Une vraie caméra, un vrai objectif, un vrai mouvement, un vrai rythme, et ce qui se trouve devant l'objectif est vraiment là. Ensuite, vous confiez ces images à l'IA et vous lui demandez de compléter le plan : changer le décor, les costumes, les accessoires, la lumière, l'époque, et même le personnage, tout en conservant le mouvement et le rythme de ce que vous avez filmé. Une remarque honnête sur ce dernier point : changer qui apparaît à l'écran se décide d'abord avec votre comédien, ce n'est pas quelque chose qu'on lui impose.

Si vous avez déjà travaillé en argentique, la comparaison s'impose. Le tournage, c'est votre négatif. Le passage par l'IA, c'est votre chambre noire. Le négatif contient tout ce qui était vrai dans l'instant. La chambre noire décide de la façon dont le monde le verra. Personne ne considère la chambre noire comme l'auteur de la photographie, parce que la photographie, l'essentiel, était déjà faite.

Les exemples de cette page ont été tournés avec les moyens dont nous disposions à ce moment-là : un studio, notre propre matériel, une petite équipe. Ils ne ressemblaient pas aux films que nous avions en tête, et ce n'était pas le but. Nos efforts ont porté sur le mouvement de caméra et sur ce qui se passait devant l'objectif. Regardez avec quelle netteté la version finale se rattache aux images tournées.

Coulisses
Résultat d'origine
AI-developed

Tout ce qui passe d'un côté à l'autre est une décision que nous avons prise sur le plateau.

POURQUOI ÇA FONCTIONNE

La façon la plus précise de dire ce que vous voulez

Le contrôle créatif tient à une seule chose : la précision avec laquelle vous dites au modèle ce que vous voulez. Et le langage le plus précis dont vous disposez, ce ne sont pas les mots. Ce sont les images.

Le modèle lit vos images comme une structure : le mouvement, le rythme, le cadrage, la géométrie de la scène. Tout cela est conservé. Ce que le modèle crée, c'est l'apparence : les matières, la lumière, les visages, les décors, l'atmosphère. Quand vous lui donnez des images, vous ne décrivez donc pas le plan. Vous le montrez. Il n'y a plus rien à mal comprendre sur la place de la caméra, sur ce qui se passe devant elle, ni sur le moment où cela se passe.

C'est vrai même pour ceux qui sont venus à la vidéo par l'IA, sans caméra. Travailler uniquement avec des mots semble plus simple. Mais tout ce que vous voulez doit être écrit, et le modèle doit le deviner à partir de vos phrases. Vous essayez, vous regardez, vous ajustez, vous recommencez. La vidéo par IA n'est pas gratuite : chacun de ces essais a un coût.

Une caméra, quelle qu'elle soit, change la donne. Filmer une référence n'est pas un travail en plus. C'est la façon la plus directe d'exprimer ce que vous voulez dire. Plus vous capturez de réel, moins le modèle a à deviner. Pour la plupart des films, c'est à la fois meilleur et moins cher que de tout construire à partir de texte. Cela mérite réflexion, même si vous n'aviez jamais prévu de prendre une caméra.

La cohérence entre les rushes et le résultat ne nous a demandé aucun effort. Ce sont les mêmes images qui ont été données au modèle.

LE CŒUR HUMAIN

Le cadeau : le réel demeure

Cette méthode vous apporte encore autre chose, et personne ne l'inscrit dans un budget.

Soyons honnêtes sur le malaise que beaucoup d'entre nous ressentent devant une vidéo où rien n'a été filmé. Ce ne sont pas les erreurs visuelles ; elles disparaissent vite. C'est qu'il n'y a aucun moment réel derrière le film. Personne ne se tenait nulle part, personne ne regardait personne, rien n'a vraiment bougé. Le public le ressent, même sans pouvoir le formuler. Le problème n'est pas que l'IA fabrique de la vidéo. Le problème, c'est que la vidéo cesse d'être reliée à quoi que ce soit qui s'est réellement passé.

Si vous n'avez aucun moyen de tourner, ce lien ne vous est pas accessible, et votre travail doit convaincre autrement. C'est souvent le cas. Mais si vous avez une caméra, vous pouvez garder ce lien, et cela ne vous coûte presque rien. Dans chaque exemple de cette page, le mouvement que vous voyez est celui qui a eu lieu, et le rythme est un rythme réel.

Captured
AI-developed

La part de réel que vous gardez se règle comme un curseur, pas comme un interrupteur. D'un côté, vous pouvez vous en servir comme d'un outil de compositing invisible : garder le plan presque exactement tel qu'il a été tourné et ne changer que ce qu'un studio d'effets visuels aurait changé, un arrière-plan, un accessoire, un ciel. De l'autre, vous pouvez transformer tout ce qui est visible et ne garder que le cœur humain : le mouvement, le jeu et le temps. La place que vous choisissez sur cet éventail, plan par plan, est une décision qui vous appartient.

LE MOUVEMENT DE CAMÉRA

Le chemin de la caméra fait partie du récit

La place de la caméra et la façon dont elle bouge ne sont pas de la décoration. C'est l'un des principaux moyens par lesquels un film parle à son public. Un mouvement de caméra agit sur les spectateurs comme un comédien. Il leur dit où regarder, et dans quel ordre. Il leur dit ce qui compte et ce qui n'est qu'en arrière-plan. Il installe l'ambiance, et il décide à travers quels yeux ils regardent. Il agit, que le public s'en rende compte ou non.

C'est aussi l'essentiel de ce qu'est la vidéo. Retirez le lieu, le décor, les costumes et les lumières, et il reste le métier du cadre : la mise en place, le cadrage et le mouvement de caméra. Décider ce que contient chaque image, quand elle bouge et où elle va ensuite. C'est ce qui fait du cinéma plutôt que du théâtre, et c'est ce qu'un vidéaste a mis des années à apprendre.

Alors, quand vous confiez une partie d'une production à l'IA, c'est cette partie-là qui mérite de rester entre vos mains. Un mouvement de caméra peut être généré, et il sera souvent convaincant. Mais la logique qui vaut pour les images vaut aussi ici. La version la plus précise du mouvement que vous voulez, c'est celle que vous exécutez vous-même. Votre rythme, votre pause, votre vitesse à l'entrée du virage. Un mouvement fait avec une vraie caméra porte le poids du matériel, la main qui l'a lancé, la pièce qu'il a traversée, et rien de tout cela n'a besoin d'être décrit. C'est simplement là.

Soyons transparents sur notre position. edelkrone s'est construit sur une conviction : le cadre fait partie du récit, et le chemin de la caméra façonne ce que ressent le public. Chacun de nos produits en découle. Nous avons donc un intérêt évident dans ce raisonnement. Nous le défendons malgré tout, parce que c'est ce en quoi nous croyons le plus, et le défendre est à la fois notre métier et notre plaisir.

PASSER À LA PRATIQUE

Ce que cela change si vous faites de la vidéo

Si vous ne deviez retenir qu'une chose de cette page, ce serait celle-ci. La question n'est pas de savoir s'il faut utiliser l'IA. C'est de savoir ce que vous lui laissez. Tournez tout ce que vous pouvez et voulez tourner : le jeu, le cadre, le mouvement de caméra, et tout ce que vos moyens permettent. Laissez ensuite le modèle compléter ce qui était hors de portée. Plus vous apportez au tournage, moins il a à deviner, et plus le film final vous appartient.

Il existe une version plus large de cette idée, et c'est celle qui nous enthousiasme le plus. Depuis que le cinéma existe, ce qui arrivait à l'écran n'était qu'une version réduite de ce que quelqu'un avait en tête, et la plupart l'acceptaient comme le prix à payer pour créer quoi que ce soit. Cette limite est en train de tomber, et elle tombe d'abord pour celles et ceux qui n'y avaient jamais eu accès. Nous allons découvrir l'imaginaire de personnes très différentes, et c'est un changement plus grand que n'importe quel outil présenté sur cette page.

La caméra compte toujours. Le jeu compte toujours. Le réalisateur compte toujours. C'est la meilleure nouvelle possible pour celles et ceux qui aiment créer avec une caméra.

Gardez ce que vous aimez. Complétez ce qui vous échappait.

Un mot sur notre propre usage de l'IA. La question est légitime. Nous sommes un fabricant de matériel de mouvement de caméra, pas une entreprise d'IA. Nous n'entraînons pas de modèles et nous ne vendons les images de personne. Quand nous utilisons des outils d'IA, nous nous en tenons à des scènes génériques, du quotidien. Nous n'imitons le style d'aucun artiste et n'utilisons ni personnages protégés, ni marques, ni l'apparence de personnes réelles. Les grandes questions sur la façon dont ces modèles sont entraînés ne sont pas encore tranchées, et ce n'est pas nous qui les trancherons. Nous pensons en revanche que les créateurs doivent être rémunérés équitablement, et nous continuerons à suivre l'évolution du sujet.

DJI and DJI RS are trademarks of DJI.