Jeu subtil en vidéo IA : les mots d'expression du visage qui tiennent

Écrivez « une femme triste » dans un modèle vidéo et vous obtenez un visage triste comme l'est une photo de banque d'images : toute la bouche, tout le sourcil, d'un seul coup, et figés jusqu'à la fin du clip. Écrivez « elle baisse les yeux, puis les relève » et vous obtenez quelque chose qu'un monteur peut utiliser. Le jeu à l'écran est surtout fait de petites choses, et un clip est court, donc les petites choses sont les seules qui y tiennent.

Cet article parle du visage et de rien d'autre : quels mots employer, combien, et quand cesser de lutter contre un modèle pour partir d'une image. Le travail de caméra est un autre métier, traité dans neuf mouvements de caméra pour la vidéo IA. Tous les personnages ci-dessous sont inventés ; rien ici ne demande la photo d'une personne réelle, et vous ne devriez pas en utiliser une sans en avoir le droit.

Pourquoi « ému » ne vous donne rien

Une émotion est l'étiquette de quelque chose qui se passe dans le temps. Un modèle vidéo produit des images, il lui faut donc l'événement, pas l'étiquette. « Le cœur brisé » ne dit pas si les yeux se baissent, si le menton tremble ou si les épaules s'affaissent, alors le modèle fait la moyenne de tous les visages au cœur brisé qu'il a vus, et cette moyenne est un masque.

La solution est de remplacer l'étiquette par un comportement que l'on pourrait filmer. Demandez-vous ce que verrait réellement une caméra, puis écrivez cela. Voici le court vocabulaire auquel je reviens sans cesse.

Huit petites actions qui se lisent à l'écran

• Un regard. « Ses yeux filent vers la porte, puis reviennent à la lettre. » Un regard a besoin d'une cible de départ et d'une cible d'arrivée, comme un mouvement de caméra. Sans cible, les yeux errent.
• Un souffle retenu. « Elle cesse de respirer un instant, la poitrine immobile, puis expire lentement. » Cela se lit comme de la tension et ne coûte presque rien au visage, parce que rien dessus n'a à changer.
• Un demi-sourire. « Un côté de la bouche se lève légèrement puis retombe. » Dites « légèrement » et dites-le une seule fois. Les sourires sans nuance montrent toutes les dents.
• Un clignement lent. « Un seul clignement lent. » Il suggère la fatigue, le calme ou une décision, et c'est le mouvement des yeux que les modèles gèrent le plus fiablement.
• Une déglutition. « Il déglutit, la mâchoire serrée. » La nervosité en un mot, surtout dans la gorge, donc le visage reste stable.
• Un sourcil qui se lève. « Le sourcil gauche se lève un peu. » Un sourcil, une direction.
• Détourner le regard. « Elle tourne les yeux vers la fenêtre et ne regarde plus en arrière. » Un visage qui cesse de jouer pour l'objectif est plus facile à rendre qu'un visage qui soutient le regard.
• L'immobilité. « Visage presque immobile, seuls les yeux bougent. » La direction la plus sous-estimée qui soit.

Dépensez une seule expression par clip

Un clip court a la place pour un seul temps : quelque chose est là, quelque chose change, quelque chose se calme. Demandez trois émotions d'affilée et le modèle les comprime en un scintillement, le visage se transformant de l'une à l'autre. Choisissez le changement qui compte et laissez le reste du clip au calme. Les clips du studio durent au plus 30 secondes, et même un clip long porte mieux un seul temps qu'une chaîne de temps.

Ce qui déforme un visage

Les visages se déforment quand on donne au modèle plus à changer qu'il ne peut en garder de cohérent. Les causes habituelles, dans l'ordre où je les rencontre :

1. 01Une pile de mots d'émotion. « En colère, triste, plein d'espoir, effrayé » n'a pas de visage unique, alors il essaie les quatre. Réduisez à un seul comportement.
2. 02Un tour de tête rapide. Passer du profil à la face oblige le modèle à inventer l'autre côté de la tête. Dites « tourne lentement » et limitez-vous à un quart de tour, ou supprimez le tour et utilisez deux clips.
3. 03Une grosse action de la bouche. Rire, crier et parler bougent dents, lèvres et joues ensemble. Si vous en avez besoin, restez bref et gardez un plan assez large pour que les petites erreurs ne se voient pas.
4. 04Des mains qui croisent le visage. Une main qui couvre un œil puis le quitte l'emporte souvent avec elle.
5. 05Plusieurs visages à la fois. Chaque visage de plus reçoit moins d'attention du modèle. Mettez le jeu sur une seule personne et laissez les autres en arrière-plan flou.
6. 06Une caméra qui dérive. Un mouvement plus une expression, ce sont deux tâches. Verrouillez la caméra quand le visage est le sujet.

Cadrez le visage pour que le temps soit lisible

Un regard ou un clignement, ce sont quelques pixels de mouvement. Dans un plan large, ils disparaissent. Demandez un plan rapproché ou un gros plan, dites que les yeux sont le sujet, et laissez de l'espace vide dans la direction où regarde le personnage. Gardez la lumière stable pendant que le visage joue ; un changement d'éclairage par-dessus une expression se lit comme du scintillement, comme dans changer la lumière en vidéo IA sans scintillement.

Quand partir d'une image fixe

Si le visage du personnage doit rester le même dans plusieurs clips, ou si vous avez déjà exactement le visage que vous aimez, ne demandez pas à un prompt texte de l'inventer de nouveau. Créez d'abord l'image avec un modèle texte vers image ou d'édition, comme un modèle d'édition d'image, jusqu'à ce que le visage soit juste, puis animez-la avec image vers vidéo. L'image fixe décide de qui il s'agit. Votre prompt n'a plus qu'à dire ce que fait le visage, en une seule phrase, sans décrire le visage lui-même.

Choisissez une image où le visage est détendu et un peu décentré, les yeux ouverts, la bouche fermée ou à peine ouverte. Une image saisie en plein rire ne laisse au clip nulle part où aller. Testez la formulation d'abord sur un brouillon bon marché ; le workflow brouillon, verrouillage, finition explique comment, et P-Video-2 image vers vidéo a un interrupteur de brouillon pour ça.

Où cela se casse

Les modèles ne jouent pas. Ils produisent des images qui ressemblent à du jeu, donc un demi-sourire peut revenir en sourire complet, un regard peut atterrir sur le mauvais objet et un clignement peut rester bloqué à mi-course. Prévoyez de relancer quelques fois, de changer un seul mot par essai, et de garder les prises qui se lisent. Les gros plans d'yeux et de bouches sont aussi là où les modèles pardonnent le moins, et aucune formulation n'élimine totalement le risque. Si un visage ne marche pas après quelques essais, élargissez le plan ou faites-en deux clips plus simples.