ANIMAZIONE FACCIALE.

E' possibile animare volti utilizzando 3 strumenti principali:

- Character Face settings.
- Actor Face settings.
- Voice Device.

L'animazione facciale funziona utilizzando una serie di espressioni predefinite, che devono essere costruite sul modello.

Consideriamo una faccia.

Oltre al modello generale, la faccia è costituita da alcuni Submmodels, come i denti, la lingua e gli occhi. Si tratta cioè di modelli aggiuntivi che accompagnano la faccia.

Occorre definire delle Shape (cioè delle espressioni equivalenti ai Morph Target) sia per la faccia in generale, sia per i Submodels quando questi si muovo per assumere l'espressione target.
Anche se non è necessario intervenire su un Submodel per definire una espressione, per questioni di ordine è bene comunque creare una shape per ogni submodel corrispondente all'espressione generale della faccia.

SHAPE: posizione di una o più caratteristiche facciali della testa.
Ogni espressione facciale è creata tramite una combinazione di SHAPE.

Alcune Shape modificano la posizione di bocca, occhi e naso.

GENERIC SHAPES.

Per la faccia possono essere impostate delle espressioni facciali di base chiamate GENERIC SHAPE.
Corrispondono ai Generic Channel usate nell' Actor Face di Motion Builder. Servono ad animare la testa del modello collegata a una Motion Capture Source.

Le Generic Shape sono queste:

FONEMI.

Fonemi: unità di base del suono che combinati insieme formano il parlato.
Una Phoneme Shape è la posizione di labbra, denti, lingua e mascella necessarie per definire un fonema.

I fonemi sono questi:

Esempio di fonemi:

In generale, imposta le Generic Shape per muovere la faccia tramite sistemi Motion Capture, ricorrendo all' Actor Face di Motion Builder.
Imposta le Phoneme Shape per muovere la faccia tramite il Voice Device di Motion Builder.

Le Shapes sul modello devono essere create al di fuori di Motion Builder.

FACIAL MOTION CAPTURE.

Per creare una animazione facciale la procedura è la seguente:

- Carica il modello di una testa.
- Aggiungi un Character Face alla scena.
- Definisci le espressioni nel Character Face Settings.
- Anima le espressioni.

Per animare le espressioni facciali è possibile utilizzare Motion Capture Data, connettendo il Motion Capture Data all' Actor Face utilizzando un Marker set.
1) Occorre importare dei file di tipo Motion Data (live o registrati) derivati da marker ottici o sensori magnetici.
2) I marker ottici o i sensori magnetici sono utilizzati per creare un Marker set da connettere al Motion Capture Data sull' Actor Face.
3) A questo punto è possibile connettere l' Actor Face al Character Face e definire le espressioni generiche nel Character Face settings.

Actor Face: strumento che permette di trasferire i dati Motion Capture su un Character Face.
Un Actor Face è mappato sui Motion Data utilizzando un set di marker chiamati Marker set. In esso sono contenuti marker o sensori per locazioni specifiche sull' Actor Face. In questo modo è possibile trasferire i dati dei marker o dei sensori sui Generic Channels.
I Generic Channels possono essere animati direttamente prima di trasferire l'animazione sul modello della faccia.

AUDIO-DRIVEN FACIAL ANIMATION.

E' possibilie usare il Voice Device e un Character Face Asset per guidare le espressioni sulla faccia del Character.

Quando si utilizza il Voice Device i fonemi dell'audio input guidano le shapes della testa. Il personaggio "parla" utilizzando il file audio.
Prima di utilizzare il Voice Device è necessario caricare il modello di una faccia con le shapes già definite che rappresentano i fonemi necessari per riprodurre le espressioni guidate dall'udio.

1) Carica il modello della faccia.
2) Aggiungi un Character Face asset.
3) Definisci i fonemi come espressioni facciali
4) Linka il Character Face al Voice Device utilizzando un vincolo Relations.
Il vincolo Relation può essere realizzato in 2 modi:
- Trascinare un file .WAV sulla testa.
- Utilizzare il comando Attach File.

Una volta creato il vincolo Relations tra il Voice Device e il Character Face, occorre aggiungere i suoni dei fonemi nel Voice Device Settings.
Quando si aggiungono i fonemi nel Voice Device, le spressioni facciali appaiono nel pannello Espressioni.
Il modello della testa ha bisogno di fonemi che corrispondono ai parametri di suono del Voice Device.

CHARACTER FACE ASSET E ACTOR FACE ASSET.

Creiamo dei Morph Target per il nostro personaggio in 3DStudio. Poi esportiamo il modello con il Morpher in formato .FBX.

Inserisci nella scena un modello contenente un modificatore Morpher con le varie espressioni facciali.

Trascina nella scena in un punto vuoto un Character Face asset:

Appariranno questi parametri:

Blocca questa interfaccia con il lucchetto.

Seleziona la faccia del modello e tenendo premuto ALT trascina sulla voce Models With Shapes.
Appariranno in Morph Target nella colonna Shapes.

E' possibile importare altri oggetti con il Morpher nella lista. In questo modo è possibile definire una espressione muovendo più oggetti differenti contemporaneamente.

Vai alla tabella GEneric e imposta una posa generica.
Tenendo premuto SHIFT+CTRL puoi ruotare la visuale della testa di anteprima sulla destra.

E' possibile alternativamente trascinare il Character Face direttamente sopra il modello in modo da fare apparire subito i Morph Target nella colonna Shapes.

Oltre alle espressioni GENERIC è possibile aggiungere anche espressioni CUSTOM.

Clicca su ADD e poi a destra utilizza i canali delle Shapes per definire l'espressione. Il modello si modifica.

Tornando sulle Generic Expression, occorre assegnare a ognuna di esse l'espressione modificando i valori % delle Shapes.
Ad esempio selezioniamo questa Generic Shape, corrispondente alla bocca aperta:

Poi assegnamo i valori di Shapes che definiscono correttamente questa espressione, come indicato nell'anteprima a destra.

A questo punto l'espressione OPEN per la bocca ha memorizzato i valori % delle Shapes indicati.

E così via per la definizione delle altre espressioni Generic oppure Custom.
Ad esempio definiamo le espressioni per la bocca aperta e gli occhi chiusi e una espressione personalizzata chiamata "EspressioneA".

A questo punto, dopo avere definito le espressioni, è possibile animarle andando nel Character Face Animation:

Attiva in alto la casella ACTIVE per attivare il Character Face appena definito.
Come si nota, è possibile animare solo le espressioni Custom appena create.

Per animare le espressioni Generic, occorre aggiungere la modello un Actor Face.

Trascina un Actor Face sopra il modello.

Vai su Set Source.

Appariranno i canali delle Generic Expression:

Disattiva USE MOCAP, dato che non stiamo utilizzando files Motion Capture per muovere la faccia.

Gli stessi canali delle Generic Expression stavolta vengono visualizzati anche nella tabella Character Face Animation.

A questo punto scorri i cursori dei canali e imposta le chiavi di animazione premendo su K per animare le espressioni facciali.

ANIMAZIONE KEYFRAME

Animiamo il personaggio tramite Keyframe introducendo un audio.
Seleziona un file audio e trascinalo nella scena.

Apparirà questo:

Premendo Play sentirai l'audio riprodotto.

Trascina il file audio nella Timeline per visualizzare il waveform.

Trascina gli estremi della barra superiore della Timeline per visualizzare una sezione della Timeline.

Attiva ENABLE SHUTTLE.

A questo punto premi J e trascina il cursore temporale: l'audio verrà riprodotto mentre il cursore scorre.

Apri l'Actor Face.

Per piazzare una chiave di animazione su un canale, posiziona il valore del cursore e poi premi KEY sul pannello Key Control (oppure la K a fianco del canale)

Il comando KEY è comodo uqando si vuole piazzare una chiave per più canali contemporaneamente.

A questo punto piazziamo delle chiavi di animazione per le varie pose facciali in modo da seguire l'audio caricato nella Timeline.

ANIMARE CON IL VOICE DEVICE.

Carica un modello che possieda già dei Morph Target definiti per i fonemi.
Seleziona un file audio e trascinalo sulla faccia del modello. Dal menù che si apre scegli Attach Facial.

Apparirà questo: un Voice Device e un Character Face.

All'interno del Character Face è possibile individuare la lista dei Morph Target per i fonemi:

Seleziona l'elemento Voice.

Clicca su ADD.
Apparirà una lista di fonemi:

In alto è possibile selezionare differenti categorie di fonemi:

Quando si selezioa un fonema in alto compare un esempio:

Seleziona i fonemi che ti interessa utilizzare.

Premi OK. Apparirà questo:

Premendo Play i llivello dei fonemi si adegua all'audio che viene riprodotto sotto.

Torniamo nel Character Face.
Vedremo che i fonemi sono stati automaticamente inseriti all'interno delle Custom Expression.

Assegnamo a ogni fonema la giusta forma con le percentuali delle shapes.
Esempio:

Per spostare anche i denti, occorre avere creato dei Morph Target anche per questi. Se sono presenti, selezionali e trascinali tenendo premuto ALT nello spazio Models With Shapes.

In questo modo sarà possibile assegnare delle percentuali di morphing anche ai denti.

Attiva il Character Face con la casella ACTIVE e vai alla tabella Character Face Animation.
I canali del Character Face saranno automaticamente animati man mano che il cursore scorre lungo la Timeline. Premendo Play l'audio viene riprodotto e il personaggio è automaticamente animato.

Andiamo al livello RELATIONS creato all'interno del Character Face.

Vediamo come sono impostate queste Relations:
Avviene prima una motliplicazione del fonema sonoro.

Poi è applicato un Damping per renderlo meno scattoso durante l'animazione:

Il valore è trasferito alle Shapes.

E infine questi valori sono collegati alla deformazione del viso.

Introduciamo un nuovo modulo.
Nella colonna Relations apri il menù Number. Seleziona Integer e trascinalo nella finestra.

Clicca con il destro sulla freccetta a sinistra e vai qui:

Poi imposta un valore.

Seleziona uno a uno tutti i secondi input di tipo Damping.

Poi clicca sull'output del nodo Integer, una volta per ogni input da collegare.

In questo modo il movimento della faccia verrà smussato maggiormente tra una posa e la successiva.

Andiamo alla traccia Voice.

Qui a sinistra regoliamo la barra centrale lungo la colonna colorata che appare a sinistra. Si tratta della barra relativa al Noise Trehsold.
Ovvero tutto l'audio che finisce sopra la barra viene considerato, mentre tutto l'audio che finisce sotto no. In questo modo si elmina il rumore di fondo dei files audio.
Esempio: con la barra all'estremo superiore nessun livello audio viene riprodotto:

Con la barra all'estremo in feriore invece tutto l'audio viene riprodotto.

E' possibile modificare la soglia del Noise in tempo reale, mentre il Play è attivo.

Le barrette orizzontali dei fonemi servono a regolare la transizione dell'animazione tra un fonema e il successivo.

Spostiamole tutte a sinistra.

In questo caso l'animazione è scattosa perchè la transizione tra i fonemi è ridotta al minimo.

Se invece le spostiamo a destra abbiamo la trasizione massima.

Selezioniamo il file audio.

Fra i suoi parametri impostiamo su In Point un valore negativo. Significa che l'animazione relativa ai vari fonemi partirà con un ritardo rispetto all'audio, aggiungendo così un effetto di inerzia che rende più realistica l'animazione.

Il numeretto sotto serve ad amplificare la deformazione provocata dal fonema.

Con i comandi Import/Export è possibile importare e esportare le impostazioni per i fonemi e utilizzarli su un altro personaggio.

ESPORTARE L'ANIMAZIONE.

Nel Voice Device attiviamo l'opzione RECORDING.

Attiva il pulsante di Record e nella finestra che si apre selezione Overwrite.

Poi premi Play e riproduci l'animazione.
Disattiva Live e Recording: ormai l'animazioen è registrataall'interno del Character Face. Premendo Play infatti viene riprodotta.

Vai all'interno del Character Face e clicca su Plot Animation.

Nella finestra che si apre lascia le impostazioni di default e clicca su Plot.
L'animazione viene tramutata in chiavi di animazione per la faccia.

A questo punto è possibile cancellare il Voice Device e il Relations dal Character Face.

...cancelliamo anche il Character Face. L'animazione sarà ancora là.

Salviamo il file e importiamolo dentro 3DStudio.
Nella finestra di importazione accertiamoci che sia attiva l'opzione Shapes.

Il modello avrà applicato un Morpher con impostate le chiavi di animazione create in Motion Builder.