Naughty Dog explica o processo de criação da animação facial de The Last of Us Part 2

O texto abaixo foi publicado no PlayStation.Blog brasileiro.

É o meu primeiro dia em Seattle. Ellie e Dina estão explorando uma sala secundária de uma sinagoga em ruínas. Como acontece frequentemente desde que eu comecei o jogo, abro o Photo Mode. O mais novo título da Naughty Dog logo se provou um imenso tesouro para olhos fotográficos.

Eu giro a câmera para compor minha foto, tentando capturar expressões, linguagem corporal, encontrar a melhor posição para a iluminação. Então vejo o olhar de Ellie, fixo em uma pintura na sala. Não posso interagir com a pintura, não há diálogo que indica sua presença. Mas a expressão facial de Ellie indica claramente que ela está olhando a obra de arte. Será que a Naughty Dog realmente criou reações sutis a tudo no jogo?

Alerta de Spoilers: Este post contém detalhes da história de The Last of Us Part II

A resposta, incrivelmente, é sim. A ilusão é criada cuidadosamente de múltiplos sistemas de jogo trabalhando simultaneamente. Tudo criado para mostrar a renderização mais realista possível dos modelos dos personagens.

Estes modelos são separados da tecnologia de captura de movimentos usada para renderizar atores do mundo real em games. Quando estes acabam e a jogabilidade começa, é aí que o trabalho cuidadoso, coordenado entre várias equipes do estúdio, começa.

Me levando por um tour de tudo isso está Keith Paciello, o animados do estúdio que arquitetou a tecnologia fácil do game após sua proposta inicial foi aprovada, e que colaborou com inúmeros outros processo de animação.

“Naquela instância,” ele explica durante a nossa call, depois que descrevo a cena para ele, “você como jogador estava mirando na pintura para Ellie olhar, o que está acionando um comando ‘olhe para o alvo’ colocado por um designer. Além disso, eu animei pequenos movimentos dos olhos (saccades) dentro da expressão facial em repouso dos personagens, para indicar um processo de pensamento. Então a animação dos olhos junto com a mira do controle, juntos criam o que parece foco e pensamento.”

É um exemplo da colaboração entre as equipes diferentes durante o desenvolvimento, e ajuda a destacar o trabalho do sistema Paciello’s Emotional Systematic Facial Animation. Em termos simples, ele escolhe uma expressão facial de entre mais ou menos 20 estados emocionais diferentes dos 25 personagens chave que estão na tela. Isso cobre os protagonistas, parceiros de co-op, inimigos e até os infectados de certa maneira.

A animação facial, junto com os movimentos do olhos, linguagem corporal, respiração… tudo é interligado pelo script, diálogo, encontros e ambiente, como Ellie sendo distraída pela pintura. A ilusão de emoção é construída com precisão matemática. “Traz uma profundidade aos personagens que nunca vimos antes,” diz Paciello.

Após 17 anos trabalhando como animador, nove dos quais passou na Naughty Dog, mais recentemente trabalhando como Lead Cinematic Animator em Uncharted: Lost Legacy, Keith já estava investido em encontrar a melhor maneira de capturar visualmente as emoções dos personagens.

Mas a epifania de criar algo tão estarrecedor para The Last of Us Part II veio, de todas as possibilidades, de uma folha de grama.

“Todos estavam trabalhando em outro patamar para TLOUII,” relembra Paciello durante a nossa call. “Estávamos pensando e falando sobre como fazer uma folha de grama ainda melhor [no jogo]. No meio disso, quando olhamos para cima, não havia expressão no rosto dos personagens. Eu pensei, “ah”. Foi aí que pensei como poderíamos, de maneira simples, no jogo todo, demonstrar as emoções dos personagens nesses momentos, para que a qualquer ponto, você possa ver o que cada personagem estava sentindo.”

A maioria do tempo de desenvolvimento dele seria gasto resolvendo este problema. Usando o modelo facial de Ellie como base, ele começou a esculpir expressões baseadas em sete emoções reconhecidas universalmente: alegria, tristeza, medo, raiva, surpresa, nojo e desprezo. Junto com a equipe de diálogo, eles marcaram as emoções a serem ativadas em momentos específicos, criando uma boa base e permitindo que os personagens transitem de maneira natural de uma para outra. “Podemos marcar a emoção dos personagens do comecinho do jogo até o último momento e tudo se encaixaria perfeitamente com as cinemáticas.”

Paciello então recebeu um pedido para o suporte de reações realistas para combatentes corpo-a-corpo. Ele também ajudou na animação do sistema de respiração (“seis animações, de respiração casual até a exaustão”) que chegaria até a mostrar os personagens mudando de respiração dependendo da proximidade dos inimigos. “Foi uma das minhas colaborações favoritas no projeto,” lembra Neil (vale a pena ler as duas threads do Twitter do designer de som Beau Anthony Jimenez sobre o assunto, encontradas aqui e aqui).

Fora dos momentos específicos do script, os personagens também teriam vários estados ‘neutros’ com camadas emocionais. Ele também trouxe sua experiência em esculpir poses à mão para cada personagem para bater com seu estado emocional. Mais ou menos 40 poses para cada um dos 15-20 estados emocionais. Ao final da produção, ele chegou a um número impressionante de 15,000 poses individuais esculpidas à mão.

Todo o trabalho estava compensando. Quando o sistema foi ativado por completo, o feedback positivo foi universal: funcionários, playtesters, e até Keith em pessoa encontraram uma conexão emocional profunda com o elenco do jogo durante o jogo.

Paciello aponta um momento crucial onde Ellie está no túmulo de Joel como exemplo da transição fluida entre a cinemática e a jogabilidade. “Gire a câmera [depois que a cinemática terminar] e você verá que ela ainda está devastada,” ele explica. “Conversei com a equipe de personagens para ver se poderíamos usar as texturas para garantir que ela parecia estar apenas chorando, para que tudo junto ficasse bom.”

E mesmo com o sistema no lugar e funcionando como prometido, a equipe continuou a sintonizar todas as cenas, polindo o estado emocional de cada personagem. O cansaço óbvio de Ellie durante a sequência em Santa Barbara recebeu foco adicional. “Nao sabíamos se continuaria com a dor, já que ela havia acabado de ser perfurada. No fim, Neil ficou feliz com o visual exausto.”

Certas cenas pediam floreios adicionais para reforçar aspectos dos personagens. A reação de Ellie ao ver a estátua do Tiranossauro Rex durante um flashback “foi criada especialmente para aquele momento”, e para a luta climática na praia, Paciello voltou e refez todas as emoções de Abby para que a cena tivesse a gravidade merecida.

“Aprendemos muito com isso,” disse Paciello. “Quando comecei, Abby, estando tão emaciada, ainda parecia selvagem. Falei com Christian e disse ‘Vou duplicar todos os seus estados emocionais para o combate corpo-a-corpo e torná-los todos exaustos’. Assim você está feroz e cansada, então embora você tenha força e possa lutar, após dar um soco, volta para seu estado emocional cansado.”

Perguntei para Paciello se el tinha algum momento pessoal favorito do jogo que mostrasse o sistema. Previsivelmente, ele logo fala de vários (“a conversa de Dina e Ellie à cavalo, ou a de Lev e Abby. Yara, no aquário falando sobre Lev”), mas no fim ele sempre retorna à cena climática na praia. Ele a vê como a culminação de todo o trabalho das equipes, e prova que o sistema atingiu seu objetivo. Conforme Ellie e Abby chegam ao fim de seus respectivos arcos em um embate explosivo, as cicatrizes emocionais estão claramente estampadas em seus rostos. “Realmente me fez sentir como, ‘ok, nós conseguimos’. É o que eu queria, e o que sonhava, quando pensei na idéia do sistema.”