Nvidia creó un clon virtual de su CEO para ofrecer una parte de una conferencia

La última gran charla de Nvidia fue dada en parte por un clon virtual del CEO de la compañía, Jensen Huang. Trucos publicitarios para herramientas de Nvidia que requieren una gran inversión técnica.

Nvidia ha dado un nuevo significado al texto de palabras clave virtuales. Durante su presentación de Omnivers en abril de 2021, la compañía, que se especializa en inteligencia artificial y diseño de tarjetas gráficas, ‘engañó a la audiencia al crear una parte de la conferencia con un clon digital del CEO de la compañía, Jensen Huang.

Durante la conferencia de casi dos horas, La encarnación virtual de Jensen Huang proporcionó un total de 14 segundos.Casi sin que nadie se dé cuenta. Estos pocos segundos pueden parecer pequeños en comparación con la duración total de la conferencia, pero requirieron un trabajo titánico.

Un clon creado por IA

Primero, los equipos de Nvidia fotografiaron el modelo 3D de Jensen Huang con numerosas cámaras desde todos los ángulos. A continuación, un actor que llevaba un mono de captura de movimiento releyó los textos antiguos del CEO y reflexionó sobre sus movimientos. Esto permitió que los modelos de Nvidia 21 crearan modelos 3D, todos los cuales fueron analizados para crear un esqueleto virtual convincente. También se enseña un método para reflejar las expresiones faciales del CEO para agregar una capa de realidad.

El software, Audio 2Face, movió la cara del clon a 3D para que coincida con el texto leído por el Jensen Huang original. Otro programa llamado Audio 2 Gestures permitió a Nvidia animar la maniobrabilidad virtual de leer las manos y el cuerpo. Al combinar estas dos tecnologías, el clon 3D pudo expresarse físicamente como un ser humano real.

Se conocen los resultados de este experimento Aproximadamente a las 1:02:42 en el video de presentación de Nvidia. Si el maniquí virtual es un poco más difícil, la ilusión aún funciona bien.

¿Hacia los deepfaqs más convincentes?

Uno de los ingenieros de virtualización de Jensen explica En un documental dedicado a la creación de esta conferencia A diferencia de crear un personaje virtual en una imagen, que puede acumular muchos datos, aquí al principio tenemos muy poco contenido “Así que el desafío es hacer una copia definitiva del escaneo 3D de Huang. Animación oral, sincronización de movimientos con texto”. Todo gracias a la IA Dice Nvidia.

Entonces, la explotación aquí no es para crear un hombre virtual sólido, los videojuegos han estado haciendo esto de manera muy eficiente durante algunos años, sino más bien para crear un dual virtual a partir de un pequeño conjunto de datos. ” Nuestro desafío fue crear herramientas para crear humanos virtuales con mucha facilidad. », Explica un ingeniero a cargo del proyecto. La creación de un Jensen Huang virtual no es un simple truco publicitario: los algoritmos de Nvidia se pueden utilizar para crear personajes en 3D, ya sean videojuegos o películas.

Uno puede imaginar que los personajes de películas, al analizar su discurso y patrones de movimiento, pueden crear dúos confiables. Más convincente de lo que hemos visto en las últimas películas o series de Star Wars.

Continuación en el video