Recientemente, los investigadores anunciaron dos nuevos resultados de investigación que utilizan inteligencia artificial para generar avatares tridimensionales a partir de texto, permitiendo aplicaciones como ajuste virtual y edición de formas de avatar. Estos resultados provienen de investigadores del Instituto Max Planck de Alemania y otras instituciones y están publicados en arXiv.
El primer estudio propone un método llamado DELTA que puede crear avatares tridimensionales con capas independientes de cuerpo y ropa/cabello. Los investigadores utilizaron diferentes métodos de representación 3D para modelar el cuerpo y la ropa/cabello por separado, creando avatares a partir de vídeos RGB monoculares. Esta descomposición permite aplicaciones como la adaptación virtual y la edición de formas, donde la ropa y el cabello se pueden convertir fácilmente entre diferentes tipos de cuerpo.
El segundo estudio utiliza difusión estable y representación 3D híbrida DELTA para proponer un método de conversión de texto a avatar llamado TECA. Este método puede generar avatares de alta calidad a partir únicamente de descripciones de texto y permitir una potente edición de atributos. El sistema primero utiliza difusión estable para generar imágenes faciales como referencia y luego agrega cabello, ropa y otros elementos en secuencia. Los investigadores dijeron que la calidad de los avatares sintéticos generados por este método mejora significativamente y la transferencia de atributos permite potentes capacidades de edición.
Estos dos estudios proporcionan nuevas ideas para la generación humana digital. El uso de algoritmos de inteligencia artificial para deconstruir los diferentes componentes de los humanos digitales no solo puede crear imágenes virtuales tridimensionales realistas, sino también respaldar aplicaciones como las pruebas virtuales en línea, que tendrán un profundo impacto en el comercio electrónico de moda, las plataformas sociales y el metaverso.