SMPLify-X es un proyecto de código abierto que crea una captura corporal expresiva en 3D con manos, rostro y cuerpo detallados a partir de una sola imagen. Este proyecto es el resultado de una investigación de 7 investigadores e informáticos del Centro Max Planck ETH para Sistemas de Aprendizaje.
Los investigadores entrenan la IA con un rico conjunto de datos para proporcionar una reconstrucción 3D detallada que reconozca la postura del cuerpo humano, los gestos de las manos y la expresión facial. A diferencia de otros métodos que utilizan varias cámaras para reconstruir el modelo 3D, SMPLify-X utiliza solo una imagen como entrada.
El equipo utiliza un gran conjunto de datos de escaneos 3D para producir un modelo realista y expresivo. Antes crearon una postura corporal que se basa en un gran conjunto de datos de miles de modelos de posturas corporales.
El proyecto utiliza PyTorch (un marco de aprendizaje automático de código abierto) y PyRender (una biblioteca Python liviana para renderizado y visualización 3D que también es de código abierto con licencia MIT).
El proyecto también utiliza VPoser, que es una pose variante del cuerpo humano realizada anteriormente por los mismos investigadores. También se lanza de forma gratuita para uso no comercial.
Características
- Detector de postura corporal 2D con soporte de puntos clave del cuerpo, puntos clave de las manos y puntos de referencia faciales.
- Uso de un modelo detallado basado en colisiones para mallas.
- Clasificación de género.
- Conjunto de datos EHF (Cara de mano expresiva) para evaluación.
- La implementación de PyTorch logra una aceleración de más de 8 veces respecto a Chumpy.
Licencia
El código fuente se publica de forma gratuita con fines de investigación científica no comercial. Contacto [email protected] para licencias comerciales (y todas las preguntas relacionadas con aplicaciones comerciales).
Descargo de responsabilidad del proyecto
Las imágenes originales utilizadas para las figuras 1 y 2 del artículo se pueden encontrar en este enlace. Las imágenes del artículo se utilizan bajo licencia de gettyimages.com. Hemos adquirido el derecho a utilizarlos en la publicación, pero no se permite la redistribución. Siga las instrucciones en el enlace proporcionado para adquirir el derecho de uso. Nuestros resultados se obtienen con la resolución de 483 × 724 píxeles de las imágenes originales.
código de cita
@inproceedings{SMPL-X:2019,title = {Captura corporal expresiva: manos, rostro y cuerpo en 3D a partir de una sola imagen},author = {Pavlakos, Georgios y Choutas, Vasileios y Ghorbani, Nima y Bolkart, Timo y Osman, Ahmed AA y Tzionas, Dimitrios y Black, Michael J.}, título del libro = {Proceedings IEEE Conf. sobre visión por computadora y reconocimiento de patrones (CVPR)}, año = {2019}}
Referencias
Etiquetas
Aprendizaje profundo Aprendizaje automático AI 3D Inteligencia artificial
