“Drag Your GAN” es una tecnología, también conocida como DragGAN, que permite a los usuarios manipular de forma precisa e interactiva la forma, el diseño y la pose de las entidades en las imágenes generadas.

DragGAN está escrito en Python y viene con soporte CUDA.

El código fuente también viene con una GUI sencilla y fácil de usar.

Esta herramienta es especialmente beneficiosa para profesionales como los planificadores urbanos, ya que les permite remodelar y manipular interactivamente el diseño, la estructura y la estética de los paisajes urbanos en imágenes generadas con precisión y facilidad.

DragGAN ofrece flexibilidad en los diseños de paisajes urbanos, permitiendo transformaciones entre estilos arquitectónicos y remodelación de vecindarios. La técnica interactiva permite a los usuarios arrastrar puntos específicos de la imagen a las posiciones deseadas, dándoles un control significativo sobre el proceso de diseño urbano.

Implementación del autor: realizan supervisión de movimiento utilizando pérdida de ruta desplazada en mapas de características del generador, lo que hace que los puntos de control (puntos rojos) se muevan hacia los puntos de destino (puntos azules) y el paso de seguimiento de puntos actualiza los puntos de control para rastrear el objeto en el imagen, este proceso continúa hasta que los puntos de control alcanzan sus puntos de destino correspondientes.

Las limitaciones destacadas en el artículo incluyen posibles artefactos al desviarse de la distribución de entrenamiento y el seguimiento de la deriva en regiones sin textura. Socialmente, requiere el cumplimiento de los derechos de la personalidad y las normas de privacidad para evitar el uso indebido en la creación de imágenes manipuladas.

Licencia

El código relacionado con el algoritmo DragGAN tiene licencia bajo CC-BY-NC. Sin embargo, la mayor parte de este proyecto está disponible bajo términos de licencia separados: todos los códigos utilizados o modificados desde EstiloGAN3 está bajo el Licencia de código fuente de Nvidia.

Cualquier forma de uso y derivado de este código debe preservar la funcionalidad de marca de agua que muestra “Generado por IA”.

Recursos y descargas

GitHub – XingangPan/DragGAN: Código oficial para DragGAN (SIGGRAPH 2023)

Código oficial para DragGAN (SIGGRAPH 2023). Contribuya al desarrollo de XingangPan/DragGAN creando una cuenta en GitHub.

Arrastre su GAN: manipulación interactiva basada en puntos en el colector de imágenes generativas

Sintetizar contenido visual que satisfaga las necesidades de los usuarios a menudo requiere un control flexible y preciso de la pose, forma, expresión y diseño de los objetos generados. Los enfoques existentes obtienen controlabilidad de las redes generativas adversarias (GAN) a través de datos de entrenamiento anotados manualmente o un modelo 3D previo, que a menudo carecen de flexibilidad, precisión y generalidad. En este trabajo, estudiamos una forma poderosa pero mucho menos explorada de controlar las GAN, es decir,