DQO es una poderosa herramienta de monitoreo de la calidad de los datos compatible con DataOps que está diseñada para ayudarlo a monitorear y mantener la calidad de sus datos. Con DQO, obtiene acceso a una amplia gama de controles de calidad de datos personalizables y paneles de control de calidad de datos que facilitan el seguimiento de sus datos e identifican cualquier problema que pueda surgir.
Uno de los beneficios clave de DQO es que viene con alrededor de 100 controles de calidad de datos predefinidos que puede utilizar desde el primer momento. Estas comprobaciones cubren una amplia gama de métricas de calidad de los datos, incluida la integridad, la precisión, la coherencia y la puntualidad. Esto significa que puede comenzar a monitorear la calidad de sus datos de inmediato, sin tener que dedicar mucho tiempo a configurar su configuración de monitoreo.
Además de sus comprobaciones predefinidas, DQO también ofrece una gama de opciones de personalización que le permiten adaptar el seguimiento de la calidad de sus datos a sus necesidades específicas. Puede crear fácilmente sus propias comprobaciones personalizadas utilizando la interfaz intuitiva de DQO y también puede personalizar sus paneles de calidad de datos para mostrar las métricas que sean más importantes para usted.
En general, DQO es una herramienta esencial para cualquier organización que quiera garantizar la calidad de sus datos. Ya sea que esté manejando grandes volúmenes de datos o solo unos pocos conjuntos de datos clave, DQO facilita el monitoreo y el mantenimiento de la calidad de sus datos, para que pueda confiar en la precisión y confiabilidad de sus datos.
Características
- Interfaz gráfica intuitiva y acceso vía CLI
- Compatibilidad con varias fuentes de datos diferentes: BigQuery, Snowflake, PostgreSQL, Redshift, SQL Server y MySQL
- ~450 comprobaciones integradas de tablas y columnas con fácil personalización
- Comprobaciones a nivel de tabla y columna que le permiten escribir sus propias consultas SQL
- Pruebas de partición de fecha diaria y mensual
- Segmentación de datos por hasta 9 flujos de datos diferentes.
- Programación incorporada
- Cálculo de KPI de calidad de datos que se pueden mostrar en múltiples paneles de calidad de datos integrados
- Análisis de incidentes
Plataformas
- ventanas
- Mac OS
- linux
Requisitos
Para utilizar DQO necesitas:
- Python versión 3.8 o superior (para más detalles consulte documentación de Python y sitios de descarga).
- Posibilidad de instalar paquetes de Python con pip.
- Instalé el software JDK (versión 17) y configuré la variable de entorno JAVA_HOME.
Instalar
Para instalar DQO a través del administrador de pip simplemente ejecute
ventanas
py -m pip install dqops
MacOS/Linux
pip3 install dqops
Si prefieres trabajar con el código fuente, simplemente clona nuestro repositorio de GitHub. https://github.com/dqops/dqo y correr
Ejecute la aplicación dqo para finalizar la instalación.
ventanas
dqo
MacOS/Linux
./dqo
Cree la carpeta de inicio de usuario de DQO.
Después de la instalación, se le preguntará si desea inicializar la carpeta de inicio de usuario de DQO en la ubicación predeterminada. Escriba Y para crear la carpeta. La carpeta de inicio de usuario almacena localmente datos como lecturas de sensores y resultados de verificación, así como configuraciones de fuentes de datos. Puede obtener más información sobre el almacenamiento de datos aquí..
Inicie sesión en DQO Cloud.
Para utilizar las funciones de DQO, como almacenar definiciones y resultados de calidad de datos en la nube o paneles de control de calidad de datos, debe crear una cuenta en la nube de DQO.
Después de crear una carpeta de inicio de usuario, se le preguntará si desea iniciar sesión en la nube DQO. Después de escribir Y, serás redirigido a https://cloud.dqo.ai/registrationdonde puede crear una nueva cuenta, utilizar el inicio de sesión único (SSO) de Google o iniciar sesión si ya tiene una cuenta.
Durante el primer registro, se generará un código de identificación único (clave API) que la aplicación DQO recuperará automáticamente. La clave API ahora está almacenada en el archivo de configuración.
- Abra la consola de interfaz de usuario de DQO en su navegador presionando CTRL y haciendo clic en el enlace que se muestra en la línea de comando (por ejemplo http://localhost:8888) o copiando el enlace.
Licencia
- Licencia Apache-2.0
Recursos
Etiquetas
análisis de datos Minería de datos ciencia de datos base de datos ingeniería de datos Código abierto Autohospedado Desarrollo web basado en web Big Data Java Multiplataforma Arch Linux Linux Linux Mint Windows macos
