El ManifiestoData Journey
Tras años trabajando con muchos equipos de analítica de datos, con tecnologías muy distintas, hemos llegado a creer que reducir los errores y defectos en el proceso de producción de conocimiento es la clave del éxito. Nuestros clientes nos han señalado y culpado por problemas en los datos que no causamos nosotros. Hemos quedado atrapados en procesos de datos heredados que no entendemos, y hemos pasado cada mañana con el miedo en el cuerpo, esperando a que algo se rompiera en nuestros datos, informes, modelos u otros entregables para el cliente. Estamos hartos del estrés y de la productividad que se pierde buscando problemas enterrados en lo más profundo del sistema. Queremos un método que nos permita observar los complicados caminos de nuestros datos para evitar problemas, errores y la frustración de nuestros clientes.
22 principios, más uno. Elige uno para ir directamente a él.
I-XI
Principios
-
I
Define y conoce lo que debería ser
En todo momento, en los sistemas de analítica de datos, conoce lo que debería ser, lo que es y la diferencia exacta entre ambos.
-
II
Que la esperanza sea la excepción
Esperar que tus sistemas de datos funcionen en producción no es una estrategia. Es la receta del fracaso.
-
III
No es aceptable que los clientes encuentren los problemas
Que tus clientes encuentren problemas en tu analítica de datos es inaceptable. Encuentra el problema antes que tu cliente.
-
IV
No confíes en tus proveedores de datos
Algunos proveedores de datos dominan su trabajo; otros apenas cumplen con una tarea que no querían. En cualquier caso, los proveedores se equivocan. Acostúmbrate. Protégete. Aprovéchalo como una oportunidad de mejora.
-
V
No des por hecho que lo que funcionó la semana pasada funcionará hoy
Tu equipo cambia constantemente el código y la configuración de tu patrimonio de datos. Asegúrate de que todo sigue funcionando.
-
VI
Encuentra el problema rápido
Encontrar el origen exacto del problema, ya esté en los datos en bruto, los datos integrados, los modelos, los informes, los servidores, el software o el código, es media batalla ganada.
-
VII
Una calidad de datos perfecta no lo cura todo
Incluso con una calidad de datos inicial perfecta, muchas otras cosas pueden salir mal.
-
VIII
Huye de las pruebas de calidad manuales como de la peste
Automatiza por completo las pruebas de tus datos y de tus herramientas.
-
IX
Tu producción de datos es una fábrica
Aplica las lecciones de Toyota, Lean y Deming. Cada herramienta del sistema (ingesta de datos, transformación, base de datos, modelo predictivo y visualización) es una estación de trabajo en esa línea de montaje.
-
X
Las arquitecturas de datos complicadas necesitan el control de misión de la NASA
Nuestras arquitecturas de datos modernas se construyen sobre una complejidad de escaparate. Tu arquitectura de datos tiene muchas «cajitas», y cada una puede fallar.
-
XI
Sigue los principios DataOps
Deja que las ideas de dataopsmanifesto.org guíen a tu equipo de datos en desarrollo y en producción.
XII-XXII
Necesitamos una idea nueva: el Data Journey
-
XII
El Data Journey… es la capa de expectativas
Los Data Journeys representan las expectativas sobre los innumerables caminos que recorren los datos, desde el origen hasta el valor analítico que entregas a tu cliente.
-
XIII
El Data Journey… observa, pero no «ejecuta»
Los Data Journeys rastrean y supervisan todos los niveles de la pila de datos, desde la validación de la calidad de los datos hasta los servidores, el software, el código, los costes y el uso. Son el «gemelo digital» de las arquitecturas de datos complicadas, por lotes y en streaming. Los Data Journeys contienen expectativas y no «ejecutan» nada.
-
XIV
El Data Journey… avisa en tiempo real
Un Data Journey proporciona estados y alertas en tiempo real. Con esa información, sabes si todo se ejecutó a tiempo y sin errores, e identificas al instante las partes que no.
-
XV
El Data Journey… recorre a lo ancho y a lo hondo
Los Data Journeys definen el linaje de procesos de los muchos elementos complejos que generan conocimiento. Cubren los componentes «a lo ancho» de tu cadena de herramientas y «a lo hondo» de tu pila tecnológica, incluidos logs, mensajes, estados de ejecución, métricas, pruebas de validación de datos y otra información de tu patrimonio de datos.
-
XVI
El Data Journey… agrupa los componentes
Un Data Journey tiene muchos componentes. Parafraseando Ana Karenina: todos los Data Journeys felices y sin errores se parecen; cada Data Journey infeliz está roto a su manera. Los Data Journeys encuentran rápido el componente «infeliz».
-
XVII
El Data Journey… confía, pero verifica
«Confía, pero verifica» es un viejo proverbio ruso. La confianza nace de supervisar cada componente de tu Data Journey y de verificar después los datos que pasan por él. Prueba, valida y busca anomalías en cada paso.
-
XVIII
El Data Journey… comparte los calendarios
Tu calendario de producción es de dominio público: compártelo con todos. Úsalo para acabar con los silos entre los ingenieros que construyeron los componentes de los Data Journeys, los operadores que los ejecutan, los clientes que los usan y los responsables a los que les caen los gritos cuando hay un problema.
-
XIX
El Data Journey… aprende del historial de producción
Cada instancia de un Data Journey aporta historial y evidencias para encontrar la causa raíz de un defecto, ayudar a tu equipo a mejorar y demostrar la reducción de errores de producción y de SLA incumplidos.
-
XX
El Data Journey… también puede ser un flujo de negocio
Una instancia de Data Journey suele representar los pasos técnicos, por lotes o en streaming, con los que se crea valor a partir de los datos. Sin embargo, algunas instancias representan un flujo de trabajo de negocio en «el mundo real». Un cliente concreto puede usar ese Data Journey para consultar el estado de ese proceso.
-
XXI
El Data Journey… reduce el riesgo de despliegue
Usa el Data Journey para encontrar el impacto de las regresiones durante el desarrollo. No puedes llevar código a producción basándote en un análisis manual o estático. Usa el Data Journey para hacer pruebas de regresión automáticas de tu código en desarrollo y encontrar el impacto de los cambios.
-
XXII
El Data Journey… reduce errores e impulsa la productividad
La productividad de tu equipo de analítica cae cuando dedica su tiempo a buscar y arreglar problemas en producción. Los errores no detectados en tus Data Journeys provocan errores de negocio costosos, minan la confianza de tus clientes y pueden suponer un riesgo de cumplimiento normativo.
Empieza por la calidad
Un Data Journey vale lo que valen las pruebas en cada punto de control. Puede decirte que un paso se ejecutó tarde, pero solo una prueba puede decirte que los números que contiene están mal. Así que empieza con pruebas de datos automatizadas: son el paso más barato, y tu cliente es el primero en notarlas. El Manifiesto DataOps de la calidad explica cómo, en 24 principios. Empieza con DataOps TestGen, de código abierto.
Únete a quienes ya han firmado el Manifiesto
Añade tu nombre al de los ingenieros de datos, analistas y líderes de datos que prefieren encontrar el problema antes que su cliente.
Pon el manifiesto en práctica con código abierto
DataOps Process Observability
Monitor every Data Journey from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks across every tool before your customer does.
Get Process ObservabilityDataOps TestGen
Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.
Install TestGen