O ManifestoData Journey
Depois de anos a trabalhar com muitas equipas de análise de dados, com tecnologias diferentes, chegámos à conclusão de que reduzir os erros e defeitos no processo de produção de insights é a chave do sucesso. Os nossos clientes já nos envergonharam e culparam por problemas nos dados que não causámos. Já ficámos presos a processos de dados herdados que não compreendemos, e já passámos todas as manhãs com o coração nas mãos, à espera de que algo se partisse nos nossos dados, relatórios, modelos ou outras entregas ao cliente. Estamos cansados do stress e da produtividade desperdiçada a procurar problemas no fundo do sistema. Queremos um método que nos permita observar os caminhos complicados dos nossos dados, para evitar problemas, erros e a frustração dos clientes.
22 princípios, mais um. Selecione um para saltar para ele.
I-XI
Princípios
-
I
Defina e saiba o que devia ser
Em qualquer momento, num sistema de análise de dados, saiba o que devia ser, o que é, e a diferença exata entre os dois.
-
II
Que a esperança seja rara
Ter esperança de que os seus sistemas de dados funcionam em produção não é uma estratégia. É uma receita para o fracasso.
-
III
Não é aceitável serem os clientes a encontrar os problemas
É inaceitável que os clientes encontrem problemas na sua análise de dados. Encontre os problemas antes do seu cliente.
-
IV
Não confie nos seus fornecedores de dados
Alguns fornecedores de dados estão no topo do seu jogo, enquanto outros mal cumprem uma tarefa que não querem fazer. Seja como for, os fornecedores cometem erros. Habitue-se. Proteja-se. Use-os como oportunidade de melhoria.
-
V
Não assuma que o que funcionou na semana passada funciona hoje
A sua equipa está sempre a alterar o código e a configuração do seu ecossistema de dados. Certifique-se de que continua a funcionar.
-
VI
Encontre o problema depressa
Encontrar a origem exata do problema (seja nos dados em bruto, nos dados integrados, nos modelos, nos relatórios, nos servidores, no software e/ou no código) é meio caminho andado.
-
VII
Dados de qualidade perfeita não curam tudo
Mesmo com dados iniciais de qualidade perfeita, há muitas outras coisas que podem correr mal.
-
VIII
Fuja dos testes de qualidade manuais como o diabo da cruz
Automatize por completo os testes dos seus dados e das suas ferramentas.
-
IX
A sua produção de dados é uma fábrica
Siga as lições da Toyota, do Lean e de Deming. Cada ferramenta do sistema (ingestão de dados, transformação, base de dados, modelo preditivo e visualização) é um posto de trabalho nessa linha de montagem.
-
X
Arquiteturas de dados complicadas precisam do controlo de missão da NASA
As nossas arquiteturas de dados modernas assentam numa complexidade de fachada. A sua arquitetura de dados tem muitas «caixinhas», e cada uma delas pode falhar.
-
XI
Siga os princípios DataOps
Deixe que as ideias de dataopsmanifesto.org orientem a sua equipa de dados em desenvolvimento e em produção.
XII-XXII
Precisamos de uma ideia nova: o Data Journey
-
XII
O Data Journey… é a camada de expectativas
Os Data Journeys representam as expectativas sobre todos os inúmeros caminhos que os dados percorrem, desde a origem até ao valor que entrega ao seu cliente.
-
XIII
O Data Journey… observa, mas não «executa»
Os Data Journeys acompanham e monitorizam todos os níveis da stack de dados, desde a validação da qualidade dos dados até aos servidores, software, código, custos e utilização. São o «gémeo digital» de arquiteturas de dados complicadas, em batch e em streaming. Os Data Journeys guardam expectativas e não «executam» nada.
-
XIV
O Data Journey… alerta em tempo real
Um Data Journey fornece estados e alertas em tempo real. Com esta informação, fica a saber se tudo correu a horas e sem erros, e identifica de imediato as partes que não correram.
-
XV
O Data Journey… percorre na horizontal e na vertical
Os Data Journeys definem a linhagem do processo dos muitos elementos complexos que entregam insights. Cobrem os componentes «na horizontal», ao longo da sua cadeia de ferramentas, e «na vertical», ao longo da sua stack tecnológica, incluindo logs, mensagens, estados de execução, métricas, testes de validação de dados e outras informações do seu ecossistema de dados.
-
XVI
O Data Journey… agrupa componentes
Um Data Journey tem muitos componentes. Parafraseando Ana Karénina: todos os Data Journeys felizes e sem erros se parecem uns com os outros; cada Data Journey infeliz está avariado à sua maneira. Os Data Journeys encontram depressa o componente «infeliz».
-
XVII
O Data Journey… confia, mas verifica
«Confia, mas verifica» é um velho provérbio russo. A confiança vem de monitorizar cada componente do seu Data Journey e depois verificar os dados que lhe passam. Teste, valide e procure anomalias em cada passo.
-
XVIII
O Data Journey… partilha os calendários
O seu calendário de produção é do domínio público: partilhe-o com toda a gente. Use-o para acabar com os silos entre os engenheiros que construíram os componentes dos Data Journeys, os operadores que os executam, os clientes que os usam e os gestores que levam com os gritos quando há um problema.
-
XIX
O Data Journey… aprende com o histórico de produção
Cada instância de um Data Journey fornece histórico e evidências para encontrar a causa raiz de um defeito, ajudar a sua equipa a melhorar e mostrar a melhoria nos erros de produção e nos SLAs falhados.
-
XX
O Data Journey… também pode ser um fluxo de trabalho de negócio
Uma instância de um Data Journey representa normalmente os passos técnicos, em batch ou em streaming, usados para criar valor a partir dos dados. No entanto, algumas instâncias representam um fluxo de trabalho de negócio «no mundo real». Um determinado cliente pode usar esse Data Journey para consultar o estado desse processo.
-
XXI
O Data Journey… reduz o risco de deploy
Use o Data Journey para encontrar o impacto das regressões durante o desenvolvimento. Não pode pôr código em produção com base em análise manual ou estática. Use o Data Journey para ajudar a testar automaticamente o seu código contra regressões em desenvolvimento e encontrar o impacto das alterações.
-
XXII
O Data Journey… reduz erros e aumenta a produtividade
A produtividade da sua equipa de análise de dados cai quando passa o tempo a encontrar e corrigir problemas em produção. Erros não identificados nos seus Data Journeys causam erros de negócio caros, minam a confiança dos seus clientes e podem trazer risco de conformidade.
Comece pela qualidade
Um Data Journey só vale o que valem os testes em cada ponto de controlo. Pode dizer-lhe que um passo correu tarde, mas só um teste lhe diz que os números lá dentro estão errados. Por isso, comece com testes de dados automatizados: são o passo mais barato, e o seu cliente sente-os primeiro. O Manifesto de Qualidade DataOps explica como, em 24 princípios. Comece com o DataOps TestGen, open source.
Junte-se a quem já assinou o Manifesto
Junte o seu nome aos engenheiros de dados, analistas e líderes de dados que preferem encontrar o problema antes do seu cliente.
Ponha o manifesto em prática com open source
DataOps Process Observability
Monitor every Data Journey from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks across every tool before your customer does.
Get Process ObservabilityDataOps TestGen
Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.
Install TestGen