Il ManifestoData Journey
Dopo anni di lavoro con molti team di analisi dei dati e tecnologie diverse, siamo arrivati a credere che la chiave del successo sia ridurre errori e difetti nel processo che produce le informazioni. I nostri clienti ci hanno messo alla gogna e incolpato per problemi nei dati che non avevamo causato. Siamo rimasti intrappolati in processi di dati esistenti che non capivamo, e ogni mattina abbiamo aspettato con angoscia che qualcosa si rompesse nei nostri dati, report, modelli o altre consegne ai clienti. Siamo stanchi dello stress e della produttività sprecata per trovare problemi sepolti nel sistema. Vogliamo un metodo che ci permetta di osservare i percorsi complicati dei nostri dati, per evitare problemi, errori e clienti frustrati.
22 principi, più uno. Selezionane uno per raggiungerlo.
I-XI
Principi
-
I
Definisci e conosci ciò che dovrebbe essere
In ogni momento, nei sistemi di analisi dei dati, sappi cosa dovrebbe essere, cosa è, e la differenza esatta tra i due.
-
II
Spera il meno possibile
Sperare che i tuoi sistemi di dati funzionino in produzione non è una strategia. È la ricetta per il fallimento.
-
III
Non va bene che siano i clienti a trovare i problemi
Che siano i clienti a trovare problemi nelle tue analisi dei dati è inaccettabile. Trova i problemi prima che li trovi il tuo cliente.
-
IV
Non fidarti dei tuoi fornitori di dati
Alcuni fornitori di dati sono al top, altri svolgono a malapena un compito che non volevano. In ogni caso, i fornitori sbagliano. Abituati. Proteggiti. Usalo come occasione per migliorare.
-
V
Non dare per scontato che ciò che funzionava la settimana scorsa funzioni oggi
Il tuo team cambia di continuo il codice e la configurazione del tuo patrimonio di dati. Assicurati che funzioni ancora.
-
VI
Trova il problema in fretta
Trovare l’origine esatta del problema (nei dati grezzi, nei dati integrati, nei modelli, nei report, nei server, nel software e/o nel codice) è già metà dell’opera.
-
VII
Una qualità dei dati perfetta non è una panacea
Anche con dati iniziali di qualità perfetta, molte altre cose possono andare storte.
-
VIII
Evita i test di qualità manuali come la peste
Automatizza completamente i test dei tuoi dati e dei tuoi strumenti.
-
IX
La tua produzione di dati è una fabbrica
Fai tesoro delle lezioni di Toyota, Lean e Deming. Ogni strumento del sistema (acquisizione dei dati, trasformazione, database, modello predittivo e visualizzazione) è una stazione di quella catena di montaggio.
-
X
Le architetture di dati complicate hanno bisogno di un centro di controllo missione come quello della NASA
Le nostre architetture di dati moderne si reggono su una complessità di facciata. La tua architettura di dati ha tante «scatolette», e ognuna può guastarsi.
-
XI
Segui i principi DataOps
Lascia che le idee di dataopsmanifesto.org guidino il tuo team di dati in sviluppo e in produzione.
XII-XXII
Ci serve un’idea nuova: il Data Journey
-
XII
Il Data Journey… è il livello delle aspettative
I Data Journey rappresentano le aspettative su tutti gli innumerevoli percorsi che i dati compiono, dalla fonte fino al valore informativo che consegni al tuo cliente.
-
XIII
Il Data Journey… osserva, ma non «esegue»
I Data Journey tracciano e monitorano tutti i livelli dello stack di dati, dalla validazione della qualità dei dati fino a server, software, codice, costi e utilizzo delle risorse. Sono il «gemello digitale» di architetture di dati batch e streaming complicate. I Data Journey contengono aspettative e non «eseguono» nulla.
-
XIV
Il Data Journey… avvisa in tempo reale
Un Data Journey fornisce stati e avvisi in tempo reale. Con queste informazioni sai se tutto è girato in orario e senza errori, e individui subito le parti che non l’hanno fatto.
-
XV
Il Data Journey… attraversa e scende in profondità
I Data Journey definiscono il lineage di processo dei tanti elementi complessi che producono informazioni. Coprono i componenti «in orizzontale» lungo la tua toolchain e «in verticale» lungo il tuo stack tecnologico, compresi log, messaggi, stato delle esecuzioni, metriche, test di validazione dei dati e altre informazioni dal tuo patrimonio di dati.
-
XVI
Il Data Journey… raggruppa i componenti
Un Data Journey ha molti componenti. Parafrasando Anna Karenina: tutti i Data Journey felici e senza errori si somigliano; ogni Data Journey infelice è rotto a modo suo. I Data Journey trovano in fretta il componente «infelice».
-
XVII
Il Data Journey… si fida, ma verifica
«Fidati, ma verifica» è un vecchio proverbio russo. La fiducia nasce dal monitorare ogni componente del tuo Data Journey e poi verificare i dati che lo attraversano. Testa, valida e cerca anomalie a ogni passaggio.
-
XVIII
Il Data Journey… condivide i calendari
Il tuo calendario di produzione è un bene pubblico: condividilo il più possibile. Usalo per abbattere i compartimenti stagni tra gli ingegneri che hanno costruito i componenti dei Data Journey, gli operatori che li gestiscono, i clienti che li usano e i manager che si prendono le urla quando c’è un problema.
-
XIX
Il Data Journey… impara dalla storia della produzione
Ogni istanza di un Data Journey fornisce storia e prove per trovare la causa principale di un difetto, aiutare il tuo team a migliorare e dimostrare il calo degli errori in produzione e degli SLA mancati.
-
XX
Il Data Journey… può essere anche un processo di business
Un’istanza di un Data Journey di solito rappresenta i passaggi tecnici batch o streaming usati per creare valore dai dati. Alcune istanze di Data Journey, però, rappresentano un processo di business «nel mondo reale». Un determinato cliente può usare quel Data Journey per controllare lo stato di quel processo.
-
XXI
Il Data Journey… riduce il rischio dei rilasci
Usa il Data Journey per trovare l’impatto delle regressioni durante lo sviluppo. Non puoi rilasciare codice in produzione sulla base di un’analisi manuale o statica. Usa il Data Journey per testare automaticamente il tuo codice contro le regressioni in sviluppo e trovare l’impatto delle modifiche.
-
XXII
Il Data Journey… riduce gli errori e aumenta la produttività
La produttività del tuo team di analisi dei dati cala quando passa il tempo a trovare e correggere problemi in produzione. Gli errori non individuati nei tuoi Data Journey causano costosi errori di business, erodono la fiducia dei tuoi clienti e possono comportare un rischio di compliance.
Parti dalla qualità
Un Data Journey vale quanto i test a ogni checkpoint. Può dirti che un passaggio è girato in ritardo, ma solo un test può dirti che i numeri al suo interno sono sbagliati. Quindi parti dai test automatizzati sui dati: sono il passo più economico, e il tuo cliente li percepisce per primo. Il Manifesto DataOps della qualità spiega come, in 24 principi. Inizia con l’open source DataOps TestGen.
Unisciti a chi ha già firmato il Manifesto
Aggiungi il tuo nome a quelli dei data engineer, degli analisti e dei responsabili dei dati che preferiscono trovare il problema prima che lo trovi il loro cliente.
Metti in pratica il manifesto con l’open source
DataOps Process Observability
Monitor every Data Journey from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks across every tool before your customer does.
Get Process ObservabilityDataOps TestGen
Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.
Install TestGen