Das Data JourneyManifest
Nach Jahren der Arbeit mit vielen Datenanalyse-Teams und unterschiedlichsten Technologien sind wir überzeugt: Der Schlüssel zum Erfolg ist, Fehler und Mängel im Prozess der Erkenntnisgewinnung zu reduzieren. Unsere Kunden haben uns für Datenprobleme an den Pranger gestellt und beschuldigt, die wir nicht verursacht hatten. Wir saßen in bestehenden Datenprozessen fest, die wir nicht verstanden, und wir haben jeden Morgen mit Bangen darauf gewartet, dass etwas in unseren Daten, Berichten, Modellen oder anderen Lieferungen an Kunden kaputtgeht. Wir haben den Stress und die verschwendete Produktivität satt, die es kostet, Probleme tief im System zu finden. Wir wollen eine Methode, mit der wir die verschlungenen Wege unserer Daten beobachten können, um Probleme, Fehler und frustrierte Kunden zu vermeiden.
22 Prinzipien, plus eins. Wählen Sie eines aus, um dorthin zu springen.
I-XI
Prinzipien
-
I
Definieren und kennen Sie den Sollzustand
Wissen Sie in Ihren Datenanalyse-Systemen jederzeit, was sein sollte, was ist, und wie genau sich beides unterscheidet.
-
II
Hoffen Sie selten
Darauf zu hoffen, dass Ihre Datensysteme in der Produktion funktionieren, ist keine Strategie. Es ist ein Rezept zum Scheitern.
-
III
Es ist nicht in Ordnung, wenn Kunden die Probleme finden
Dass Kunden Probleme in Ihren Datenanalysen finden, ist inakzeptabel. Finden Sie das Problem, bevor Ihr Kunde es tut.
-
IV
Trauen Sie Ihren Datenlieferanten nicht
Manche Datenlieferanten sind in Topform, andere erledigen eine ungeliebte Pflicht gerade so. So oder so machen Lieferanten Fehler. Gewöhnen Sie sich daran. Schützen Sie sich dagegen. Nutzen Sie es als Chance zur Verbesserung.
-
V
Gehen Sie nicht davon aus, dass heute funktioniert, was letzte Woche funktioniert hat
Ihr Team ändert ständig Code und Konfiguration in Ihrer Datenlandschaft. Stellen Sie sicher, dass alles noch funktioniert.
-
VI
Finden Sie das Problem schnell
Die genaue Ursache des Problems zu finden (ob in Rohdaten, integrierten Daten, Modellen, Berichten, Servern, Software und/oder Code), ist schon die halbe Miete.
-
VII
Perfekte Datenqualität ist kein Allheilmittel
Selbst bei perfekter Qualität der Ausgangsdaten kann noch vieles andere schiefgehen.
-
VIII
Meiden Sie manuelle Qualitätstests wie die Pest
Automatisieren Sie das Testen Ihrer Daten und Tools vollständig.
-
IX
Ihre Datenproduktion ist eine Fabrik
Beherzigen Sie die Lehren von Toyota, Lean und Deming. Jedes Tool im System (Datenaufnahme, Transformation, Datenbank, Vorhersagemodell und Visualisierung) ist eine Station an diesem Fließband.
-
X
Komplizierte Datenarchitekturen brauchen eine Mission Control wie bei der NASA
Unsere modernen Datenarchitekturen beruhen auf Komplexität als Selbstzweck. Ihre Datenarchitektur hat viele „kleine Kästchen“, und jedes davon kann ausfallen.
-
XI
Folgen Sie den DataOps-Prinzipien
Lassen Sie die Ideen auf dataopsmanifesto.org Ihr Datenteam in Entwicklung und Produktion leiten.
XII-XXII
Wir brauchen eine neue Idee: die Data Journey
-
XII
Die Data Journey… ist die Erwartungsebene
Data Journeys bilden die Erwartungen an all die unzähligen Wege ab, die Daten von der Quelle bis zu dem Erkenntniswert nehmen, den Sie Ihrem Kunden liefern.
-
XIII
Die Data Journey… beobachtet, führt aber nichts „aus“
Data Journeys verfolgen und überwachen alle Ebenen des Daten-Stacks, von der Validierung der Datenqualität bis zu Servern, Software, Code, Kosten und Auslastung. Sie sind der „digitale Zwilling“ komplizierter Batch- und Streaming-Datenarchitekturen. Data Journeys enthalten Erwartungen und „führen“ nichts „aus“.
-
XIV
Die Data Journey… alarmiert in Echtzeit
Eine Data Journey liefert Status und Alarme in Echtzeit. Damit wissen Sie, ob alles pünktlich und fehlerfrei gelaufen ist, und erkennen sofort die Teile, bei denen das nicht so war.
-
XV
Die Data Journey… reicht quer und in die Tiefe
Data Journeys definieren die Prozess-Lineage für die vielen komplexen Elemente, die Erkenntnisse liefern. Sie erfassen Komponenten „quer“ durch Ihre Toolchain und „hinunter“ durch Ihren Technologie-Stack, darunter Logs, Nachrichten, Laufstatus, Metriken, Datenvalidierungstests und weitere Informationen aus Ihrer Datenlandschaft.
-
XVI
Die Data Journey… gruppiert Komponenten
Eine Data Journey hat viele Komponenten. Frei nach Anna Karenina: Alle glücklichen, fehlerfreien Data Journeys gleichen einander; jede unglückliche Data Journey ist auf ihre eigene Weise kaputt. Data Journeys finden die „unglückliche“ Komponente schnell.
-
XVII
Die Data Journey… vertraut, aber prüft nach
„Vertraue, aber prüfe nach“ ist ein altes russisches Sprichwort. Vertrauen entsteht, indem Sie jede Komponente Ihrer Data Journey überwachen und dann die Daten prüfen, die sie berühren. Testen, validieren und suchen Sie bei jedem Schritt nach Anomalien.
-
XVIII
Die Data Journey… teilt Zeitpläne
Ihr Produktionsplan ist Gemeingut: Teilen Sie ihn breit. Bauen Sie damit Silos ab zwischen den Engineers, die die Komponenten der Data Journeys gebaut haben, den Operators, die sie betreiben, den Kunden, die sie nutzen, und den Managern, die angeschrien werden, wenn es ein Problem gibt.
-
XIX
Die Data Journey… lernt aus der Produktionshistorie
Jede Instanz einer Data Journey liefert Historie und Belege, um die Grundursache eines Fehlers zu finden, Ihrem Team bei der Verbesserung zu helfen und zu zeigen, dass Produktionsfehler und verfehlte SLAs zurückgehen.
-
XX
Die Data Journey… kann auch ein Geschäftsprozess sein
Eine Instanz einer Data Journey steht meist für die technischen Batch- oder Streaming-Schritte, mit denen aus Daten Wert entsteht. Manche Data-Journey-Instanzen bilden jedoch einen Geschäftsprozess in „der realen Welt“ ab. Ein bestimmter Kunde kann diese Data Journey nutzen, um den Status dieses Prozesses zu prüfen.
-
XXI
Die Data Journey… senkt das Deployment-Risiko
Nutzen Sie die Data Journey, um die Auswirkungen von Regressionen schon in der Entwicklung zu finden. Auf Basis manueller oder statischer Analyse können Sie keinen Code in die Produktion bringen. Nutzen Sie die Data Journey, um Ihren Code in der Entwicklung automatisch auf Regressionen zu testen und die Auswirkungen von Änderungen zu finden.
-
XXII
Die Data Journey… reduziert Fehler und steigert die Produktivität
Die Produktivität Ihres Datenanalyse-Teams sinkt, wenn es Zeit damit verbringt, Probleme in der Produktion zu finden und zu beheben. Unerkannte Fehler in Ihren Data Journeys verursachen teure geschäftliche Fehlentscheidungen, untergraben das Vertrauen Ihrer Kunden und können ein Compliance-Risiko darstellen.
Beginnen Sie mit Qualität
Eine Data Journey ist nur so gut wie die Tests an jedem Kontrollpunkt. Sie kann Ihnen sagen, dass ein Schritt zu spät gelaufen ist, aber nur ein Test kann Ihnen sagen, dass die Zahlen darin falsch sind. Beginnen Sie also mit automatisierten Datentests: Sie sind der günstigste Schritt, und Ihr Kunde spürt sie zuerst. Das DataOps-Qualitätsmanifest beschreibt in 24 Prinzipien, wie das geht. Starten Sie mit dem Open-Source-Tool DataOps TestGen.
Schließen Sie sich denen an, die das Manifest bereits unterschrieben haben
Setzen Sie Ihren Namen zu den Data Engineers, Analysten und Datenverantwortlichen, die das Problem lieber selbst finden, bevor es ihr Kunde tut.
Setzen Sie das Manifest mit Open Source in die Praxis um
DataOps Process Observability
Monitor every Data Journey from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks across every tool before your customer does.
Get Process ObservabilityDataOps TestGen
Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.
Install TestGen