Data Journey宣言
多年来，我们与使用各种技术的众多数据分析团队一起工作，逐渐相信：减少洞察生产过程中的错误和缺陷，是成功的关键。数据出了问题，明明不是我们造成的，客户却把羞辱和责怪砸到我们头上；我们被困在自己看不懂的现有数据流程里；每天早上都提心吊胆，等着数据、报表、模型或其他交付给客户的东西出故障。为了在系统深处找出问题，我们承受着压力，浪费着生产力，我们受够了。我们想要一种方法，能观察数据所走的复杂路径，避开问题和错误，也避免让客户失望。
22 条原则，外加一条。选择一条即可跳转。
I-XI
原则
-
I
定义并知道应该是什么
在数据分析系统中，任何时候都要知道应该是什么、实际是什么，以及两者之间的确切差异。
-
II
少靠希望
寄希望于数据系统在生产中正常运行，不是策略，而是失败的配方。
-
III
让客户发现问题是不可接受的
让客户在你的数据分析中发现问题，是不可接受的。在客户发现问题之前先发现它。
-
IV
别信任你的数据提供方
有些数据提供方状态一流，有些只是勉强应付一件不想做的差事。无论哪种，提供方都会犯错。习惯它，防范它，把它当作改进的机会。
-
V
别以为上周能用的今天还能用
你的团队一直在修改数据资产里的代码和配置。确认它仍然能正常工作。
-
VI
快速找到问题
找到问题的确切源头（无论是在原始数据、集成数据、模型、报表、服务器、软件还是代码中），就已经成功了一半。
-
VII
完美的数据质量不是万灵药
即使初始数据质量完美，仍然有许多其他环节会出错。
-
VIII
像躲瘟疫一样避免手工质量测试
把数据测试和工具测试完全自动化。
-
IX
数据生产就是一座工厂
记取丰田、Lean 与戴明的经验。系统中的每个工具（数据接入、转换、数据库、预测模型和可视化）都是这条装配线上的一个工位。
-
X
复杂的数据架构需要 NASA 那样的任务控制中心
现代数据架构建立在表演式的复杂性之上。你的数据架构里有许多“小方框”，每一个都可能出故障。
-
XI
遵循 DataOps 原则
让 dataopsmanifesto.org 中的理念，在开发和生产中指引你的数据团队。
XII-XXII
我们需要一个新理念：Data Journey
-
XII
Data Journey… 是期望层
Data Journey 代表了对数据所走的无数路径的期望：从源头，一直到你交付给客户的洞察价值。
-
XIII
Data Journey… 只观察，不“运行”
Data Journey 追踪和监控数据栈的各个层级，从数据质量验证，到服务器、软件、代码、成本和资源使用率。它是复杂的批处理和流式数据架构的“数字孪生”。Data Journey 承载的是期望，不“运行”任何东西。
-
XIV
Data Journey… 实时告警
Data Journey 提供实时状态和告警。有了这些信息，你就能知道一切是否按时、无错地运行完毕，并立刻找出没有做到的部分。
-
XV
Data Journey… 横向贯穿，纵向深入
Data Journey 为交付洞察的众多复杂环节定义流程血缘。它“横向”覆盖你的工具链，“纵向”深入你的技术栈，包括日志、消息、运行状态、指标、数据验证测试，以及来自数据资产的其他信息。
-
XVI
Data Journey… 把组件编成一组
一个 Data Journey 包含许多组件。借用《安娜·卡列尼娜》的话：幸福、无错的 Data Journey 都是相似的；不幸的 Data Journey 各有各的坏法。Data Journey 能迅速找出那个“不幸”的组件。
-
XVII
Data Journey… 信任，但要验证
“信任，但要验证”是一句古老的俄罗斯谚语。信任来自监控 Data Journey 中的每一个组件，再验证经过它的数据。在每一步都测试、验证并寻找异常。
-
XVIII
Data Journey… 共享生产排程
你的生产排程是公共财产，尽量广泛地分享。用它打破这几类人之间的隔阂：构建 Data Journey 组件的工程师、运行它们的运维人员、使用它们的客户，以及一出问题就挨骂的经理。
-
XIX
Data Journey… 从生产历史中学习
Data Journey 的每一个实例都提供历史和证据，帮你找到缺陷的根本原因，帮助团队改进，并证明生产错误和未达成的 SLA 确实在减少。
-
XX
Data Journey… 也可以是业务流程
一个 Data Journey 实例，通常代表从数据中创造价值所用的批处理或流式技术步骤。不过，有些 Data Journey 实例代表的是“真实世界”中的业务流程。某个客户可能会用这个 Data Journey 来查看该流程的状态。
-
XXI
Data Journey… 降低部署风险
在开发阶段，用 Data Journey 找出回归问题的影响。你不能凭手工检查或静态分析就把代码发布到生产。用 Data Journey 帮助你在开发中自动对代码做回归测试，找出变更带来的影响。
-
XXII
Data Journey… 减少错误，提升生产力
数据分析团队把时间花在查找和修复生产问题上，生产力就会下降。Data Journey 中未被发现的错误，会造成代价高昂的业务失误，侵蚀客户的信任，还可能带来合规风险。
从质量开始
Data Journey 的好坏，取决于每个检查点上的测试。它能告诉你某一步运行晚了，但只有测试才能告诉你里面的数字是错的。所以从自动化数据测试开始：这是成本最低的一步，也是客户最先感受到的一步。DataOps 质量宣言用 24 条原则说明了怎么做。从开源的 DataOps TestGen 开始。
加入已经签署本宣言的人
数据工程师、分析师和数据负责人都已留下名字，他们宁愿在客户发现问题之前先发现它。加入他们。
用开源工具让宣言落地
DataOps Process Observability
Monitor every Data Journey from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks across every tool before your customer does.
Get Process ObservabilityDataOps TestGen
Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.
Install TestGen