Data Journey宣言
多年來，我們與使用各種技術的眾多資料分析團隊一起工作，逐漸相信：減少洞察產出過程中的錯誤與缺陷，是成功的關鍵。資料出了問題，明明不是我們造成的，客戶卻把羞辱和責怪丟到我們頭上；我們被困在自己看不懂的既有資料流程裡；每天早上都提心吊膽，等著資料、報表、模型或其他交付給客戶的東西出狀況。為了在系統深處找出問題，我們承受壓力，白白耗掉生產力，我們受夠了。我們想要一種方法，能觀察資料所走的複雜路徑，避開問題與錯誤，也不再讓客戶失望。
22 條原則，外加一條。選擇一條即可跳轉。
I-XI
原則
-
I
定義並知道應該是什麼
在資料分析系統中，任何時候都要知道應該是什麼、實際是什麼，以及兩者之間的確切差異。
-
II
少靠希望
寄望資料系統在正式環境中正常運作，不是策略，而是失敗的配方。
-
III
讓客戶發現問題是不可接受的
讓客戶在你的資料分析中發現問題，是不可接受的。在客戶發現問題之前先發現它。
-
IV
別信任你的資料供應方
有些資料供應方狀態一流，有些只是勉強應付一件不想做的差事。無論哪種，供應方都會出錯。習慣它，防範它，把它當成改善的機會。
-
V
別以為上週能用的今天還能用
你的團隊一直在修改資料資產裡的程式碼與設定。確認它仍然能正常運作。
-
VI
快速找到問題
找到問題的確切源頭（無論是在原始資料、整合資料、模型、報表、伺服器、軟體還是程式碼中），就已經成功了一半。
-
VII
完美的資料品質不是萬靈丹
即使初始資料品質完美，仍然有許多其他環節會出錯。
-
VIII
要像躲瘟疫一樣避免手動品質測試
把資料測試和工具測試完全自動化。
-
IX
資料生產就是一座工廠
記取豐田、Lean 與戴明的經驗。系統中的每個工具（資料匯入、轉換、資料庫、預測模型與視覺化）都是這條組裝線上的一個工作站。
-
X
複雜的資料架構需要 NASA 那樣的任務控制中心
現代資料架構建立在表演式的複雜性之上。你的資料架構裡有許多「小方塊」，每一個都可能出問題。
-
XI
遵循 DataOps 原則
讓 dataopsmanifesto.org 中的理念，在開發與正式環境中引導你的資料團隊。
XII-XXII
我們需要一個新觀念：Data Journey
-
XII
Data Journey… 是期望層
Data Journey 代表了對資料所走的無數路徑的期望：從源頭，一路到你交付給客戶的洞察價值。
-
XIII
Data Journey… 只觀察，不「執行」
Data Journey 追蹤並監控資料堆疊的每個層級，從資料品質驗證，到伺服器、軟體、程式碼、成本與資源使用率。它是複雜的批次與串流資料架構的「數位分身」。Data Journey 承載的是期望，不「執行」任何東西。
-
XIV
Data Journey… 即時發出警示
Data Journey 提供即時狀態與警示。有了這些資訊，你就能知道一切是否準時、無誤地執行完畢，並立刻找出沒有做到的部分。
-
XV
Data Journey… 橫向貫穿，縱向深入
Data Journey 為交付洞察的眾多複雜環節定義流程血緣。它「橫向」涵蓋你的工具鏈，「縱向」深入你的技術堆疊，包括日誌、訊息、執行狀態、指標、資料驗證測試，以及來自資料資產的其他資訊。
-
XVI
Data Journey… 把元件編成一組
一個 Data Journey 包含許多元件。借用《安娜．卡列尼娜》的話：幸福、無誤的 Data Journey 都是相似的；不幸的 Data Journey 各有各的壞法。Data Journey 能迅速找出那個「不幸」的元件。
-
XVII
Data Journey… 信任，但要驗證
「信任，但要驗證」是一句古老的俄羅斯諺語。信任來自監控 Data Journey 中的每一個元件，再驗證經過它的資料。在每一步都測試、驗證並尋找異常。
-
XVIII
Data Journey… 公開共享排程
你的正式環境排程是公共財，盡量廣泛地分享。用它打破這幾種人之間的隔閡：建置 Data Journey 元件的工程師、負責執行的維運人員、使用它們的客戶，以及一出問題就挨罵的主管。
-
XIX
Data Journey… 從正式環境的歷史中學習
Data Journey 的每一個實例都提供歷史與證據，幫你找到缺陷的根本原因，協助團隊改善，並證明正式環境的錯誤和未達成的 SLA 確實在減少。
-
XX
Data Journey… 也可以是業務流程
一個 Data Journey 實例，通常代表從資料創造價值所用的批次或串流技術步驟。不過，有些 Data Journey 實例代表的是「真實世界」中的業務流程。某個客戶可能會用這個 Data Journey 來查看該流程的狀態。
-
XXI
Data Journey… 降低部署風險
在開發階段，用 Data Journey 找出迴歸問題的影響。你不能憑手動檢查或靜態分析就把程式碼上線到正式環境。用 Data Journey 協助你在開發中自動對程式碼做迴歸測試，找出變更帶來的影響。
-
XXII
Data Journey… 減少錯誤，提升生產力
資料分析團隊把時間花在查找和修正正式環境的問題上，生產力就會下降。Data Journey 中未被發現的錯誤，會造成代價高昂的業務失誤，侵蝕客戶的信任，還可能帶來法規遵循風險。
從品質開始
Data Journey 的好壞，取決於每個檢查點上的測試。它能告訴你某一步執行晚了，但只有測試才能告訴你裡面的數字是錯的。所以從自動化資料測試開始：這是成本最低的一步，也是客戶最先感受到的一步。DataOps 品質宣言用 24 條原則說明了怎麼做。從開源的 DataOps TestGen 開始。
加入已經簽署本宣言的人
資料工程師、分析師和資料主管都已留下名字，他們寧願在客戶發現問題之前先發現它。加入他們。
用開源工具讓宣言落實
DataOps Process Observability
Monitor every Data Journey from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks across every tool before your customer does.
Get Process ObservabilityDataOps TestGen
Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.
Install TestGen