Data Journeyマニフェスト
長年にわたり、さまざまな技術を使う多くのデータ分析チームと仕事をしてきた結果、当社は、インサイトを生み出すプロセスのエラーと欠陥を減らすことこそが成功の鍵だと確信するようになりました。当社は、自分たちが引き起こしたわけでもないデータの問題で、お客様から恥をかかされ、責められてきました。理解できない既存のデータプロセスに縛られ、毎朝、データ、レポート、モデル、その他の納品物のどこかが壊れるのを、びくびくしながら待っていました。システムの奥深くに潜む問題を探すためのストレスと、無駄になる生産性には、もううんざりです。当社が求めるのは、データがたどる複雑な経路を観測し、問題やエラー、そしてお客様の不満を防ぐための方法です。
22の原則と、プラス1。選択すると、その原則に移動します。
I-XI
原則
-
I
あるべき姿を定義し、把握する
データ分析システムでは、いつでも、あるべき姿、現在の姿、そしてその二つの正確な差を把握します。
-
II
希望に頼らない
本番環境でデータシステムが動くことを願うのは、戦略ではありません。失敗のレシピです。
-
III
お客様に問題を見つけられてはならない
お客様がデータ分析の問題を見つけるのは、許されないことです。お客様より先に問題を見つけてください。
-
IV
データ提供元を信用しない
データ提供元の中には、しっかり仕事をこなしているところもあれば、気の進まない作業をかろうじてこなしているだけのところもあります。いずれにせよ、提供元は間違いを犯します。それに慣れてください。それに備えてください。それを改善の機会にしてください。
-
V
先週動いたものが今日も動くと思い込まない
チームは、データ環境のコードと構成を絶えず変更しています。それがまだ動いていることを確認してください。
-
VI
問題をすばやく見つける
問題の正確な発生源を突き止めること（生データか、統合データか、モデル、レポート、サーバー、ソフトウェア、コードのどれか、あるいはその組み合わせか）が、戦いの半分です。
-
VII
完璧なデータ品質は万能薬ではない
最初のデータ品質が完璧でも、ほかにうまくいかないことはいくらでもあります。
-
VIII
手作業の品質テストは疫病のように避ける
データのテストを完全に自動化し、ツールのテストも同じように自動化します。
-
IX
データ生産は工場である
トヨタ、Lean、デミングの教訓に学んでください。システム内のすべてのツール（データの取り込み、変換、データベース、予測モデル、可視化）は、その組立ラインの作業ステーションです。
-
X
複雑なデータアーキテクチャには NASA のミッションコントロールが必要
現代のデータアーキテクチャは、見せかけの複雑さの上に築かれています。データアーキテクチャには、それぞれが故障しうる「小さな箱」が数多くあります。
-
XI
DataOps の原則に従う
dataopsmanifesto.org の考え方を、開発でも本番でも、データチームの指針にしてください。
XII-XXII
新しい考え方が必要だ：Data Journey
-
XII
Data Journey は… 期待値のレイヤーである
Data Journey は、データがソースから、お客様に届けるインサイトの価値に至るまでにたどる、無数の経路すべての期待値を表します。
-
XIII
Data Journey は… 観測するが、「実行」はしない
Data Journey は、データ品質の検証からサーバー、ソフトウェア、コード、コスト、利用率まで、データスタックのあらゆるレベルを追跡し、監視します。複雑なバッチおよびストリーミングのデータアーキテクチャの「デジタルツイン」です。Data Journey は期待値を保持するだけで、何も「実行」しません。
-
XIV
Data Journey は… リアルタイムでアラートを出す
Data Journey は、リアルタイムのステータスとアラートを提供します。この情報があれば、すべてが時間どおりにエラーなく実行されたかがわかり、そうでなかった部分をすぐに特定できます。
-
XV
Data Journey は… 横にも縦にも広がる
Data Journey は、インサイトを届ける多くの複雑な要素のプロセスリネージを定義します。ツールチェーンを「横断」し、テクノロジースタックを「縦断」するコンポーネントを対象とし、ログ、メッセージ、実行ステータス、メトリクス、データ検証テスト、その他データ環境のあらゆる情報をカバーします。
-
XVI
Data Journey は… コンポーネントをまとめる
Data Journey には多くのコンポーネントがあります。『アンナ・カレーニナ』をもじって言えば、幸福でエラーのない Data Journey はどれも似ていますが、不幸な Data Journey はそれぞれに独自の壊れ方をしています。Data Journey は「不幸な」コンポーネントをすばやく見つけます。
-
XVII
Data Journey は… 信頼するが、検証する
「信頼せよ、されど検証せよ」は、古いロシアのことわざです。信頼は、Data Journey のすべてのコンポーネントを監視し、そこを通るデータを検証することから生まれます。すべてのステップでテストし、検証し、異常を探してください。
-
XVIII
Data Journey は… スケジュールを共有する
本番スケジュールはみんなのものです。広く共有してください。それを使って、Data Journey のコンポーネントを作ったエンジニア、それを運用するオペレーター、それを使うお客様、そして問題が起きれば怒鳴られるマネージャーの間のサイロをなくします。
-
XIX
Data Journey は… 本番の履歴から学ぶ
Data Journey の各インスタンスは履歴と証拠を残します。それが欠陥の根本原因を見つけ、チームの改善を助け、本番エラーや未達の SLA が改善したことを示す証拠になります。
-
XX
Data Journey は… ビジネスワークフローにもなりうる
Data Journey のインスタンスは通常、データから価値を生み出すためのバッチまたはストリーミングの技術的なステップを表します。しかし、「現実世界」のビジネスワークフローを表す Data Journey インスタンスもあります。特定のお客様が、その Data Journey を使ってそのプロセスの状況を確認することもあります。
-
XXI
Data Journey は… デプロイのリスクを下げる
開発中のリグレッションの影響を、Data Journey で見つけます。手作業や静的な分析だけを根拠に、コードを本番に出荷することはできません。Data Journey を使って、開発中にコードのリグレッションテストを自動化し、変更の影響を見つけてください。
-
XXII
Data Journey は… エラーを減らし、生産性を高める
本番環境の問題を探して直すことに時間を費やすと、データ分析チームの生産性は落ちます。Data Journey の中の見つかっていないエラーは、高くつくビジネス上の失敗を招き、お客様の信頼を損ない、コンプライアンス上のリスクにもなりえます。
まず品質から始める
Data Journey の価値は、各チェックポイントのテストで決まります。ステップの実行が遅れたことは Data Journey が教えてくれますが、その中の数値が間違っていることを教えてくれるのはテストだけです。だから、まず自動データテストから始めてください。最も安価なステップであり、お客様が最初に効果を実感するステップです。DataOps 品質マニフェストが、その方法を24の原則で示しています。まずはオープンソースの DataOps TestGen から始めてください。
すでにマニフェストに署名した人々に加わってください
お客様より先に問題を見つけたいと考えるデータエンジニア、アナリスト、データリーダーの一人として、名前を加えてください。
オープンソースでマニフェストを実践する
DataOps Process Observability
Monitor every Data Journey from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks across every tool before your customer does.
Get Process ObservabilityDataOps TestGen
Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.
Install TestGen