Data Journey매니페스토
다양한 기술을 쓰는 수많은 데이터 분석 팀과 수년간 일하면서, 우리는 인사이트 생산 프로세스의 오류와 결함을 줄이는 것이 성공의 열쇠라고 믿게 되었습니다. 우리는 우리가 일으키지도 않은 데이터 문제로 고객에게 망신당하고 비난받았습니다. 이해하지도 못하는 기존 데이터 프로세스에 갇혀 있었고, 매일 아침 데이터, 보고서, 모델, 그 밖의 고객 산출물 어딘가가 망가지기를 두려움 속에 기다렸습니다. 시스템 깊숙한 곳의 문제를 찾느라 겪는 스트레스와 낭비되는 생산성에 지쳤습니다. 우리가 원하는 것은 데이터가 지나는 복잡한 경로를 관찰해 문제와 오류, 그리고 고객의 불만을 피할 수 있게 해 주는 방법입니다.
22가지 원칙, 그리고 하나 더. 원칙을 선택하면 해당 위치로 이동합니다.
I-XI
원칙
-
I
있어야 할 모습을 정의하고 파악하라
데이터 분석 시스템에서는 언제든 있어야 할 모습, 지금의 모습, 그리고 그 둘의 정확한 차이를 알아야 합니다.
-
II
희망에 기대는 일을 줄여라
프로덕션에서 데이터 시스템이 잘 돌아가기를 바라는 것은 전략이 아닙니다. 실패로 가는 지름길입니다.
-
III
고객이 문제를 발견하는 것은 용납할 수 없다
고객이 데이터 분석에서 문제를 발견하는 것은 용납할 수 없습니다. 고객보다 먼저 문제를 찾으십시오.
-
IV
데이터 제공자를 믿지 마라
어떤 데이터 제공자는 제 몫을 확실히 해내지만, 어떤 제공자는 하기 싫은 일을 겨우 해치울 뿐입니다. 어느 쪽이든 제공자는 실수를 합니다. 익숙해지십시오. 대비하십시오. 개선의 기회로 삼으십시오.
-
V
지난주에 작동한 것이 오늘도 작동하리라 가정하지 마라
팀은 데이터 환경의 코드와 구성을 끊임없이 바꾸고 있습니다. 여전히 작동하는지 확인하십시오.
-
VI
문제를 빨리 찾아라
원시 데이터, 통합 데이터, 모델, 보고서, 서버, 소프트웨어, 코드 중 어디에 있든(또는 여러 곳에 걸쳐 있든) 문제의 정확한 출처를 찾는 것이 싸움의 절반입니다.
-
VII
완벽한 데이터 품질이 만병통치약은 아니다
처음 데이터 품질이 완벽하더라도, 잘못될 수 있는 일은 여전히 많습니다.
-
VIII
수동 품질 테스트는 전염병처럼 피하라
데이터 테스트를 완전히 자동화하고, 도구 테스트도 마찬가지로 자동화하십시오.
-
IX
데이터 생산은 공장이다
Toyota, Lean, 데밍의 교훈에 귀 기울이십시오. 데이터 수집, 변환, 데이터베이스, 예측 모델, 시각화 등 시스템의 모든 도구는 그 조립 라인 위의 작업장입니다.
-
X
복잡한 데이터 아키텍처에는 NASA의 미션 컨트롤이 필요하다
현대의 데이터 아키텍처는 보여 주기식 복잡성 위에 세워져 있습니다. 데이터 아키텍처에는 각각 고장 날 수 있는 “작은 상자”가 많이 있습니다.
-
XI
DataOps 원칙을 따르라
dataopsmanifesto.org의 생각이 개발과 프로덕션 모두에서 데이터 팀을 이끌게 하십시오.
XII-XXII
새로운 생각이 필요하다: Data Journey
-
XII
Data Journey는… 기대치 계층이다
Data Journey는 데이터가 소스에서 출발해 고객에게 전달하는 인사이트의 가치에 이르기까지 거치는 수많은 경로 전체의 기대치를 나타냅니다.
-
XIII
Data Journey는… 관찰하지만 “실행”하지는 않는다
Data Journey는 데이터 품질 검증부터 서버, 소프트웨어, 코드, 비용, 사용률까지 데이터 스택의 모든 수준을 추적하고 모니터링합니다. 복잡한 배치 및 스트리밍 데이터 아키텍처의 “디지털 트윈”입니다. Data Journey는 기대치를 담고 있을 뿐, 아무것도 “실행”하지 않습니다.
-
XIV
Data Journey는… 실시간으로 알린다
Data Journey는 실시간 상태와 알림을 제공합니다. 이 정보로 모든 것이 제시간에 오류 없이 실행되었는지 알 수 있고, 그렇지 않은 부분을 즉시 찾아낼 수 있습니다.
-
XV
Data Journey는… 가로로, 그리고 세로로 걸친다
Data Journey는 인사이트를 전달하는 수많은 복잡한 요소의 프로세스 계보를 정의합니다. 툴체인을 “가로질러”, 기술 스택을 “아래로” 걸쳐 있는 구성 요소를 다루며, 로그, 메시지, 실행 상태, 메트릭, 데이터 검증 테스트, 그리고 데이터 환경의 그 밖의 정보를 포함합니다.
-
XVI
Data Journey는… 구성 요소를 묶는다
Data Journey에는 많은 구성 요소가 있습니다. 『안나 카레니나』를 빌려 말하자면, 행복하고 오류 없는 Data Journey는 모두 비슷하지만, 불행한 Data Journey는 저마다의 방식으로 망가져 있습니다. Data Journey는 “불행한” 구성 요소를 빠르게 찾아냅니다.
-
XVII
Data Journey는… 신뢰하되 검증한다
“신뢰하되 검증하라”는 오래된 러시아 속담입니다. 신뢰는 Data Journey의 모든 구성 요소를 모니터링하고, 그 구성 요소를 거치는 데이터를 검증하는 데서 나옵니다. 모든 단계에서 테스트하고, 검증하고, 이상 징후를 찾으십시오.
-
XVIII
Data Journey는… 일정을 공유한다
프로덕션 일정은 모두의 것입니다. 널리 공유하십시오. 일정을 활용해 Data Journey의 구성 요소를 만든 엔지니어, 그것을 운영하는 운영자, 그것을 사용하는 고객, 그리고 문제가 생기면 호통을 듣는 관리자 사이의 사일로를 없애십시오.
-
XIX
Data Journey는… 프로덕션 이력에서 배운다
Data Journey의 각 인스턴스는 이력과 증거를 남깁니다. 그것으로 결함의 근본 원인을 찾고, 팀의 개선을 돕고, 프로덕션 오류와 미달 SLA가 개선되었다는 증거를 공유할 수 있습니다.
-
XX
Data Journey는… 비즈니스 워크플로가 될 수도 있다
Data Journey 인스턴스는 보통 데이터에서 가치를 만들어 내는 배치 또는 스트리밍의 기술적 단계를 나타냅니다. 하지만 어떤 Data Journey 인스턴스는 “현실 세계”의 비즈니스 워크플로를 나타냅니다. 특정 고객이 그 Data Journey로 해당 프로세스의 상태를 확인할 수도 있습니다.
-
XXI
Data Journey는… 배포 위험을 낮춘다
Data Journey로 개발 중 회귀의 영향을 찾으십시오. 수동 분석이나 정적 분석만 믿고 코드를 프로덕션에 배포할 수는 없습니다. Data Journey를 활용해 개발 단계에서 코드의 회귀 테스트를 자동화하고, 변경의 영향을 찾으십시오.
-
XXII
Data Journey는… 오류를 줄이고 생산성을 높인다
프로덕션의 문제를 찾고 고치는 데 시간을 쓰면 데이터 분석 팀의 생산성은 떨어집니다. Data Journey 안에서 발견되지 않은 오류는 값비싼 비즈니스 실수를 낳고, 고객의 신뢰를 무너뜨리며, 컴플라이언스 위험을 가져올 수도 있습니다.
품질부터 시작하라
Data Journey는 각 체크포인트의 테스트만큼만 좋습니다. 어떤 단계가 늦게 실행되었다는 것은 Data Journey가 알려 줄 수 있지만, 그 안의 숫자가 틀렸다는 것은 테스트만이 알려 줄 수 있습니다. 그러니 자동화된 데이터 테스트로 시작하십시오. 가장 비용이 적게 드는 단계이고, 고객이 가장 먼저 체감하는 단계입니다. DataOps 품질 매니페스토가 24가지 원칙으로 그 방법을 제시합니다. 오픈 소스 DataOps TestGen으로 시작하십시오.
이미 매니페스토에 서명한 사람들과 함께하십시오
고객보다 먼저 문제를 찾고 싶은 데이터 엔지니어, 분석가, 데이터 리더들과 함께 이름을 올려 주십시오.
오픈 소스로 매니페스토를 실천하기
DataOps Process Observability
Monitor every Data Journey from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks across every tool before your customer does.
Get Process ObservabilityDataOps TestGen
Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.
Install TestGen