Русский

МанифестData Journey

За годы работы со множеством команд аналитики данных на самых разных технологиях мы пришли к убеждению, что ключ к успеху в том, чтобы сокращать ошибки и дефекты в процессе получения аналитических выводов. Клиенты стыдили нас и обвиняли в проблемах с данными, которых мы не создавали. Мы застревали в доставшихся нам процессах обработки данных, в которых не могли разобраться, и каждое утро с ужасом ждали, что что-то сломается в наших данных, отчетах, моделях или других результатах для клиентов. Мы устали от стресса и от потерянной продуктивности, которых требует поиск проблем глубоко внутри системы. Нам нужен метод, который позволит наблюдать за сложными путями наших данных, чтобы избегать проблем, ошибок и недовольства клиентов.

Подпишите манифест

22 принципа, плюс один. Выберите принцип, чтобы перейти к нему.

I-XI

Принципы

  1. I

    Определите и знайте, как должно быть

    В любой момент, в любой системе аналитики данных, знайте, как должно быть, как есть на самом деле, и точную разницу между этими двумя состояниями.

  2. II

    Пусть надежда будет редкостью

    Надеяться, что ваши системы данных работают в продакшене, это не стратегия. Это рецепт провала.

  3. III

    Если проблемы находят клиенты, это недопустимо

    Клиенты не должны находить проблемы в вашей аналитике данных. Находите проблемы раньше, чем ваш клиент.

  4. IV

    Не доверяйте своим поставщикам данных

    Одни поставщики данных знают свое дело, другие еле-еле выполняют нежеланную работу. В любом случае поставщики ошибаются. Привыкайте. Защищайтесь от этого. Используйте это как возможность для улучшений.

  5. V

    Не думайте, что то, что работало на прошлой неделе, работает сегодня

    Ваша команда постоянно меняет код и конфигурацию в вашем хозяйстве данных. Убедитесь, что все по-прежнему работает.

  6. VI

    Находите проблему быстро

    Найти точный источник проблемы (в сырых данных, интегрированных данных, моделях, отчетах, серверах, программном обеспечении и/или коде) значит выиграть полдела.

  7. VII

    Идеальное качество данных не панацея

    Даже при идеальном качестве исходных данных многое другое все равно может пойти не так.

  8. VIII

    Избегайте ручного тестирования качества как огня

    Полностью автоматизируйте тестирование своих данных и инструментов.

  9. IX

    Ваше производство данных это фабрика

    Прислушайтесь к урокам Toyota, Lean и Deming. Каждый инструмент в системе (загрузка данных, трансформация, база данных, прогнозная модель и визуализация) это рабочее место на этом сборочном конвейере.

  10. X

    Сложным архитектурам данных нужен центр управления полетами, как у NASA

    Наши современные архитектуры данных построены на показной сложности. В вашей архитектуре данных множество «маленьких коробочек», и каждая из них может отказать.

  11. XI

    Следуйте принципам DataOps

    Пусть идеи dataopsmanifesto.org направляют вашу команду данных в разработке и в продакшене.

XII-XXII

Нам нужна новая идея: Data Journey

  1. XII

    Data Journey… это слой ожиданий

    Data Journeys описывают ожидания для всех бесчисленных путей, которые данные проходят от источника до ценности, которую вы поставляете своему клиенту.

  2. XIII

    Data Journey… наблюдает, но ничего не «запускает»

    Data Journeys отслеживают и контролируют все уровни стека данных, от проверки качества данных до серверов, программного обеспечения, кода, затрат и загрузки ресурсов. Это «цифровой двойник» сложных пакетных и потоковых архитектур данных. Data Journeys хранят ожидания и ничего не «запускают».

  3. XIV

    Data Journey… оповещает в реальном времени

    Data Journey дает статусы и оповещения в реальном времени. С этой информацией вы знаете, все ли отработало вовремя и без ошибок, и сразу видите те части, которые не отработали.

  4. XV

    Data Journey… идет вширь и вглубь

    Data Journeys определяют происхождение процесса для множества сложных элементов, которые поставляют аналитические выводы. Они охватывают компоненты «вширь», по всей цепочке инструментов, и «вглубь», по всему технологическому стеку, включая логи, сообщения, статусы запусков, метрики, тесты проверки данных и другую информацию из вашего хозяйства данных.

  5. XVI

    Data Journey… группирует компоненты

    У Data Journey много компонентов. Перефразируя «Анну Каренину»: все счастливые, безошибочные Data Journeys похожи друг на друга, каждый несчастливый Data Journey сломан по-своему. Data Journeys быстро находят «несчастливый» компонент.

  6. XVII

    Data Journey… доверяет, но проверяет

    «Доверяй, но проверяй» это старая русская пословица. Доверие появляется, когда вы отслеживаете каждый компонент своего Data Journey, а затем проверяете данные, которые через него проходят. Тестируйте, проверяйте и ищите аномалии на каждом шаге.

  7. XVIII

    Data Journey… делится расписаниями

    Ваше производственное расписание общее достояние, делитесь им широко. Используйте его, чтобы разрушить барьеры между инженерами, которые построили компоненты Data Journeys, операторами, которые их запускают, клиентами, которые ими пользуются, и менеджерами, на которых кричат, когда что-то идет не так.

  8. XIX

    Data Journey… учится на истории продакшена

    Каждый экземпляр Data Journey дает историю и доказательства, чтобы найти первопричину дефекта, помочь команде стать лучше и показать, что ошибок в продакшене и невыполненных SLA становится меньше.

  9. XX

    Data Journey… может быть и бизнес-процессом

    Экземпляр Data Journey обычно представляет пакетные или потоковые технические шаги, которые создают ценность из данных. Однако некоторые экземпляры Data Journey представляют бизнес-процесс «в реальном мире». Конкретный клиент может использовать такой Data Journey, чтобы проверить статус этого процесса.

  10. XXI

    Data Journey… снижает риск развертывания

    Используйте Data Journey, чтобы находить последствия регрессий еще в разработке. Нельзя выпускать код в продакшен на основе ручного или статического анализа. Используйте Data Journey, чтобы автоматически проводить регрессионное тестирование кода в разработке и видеть последствия изменений.

  11. XXII

    Data Journey… сокращает ошибки и повышает продуктивность

    Продуктивность вашей команды аналитики данных падает, когда она тратит время на поиск и исправление проблем в продакшене. Невыявленные ошибки в ваших Data Journeys приводят к дорогостоящим бизнес-ошибкам, подрывают доверие клиентов и могут нести риски несоответствия требованиям.

Начните с качества

Data Journey хорош ровно настолько, насколько хороши тесты в каждой контрольной точке. Он может сказать, что шаг выполнился с опозданием, но только тест скажет, что цифры внутри неверны. Поэтому начните с автоматических тестов данных: это самый дешевый шаг, и ваш клиент почувствует его первым. Манифест качества DataOps объясняет, как это сделать, в 24 принципах. Начните с DataOps TestGen с открытым исходным кодом.

Присоединяйтесь к тем, кто уже подписал манифест

Добавьте свое имя к инженерам данных, аналитикам и руководителям в области данных, которые предпочитают находить проблему раньше, чем их клиент.

Применяйте манифест на практике с помощью open source

DataOps Process Observability

Monitor every Data Journey from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks across every tool before your customer does.

Get Process Observability

DataOps TestGen

Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.

Install TestGen

Что почитать дальше

What Is…

Free Books

Free Training & Certification

More