Аналитическая культура. От сбора данных до бизнес-результатов



Книга Карла Андерсона "Аналитическая культура"(Creating a Data-Driven Organization) - это пошаговое руководство по внедрению Data-driven-культуры в компанию — от сбора данных и наглядных отчетов до анализа и обоснованных решений.

В частности Data-Driven Organization это состояния при котором такие инструменты как machine learning могут быть очень эффективны. Сейчас тема machine learning сильно раздута, но при этом для многих это некий магический черный ящик, который можно один раз настроить, для какого то бизнеса процесса, и он будет сам по себе жить и давать отличные предикшены. К сожалению пока это не всегда так.





Автор книги пытается ответить на два основных вопроса:
  • что означает для компании управление на основе данных?
  • как компания может к нему прийти?
Во многих компаниях генерируется множество отчетов, реализованы различные дашборды, но  обычно они ретроспективны, то есть часто лишь представляют прошлые или настоящие факты без обеспечения достаточного контекста, без объяснения причинно-следственных связей, а также без рекомендаций, какие шаги предпринять. Иными словами, они фиксируют произошедшее, но ничего не предписывают. В этом отношении их потенциал роста ограничен.

В противовес следует рассматривать типы перспективного анализа, такие как прогнозные модели, которые способствуют оптимизации расходов на рекламу, пополнению цепочки поставок или снижению оттока покупателей. Они отвечают на вопросы «кто», «что», «когда», «почему» и «где». На основе моделей люди дают рекомендации, делают прогнозы и интерпретируют полученные данные.

Однако для получения подобных выводов требуется, чтобы были собраны правильные, заслуживающие доверия данные, анализ был проведен качественно, выводы учитывались при принятии решений, а решения подразумевали конкретные действия, чтобы потенциал был полностью реализован.

Ориентацию на использование данных можно представить в виде непрерывного процесса: компания всегда может повысить свой уровень управления на основе данных, улучшить качество собираемых данных и аналитического процесса, провести больше тестирований.

Отчетность — процесс организации данных в информационные сводки для отслеживания того, как функционируют разные сферы бизнеса

Анализ — преобразование данных в выводы, на основе которых будут приниматься решения и осуществляться действия с помощью людей, процессов и технологий.

ОтчетАнализ
ОписательныйДает рекомендации
Что?Почему?
РетроспективныйПерспективный
Поднимает вопросыОтвечает на вопросы
Данные → информацияДанные + информация → выводы
Отчеты, дашборды, оповещения Наблюдения, рекомендации, прогнозы
Отсутствие контекстаКонтекст + история

Оповещения фактически представляют собой отчеты о том, что происходит в настоящее время. Обычно они обеспечивают конкретные данные в рамках тщательно разработанных показателей.

Гипотетические основные вопросы, на которые отвечает аналитика, по Дэвенпорту.

Про­шлоеНа­сто­я­щееНа­сто­я­щее
Ин­фор­ма­цияЧто случилось? ОтчетЧто происходит сейчас? ОповещениеЧто произойдет? Экстраполяция
ВыводыКак и почему это произошло? Моделирование, Экпериментальное планированиеКакой следующий оптимальный шаг? РекомендацииЧто самое плохое\хорошее может произойти? Прогноз, оптимизация, симуляция


Данные — ключевой компонент. Необходимо, чтобы набор данных соответствовал вопросу, который требуется решить. Помимо этого, данные должны быть своевременными, точными, чистыми, объективными, и, что важнее всего, они должны заслуживать доверия.
Часто приходится слышать, что специалисты по работе с данными до 80% времени тратят на их сбор, очистку и подготовку и только 20% — на построение моделей, процесс анализа, визуализацию и формулировку заключений на основе этих данных.

Человеческий фактор в управлении компанией на основе данных — важнейший: необходимы люди, способные задавать правильные вопросы, люди с необходимыми навыками для получения нужных данных и показателей, люди, использующие данные для планирования следующих шагов. Иными словами, одни лишь данные мало чем помогут компании.

Аналитическая цепочка ценности. В компании с управлением на основе данных данные ложатся в основу отчетов, способствующих проведению более глубокого анализа. Результаты анализа влияют на процесс принятия решений, определяющий направление, в котором движется компания, и обеспечивающий ценность.

Технологии и обучение могут обеспечить первую часть плана: помочь специалистам по работе с данными с проведением анализа и представить результаты этого анализа. Однако именно от корпоративной культуры компании зависит, обратят ли на данные и результаты анализа внимание, будут ли им доверять и предпринимать на их основе конкретные действия.

Для компании с управлением на осно­ве данных именно данные — основной фактор, обусловливающий стратегию и влияющий на нее. В такой компании формируется конструктивная корпоративная культура, при которой данным доверяют, а результаты анализа бывают высокозначимыми, информативными и используются для определения следующих шагов.

В 2009 году Джим Дэвис, старший вице-президент и директор по маркетингу SAS Institute, выделил восемь уровней аналитических данных:
  • Стандартные отчеты
  • Ad hoc отчеты
  • Детализация по запросу (или интерактивная аналитическая обработка, OLAP)
  • Оповещения
  • Статистический анализ
  • Прогнозирование
  • Прогнозное моделирование
  • Оптимизация


Максимальный уровень развития аналитики в компании положительно коррелирует с уровнем инвестиций в аналитику, использованием данных и прочими составляющими аналитической конкурентоспособности. Если в компании принято работать только с оповещениями и специальными отчетами, значит, она в меньшей степени инвестирует в аналитическое направление и для нее в меньшей степени характерно управление на основе данных.



Мне книга показалась достаточно интересной, особенно для первого знакомства с основной идей и общего вектора построения стратегии внедрения data driven.

Дальше будет совсем краткое описания каждой главы книги.

Качество данных
Данные — это фундамент, на котором держится компания с управлением на основе данных. Если люди, принимающие решения, не располагают своевременной, релевантной и достоверной информацией, у них не остается другого выхода, как только положиться на собственную интуицию. Качество данных — ключевой аспект.

В этой главе обсуждается, как обеспечить правильность процесса сбора данных. С этой точки зрения качество данных выражается в их точности, своевременности, взаимосвязанности и так далее. И о том, как убедиться, что мы собираем правильные данные.

Сбор данных
В этой главе фокус сместится на выбор правильных источников для сбора данных и предоставления специалистам по аналитике. Как расставить приоритеты при выборе источников данных, как осуществить сбор данных, как определить ценность данных для компании.

Специалисты по аналитике
Человеческий фактор — важный компонент компании с управлением на основе данных.
Эта глава посвящена специалистам по аналитике: разным их типам и навыкам, которыми они должны обладать.

Типы специалистов по аналитике
  • АНАЛИТИК
  • ИНЖЕНЕРЫ В ОБЛАСТИ ОБРАБОТКИ ДАННЫХ И АНАЛИЗА
  • БИЗНЕС-АНАЛИТИКИ
  • DATA SCIENTISTS
  • СПЕЦИАЛИСТЫ ПО СТАТИСТИКЕ
  • КВАНТЫ
  • СПЕЦИАЛИСТЫ ПО ЭКОНОМИЧЕСКОМУ АНАЛИЗУ И ФИНАНСОВЫЕ АНАЛИТИКИ
  • СПЕЦИАЛИСТЫ ПО ВИЗУАЛИЗАЦИИ ДАННЫХ
Организация работы аналитиков в компании
  • ЦЕНТРАЛИЗОВАННАЯ МОДЕЛЬ
  • ДЕЦЕНТРАЛИЗОВАННАЯ МОДЕЛЬ

Анализ данных/Разработка показателей
Анализ — преобразование данных в выводы, на основе которых будут приниматься решения и строиться действия с помощью людей, процессов и технологий.

Рассмотрены такие аспекты, как виды анализа данных, разработка показателей, извлечение практических выводов, презентация этих выводов, идей и рекомендаций руководителям.

ДАННЫЕ, ИНФОРМАЦИЯ И ЗНАНИЯ
Данные представляют собой сырые, необработанные факты об окружающем мире. Информация — собранные, обработанные данные, в то время как знания — это набор ментальных моделей и убеждений об окружающем мире, который сформировался на основе информации, полученной на протяжении какого-то периода времени.

Шесть типов анализа данных
  • описательный (descriptive)
  • разведочный (exploratory)
  • индуктивный (inferential)
  • прогностический (predictive)
  • каузальный (причинно-следственный) (causal)
  • механистический (mechanistic)

Сторителлинг на основе данных
Обсуждается как «упаковывать» сделанные выводы и рекомендации и презентовать их руководству и другим заинтересованным лицам, чтобы это способствовало повышению качества дискуссии и процесса принятия решений на всех уровнях.

A/B-тестирование
Описаны практические рекомендации по A/B-тестированию.
Тема A/B-тестирование достаточно интересная и очевидно заслуживает отдельного обсуждения.

Принятие решений
Эта глава посвящена тому звену в аналитической цепочке ценностей, которое, вероятно, обычно обсуждается меньше всего, — непосред­ственно процессу принятия решений. В компании может осуществляться качественный и своевременный сбор необходимых данных, может быть опытный специалист по работе с этими данными, который составляет полезные отчеты и модели и формулирует важные выводы и рекомендации. Но если эти отчеты пылятся на полках или руководитель принимает решения по наитию, независимо от того, что показывают данные, то это все лишено смысла.

HiPPO — аббревиатура от highest paid person’s opinion, то есть «мнение самого высокооплачиваемого сотрудника»

Корпоративная культура на основе данных
Основы работы с данными: с доступа к данным, обмена ими и широкого обучения, как их использовать. Затем переход к обсуждению корпоративной культуры, где сначала ставятся цели, разрабатываются критерии успеха, показатели и схема эксперимента, а после существует возможность обсуждения результатов эксперимента, их интерпретации и анализа. За этим последует обсуждение итераций, обратной связи и обучения. Как организовать управление на основе данных «сверху вниз».

Топ-менеджмент компании с управлением на основе данных
  • Chief Data Officer
  • Chief Analytics Officer
Вопросы конфиденциальности, этики и риска
Больше данных, больше доступа, больше аналитики означают большую власть и больше риска.

Заключение




К сожалению пока не так много информацию на эту тему, привел несколько неплохих, на мой взгляд, статей.


Комментарии

Популярные сообщения из этого блога

Асинхронное выполнение процедур или триггера в MS SQL Server

Рекурсивные SQL запросы

Кратко про SQLAlchemy Core