Сообщения

Сообщения за февраль, 2018

Аналитическая культура. От сбора данных до бизнес-результатов

Изображение
Книга Карла Андерсона "Аналитическая культура"(Creating a Data-Driven Organization) - это пошаговое руководство по внедрению Data-driven-культуры в компанию — от сбора данных и наглядных отчетов до анализа и обоснованных решений. В частности Data-Driven Organization это состояния при котором такие инструменты как machine learning могут быть очень эффективны. Сейчас тема machine learning сильно раздута, но при этом для многих это некий магический черный ящик, который можно один раз настроить, для какого то бизнеса процесса, и он будет сам по себе жить и давать отличные предикшены. К сожалению пока это не всегда так. Автор книги пытается ответить на два основных вопроса: что означает для компании управление на основе данных? как компания может к нему прийти? Во многих компаниях генерируется множество отчетов, реализованы различные дашборды, но  обычно они ретроспективны, то есть часто лишь представляют прошлые или настоящие факты без обеспечения достаточного

Data analysis. NumPy. Часть 1

Изображение
Эта статья первая в серии про базовый набор инструментов для первичного анализа данных с помощью Python. В первую очередь рассмотрим базовую библиотеку для работы с многомерными массивами NumPy . Pandas позволяет эффективно работать с неоднородными данными. Удобно загружать, обрабатывать и анализировать табличные данные  с помощью SQL-подобных запросов. С помощью Matplotlib, Seaborn, Plotly реализуется отличная визуализация. Часть 1. Введение в NumPy Часть 2. Подробней о NumPy Часть 3. Первичный анализ. Pandas Часть 4. Визуализация. Matplotlib и Seaborn Часть 5. Немного machine learning с помощью scikit-learn Часть 6. Больше данных. Обучение с Vowpal Wabbit В статье будет описания и различного рода заметки, а примеры с комментариями написаны в jupyter notebook NumPy — это библиотека языка Python, добавляющая поддержку больших многомерных массивов и матриц, вместе с большой библиотекой высокоуровневых математических функций для операций с этими массивами. Создания м

Рекурсивные SQL запросы

Изображение
CTE(обобщенное табличное выражение) может ссылаться на себя, создавая рекурсивное CTE. Рекурсивное CTE многократно выполняется, чтобы возвращать подмножество данных до тех пор, пока не получится конечный результирующий набор. Обычно рекурсивные запросы используются для возвращения иерархических данных, например: отображение сотрудников в структуре организации или генерация последовательности. Структура рекурсивного CTE WITH cte_name ( column_name [,...n] ) AS ( CTE_query_definition –- Anchor member is defined. UNION ALL CTE_query_definition –- Recursive member is defined referencing cte_name. ) -- Statement using the CTE SELECT * FROM cte_name CTE разбивается на закрепленный и рекурсивный элементы. Запускается закрепленный элемент с созданием первого вызова. Рекурсивный элемент ссылается на закрепленный и вызывается пока не вернет пустой набор. Классический пример с сотрудниками DECLARE @Employees TABLE ( ID int NOT NULL, [Name] nvarchar(200) NOT NULL, Manag