Rivalry2

HTML Diff

1 added 1 removed

Original 2026-01-01

Modified 2026-02-26

1 При анализе информации и данных часто нужно строить графики, диаграммы и гистограммы. Визуализация помогает оценивать масштабы значений, сравнивать показатели, понимать тренды и многое другое.

2 В библиотеке Pandas есть встроенный функционал для большинства типов графиков. Эти методы построены на базе библиотеки Matplotlib - одного из популярных среди аналитиков решений для визуализации на Python. В этом уроке мы познакомимся с часто используемыми в анализе данных инструментами визуализации библиотеки Pandas и научимся применять их на практике.

3 Работать будем на датасете кликов с сайтов четырех магазинов одной сети:

4 В данных есть ошибки: пропущенные, отрицательные и сильно завышенные значения кликов.

5 <h2>Влияние ошибок в данных на результаты анализа</h2>

6 Чтобы построить линейный график, используем метод plot():

7 На графике видны разрывы, завышенные и отрицательные значения - это говорит о наличии ошибок.

8 Важно отметить техническую деталь при отрисовке графиков. Если использовать Jupyter Notebook, то для вывода графика достаточно выполнить код выше. Если писать код в виде обычного Python скрипта и выполнять его в терминале, то код необходимо дополнить методом отрисовки plt.show() из библиотеки matplotlib следующим образом:

9 Далее по тексту будем придерживаться способа для Jupyter Notebook.

10 Чтобы построить график конкретного магазина, необходимо указать его метку в качестве индекса и применить тот же метод plot():

11 Разрывы стали еще более наглядными. Есть пропуски для данного магазина.

12 Начнем подготовку данных. Заполним пропуски средним значением для кликов по всем магазинам:

13 Избавимся от отрицательных и слишком больших значений следующим методом. Найдем среднее и стандартное отклонение от него. Порядка 70% всех значений будет укладываться в интервал, указанный ниже:

14 Зададим маску, с помощью верхней границы данного интервала и значения в десять кликов в качестве минимального ограничения:

15 Применим данную маску для фильтрации:

16 Посмотрим, как изменился график кликов первого магазина:

17 Временная шкала не поменялась, при этом визуально график сильно разнится с предыдущим. На таком графике уже прослеживаются особенности и закономерности в изменении значений со временем.

18 Также посмотрим на всю сеть:

19 Эти графики показывают, как наличие ошибок в данных влияет на качество их анализа. После обработки на всех магазинах стала прослеживаться сезонность - волны кликов по выходным дням.

20 Кроме визуального анализа и построения гипотез о закономерностях в данных используют продвинутые алгоритмы машинного обучения. Указанным алгоритмам непросто выучить закономерности в данных при наличии в них ошибок. Аналитику необходимо перед анализом всегда готовить данные.

21 <h2>Сравнительный анализ показателей</h2>

22 Типы графиков могут быть разными. Задается тип с использованием параметра kind. На примере ниже показаны столбчатые диаграммы для первых семь дней. С их помощью можно производить анализ динамики изменений кликов по всей сети или же сравнивать значения в разрезе дней:

23 По данной столбчатой диаграмме можно сказать, что кликов на сайте магазина SHOP2 в начале недели было больше, чем во всех остальных по сети - первые три столбца слева. Также возрастает тренд в кликах ближе к выходным дням - размер столбцов увеличивается слева направо.

24 <h2>Статистический анализ</h2>

25 Анализировать статистические показатели можно с помощью визуализации плотности распределения кликов. Чтобы получить ее, нужно построить гистограмму, которая также задается через параметр kind:

26 Для первого магазина количество кликов смещено к значениям 300-350.

27 Для второго магазина наиболее типичным являются случаи кликов в интервале 350-400 в день:

28 <h2>Интегральные показатели</h2>

29 Чтобы сравнить интегральные показатели, можно использовать горизонтальные столбчатые диаграммы. В примере ниже задействован параметр fontsize, который отвечает за размер шрифта:

30 Одним из часто встречаемых в презентациях типов диаграмм является представление интегральных данных в виде пирога - круговые диаграммы:

31 Обе из диаграмм выше показывают, что в целом показатели кликов по магазинам практически совпадают.

32 <h2>Поиск зависимостей в данных</h2>

33 Чтобы найти зависимости в данных, используются различные подходы. Одним из них - корреляционный анализ. Чтобы найти в данных линейные закономерности, используют корреляцию Пирсона. При этом такой характер зависимости величин можно увидеть и на точечном графике.

34 Параметр scatter позволяет построить точки с координатами (x, y). В качестве значений координат возьмем подневные значения двух магазинов:

35 На примере выше показано, как расположились точки для 1 и 2 магазина. При этом зависимость здесь не усматривается. Но если посмотреть на пару 1 и 3 магазина, то ситуация меняется:

36 Несмотря на отклонения, точки расположились вдоль прямой - прослеживается линейная зависимость.

37 <h2>Выводы</h2>

38 В этом уроке мы рассмотрели различные типы графиков, которые доступны в Pandas для визуализации данных. С их помощью на практических примерах были продемонстрированы:

39 <ul><li>Эффекты ошибок данных на результаты анализа</li>

40 <li>Способы интегральной оценки показателей</li>

41 <li>Подходы к визуализации зависимостей в данных</li>

42 </ul>Визуализация данных упрощает:

43 <ul><li>Поиск выбросов и пропущенных значений</li>

44 <li>Анализ статистических и интегральных характеристик</li>

45 <li>Формулирование гипотез о закономерностях</li>

46 - </ul>Для аналитика визуализация является необходимым инструментом. Выполнение указанных выше операций м��жет быть невозможным при работе с большими объемами данных.

46 + </ul>Для аналитика визуализация является необходимым инструментом. Выполнение указанных выше операций может быть невозможным при работе с большими объемами данных.