Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-02-26

1 В этом курсе мы разберем библиотеку Pandas. Это один из наиболее популярных инструментов для обработки и анализа табличных данных на языке Python. После обучения вы сможете использовать инструментарий библиотеки Pandas в подготовке и анализе данных.

2 В этом вводном уроке мы разберем, по каким причинам аналитики используют эту библиотеку, и как выглядит типичный порядок работы с Pandas.

3 Чтобы организовать работу компаний и интернет-сервисов, нужны хранилища данных. Их организовывают по-разному:

4 <ul><li>Записки на бумажном носителе</li>

5 <li>Набор текстовых файлов</li>

6 <li>Электронные таблицы</li>

7 <li>Базы данных</li>

8 </ul>Табличные варианты хранения информации используются чаще, поскольку информация в них структурирована. Это удобно, когда требуется проводить анализ, расследовать инциденты, периодически подводить итоги и искать нужные данные.

9 Для проектов с небольшим объемом производимых транзакций достаточно популярных средств работы с электронными таблицами. Это могут быть:

10 <ul><li>Десктопные приложения: Microsoft Excel, LibreOffice, OfficeSuite</li>

11 <li>Облачные решения: Google Sheets</li>

12 </ul>В последнее время количество производимых операций и число пользователей или клиентов растет. Поэтому хранить данные в электронных таблицах становится накладным по следующим причинам:

13 <ul><li>Увеличение объема необходимой памяти для хранения</li>

14 <li>Недостаточная скорость записи данных</li>

15 <li>Увеличение времени на чтение и обработку данных</li>

16 </ul>В таких случаях на практике используют реляционные системы управления базами данных - СУБД. Часто их называют просто базами данных. Наиболее популярные из них: PostgreSQL, MySQL, SQL Server.

17 Для аналитика базы данных - это инструмент хранения большого количества данных в виде набора таблиц. Многие операции с электронными таблицами также реализуемы в базах данных, но с использованием особого языка - SQL.

18 Рост технологий анализа данных и машинного обучения подтолкнул многие компании к пересмотру подходов к хранению данных. Некоторые из них полностью перешли на базы данных, в некоторых часть данных осталась в виде электронных таблиц и документов. В последнем случае для анализа требуется широкий спектр инструментов.

19 Попытки создания универсального способа для анализа табличных данных привели к созданию библиотеки Pandas.

20 Широкое распространение библиотека Pandas получила по ряду причин:

21 <ul><li>Написана на популярном языке для анализа данных и машинного обучения - Python</li>

22 <li>Использует в основе библиотеку научных и быстрых вычислений - Numpy</li>

23 <li>Работает с широким спектром типов входных данных: csv, xsl, xslx, json</li>

24 <li>Подключается напрямую к базам данных</li>

25 <li>Имеет высокоуровневый интерфейс для преобразований данных и аналитики</li>

26 </ul><h2>Типичный порядок работы с библиотекой Pandas</h2>

27 Рассмотрим последовательность действий аналитика при работе с данными. Она содержит несколько ключевых шагов:

28 <ul><li>Чтение исходных данных</li>

29 <li>Анализ данных</li>

30 <li>Обработка данных</li>

31 <li>Сохранение результатов анализа и обработки исходных данных</li>

32 </ul>Одним из распространенных типов данных является csv - comma separated values. Это текстовые данные, в которых названия и значения разделяются запятой, точкой с запятой или табуляцией.

33 Для примера рассмотрим файл data/Shop_orders.csv со значениями продаж четырех магазинов за одну неделю. Значения разделены запятой:

34 Для работы с данными импортируем модуль Pandas и воспользуемся нужным методом чтения:

35 Помимо пути к файлу необходимо указать колонку, которую считаем за индекс. В нашем случае это нулевая колонка - Weekday.

36 Для обзора считанных данных воспользуемся методом head(), который покажет первые пять строк данных:

37 Посмотрим на основные статистические показатели:

38 Одним методом удалось посмотреть среднее значение и отклонение от него, минимальное и максимальное значения и ряд персентильных значений.

39 Также одним методом можно достать средние значения по каждому магазину:

40 Остановимся в подготовке данных на центрировании значений продаж по каждому магазину. Вычтем из значений продаж среднее для данного магазина:

41 Остается сохранить полученный результат:

42 В директории с исходным файлом теперь лежит преобразованный вариант с подготовленными данными. Работа аналитика завершена.

43 <h2>Выводы</h2>

44 В рамках данного курса рассматривается библиотека Pandas. Это один из наиболее популярных инструментов для обработки и анализа табличных данных на языке Python. Большое количество поддерживаемых типов данных и функций для их обработки, высокая скорость работы и дружелюбный интерфейс выделяют ее среди конкурентов.

45 Чтобы освоить основные навыки работы с данной библиотекой, предлагаем пройти несколько шагов:

46 <ol><li>Понять основной порядок работы с данными</li>

47 <li>Узнать про интерфейсы чтения и записи данных</li>

48 <li>Поработать с индексированием</li>

49 <li>Научиться фильтровать значения в таблицах</li>

50 <li>Применить функции для обработки строк и столбцов</li>

51 <li>Построить сложные агрегации и сводные таблицы</li>

52 <li>Объединить несколько таблиц в одну</li>

53 </ol>После этих тем вы сможете уверенно использовать инструментарий библиотеки Pandas в подготовке и анализе данных.