Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-02-26

1 В работе с данными приходится собирать их из разных источников и объединять в единую структуру. В библиотеке Pandas реализован функционал для таких операций над табличными данными в виде методов:

2 <ul><li>concat()</li>

3 <li>join()</li>

4 <li>merge()</li>

5 </ul>На данном уроке рассмотрим практические случаи, в которых они применяются.

6 <h2>Метод concat()</h2>

7 За основу возьмем данные о кликах на сайтах 4 магазинов за 28 дней.

8 Разобьем исходные данные на два датафрейма за первую и вторую недели месяца. Это операция делается с использованием срезов.

9 Операция, обратная разбиению - конкатенация, применяется, чтобы собрать куски данных в единый фрагмент. Если предположить, что отчетные материалы за разные недели лежат в разных таблицах, а для аналитика необходимо поработать над всеми значениями сразу, то можно использовать метод concat(). В качестве параметров ему передается список тех датасетов, которые необходимо объединить:

10 Рассмотрим ситуацию, в которой данные разбиты по парам магазинов. Возможно, это данные из разных городов, и лежат они в разных таблицах баз данных:

11 Чтобы собрать их в единое целое, применяется метод concat(), но указывается направление объединения с помощью параметра axis:

12 <ul><li>0 - объединение происходит по строкам</li>

13 <li>1 - по столбцам</li>

14 </ul>Стоит быть внимательными с направлением объединения. Если его не указать в данном примере, то результат будет не тот, который ожидается:

15 Фрагменты данных наподобие срезов по неделям и парам магазинов довольно типичная ситуация. Однако бывают случаи, когда срезы делаются по разным пересекающимся промежуткам времени. Рассмотрим данные кликов для пар магазинов за пять рабочих дней:

16 Здесь дни месяца не совпадают, но пересекаются. Для объединения также используется метод concat(), который объединит по соответствующим индексам и оставит пропуски в тех днях, для которых значений нет.

17 <h2>Метод join()</h2>

18 Метод concat() позволяет производить операции конкатенации по направлениям. Однако при работе с данными часто требуется более сложное объединение по индексам. Одним из методов для таких операций является метод join():

19 Важно отметить, что join() - это метод объекта DataFrame, который позволяет объединять два датафрейма по индексам. При этом результат зависит от того, к какому датафрейму применяется метод. Если поменять местами датафреймы в примере выше, результат будет отличаться:

20 В примерах выше результирующий датафрейм содержит все индексы того датафрейма, к которому применялся метод. Такой способ объединения соответствует left join и применяется по умолчанию. Метод join() поддерживает различные сценарии объединения, включая:

21 <ul><li>inner join - объединение по пересечению индексов</li>

22 <li>left join - включает все индексы левого датафрейма</li>

23 <li>right join - включает все индексы правого датафрейма</li>

24 <li>outer join - объединение по всем индексам обоих датафреймов</li>

25 </ul>Для их использования задаётся параметр how:

26 left join:

27 right join:

28 inner join:

29 outer join:

30 Метод join() работаетпо индексам по умолчанию, но можно указывать конкретные колонки через параметр on. Если нужно объединять по колонкам с разными названиями, лучше использовать merge().

31 <h2>Метод merge()</h2>

32 Объединение данных можно производить не только по индексам, но и по столбцам значений двух датафреймов. Для этого не достаточно функционала метода join(), который может производить объединения по индексам датафреймов. Для таких случаев в Pandas используется метод merge().

33 Рассмотрим датасет с кликами, в котором дни месяца указаны в столбце day, а не в индексе строк:

34 Будем решать задачу по объединению двух датасетов, содержащих пятидневные срезы по парам магазинов:

35 Для их объединения необходимо указать сперва левый, а затем правый датафреймы. Также нужно определить по каким столбцам в каждом из датафреймов будет происходить объединение.

36 Также как и в методе join() в методе merge() поддерживаются различные сценарии объединения данных:

37 inner merge:

38 left merge:

39 right merge:

40 outer merge:

41 Метод merge() чаще используется для объединения по колонкам, а join() - по индексам. Можно объединять по нескольким колонкам одновременно, передав список: on=['key1','key2']. Метод merge() полностью аналогичен SQL JOIN по типу объединения (inner, left, right, outer).

42 <h2>Выводы</h2>

43 На данном уроке мы познакомились с различными методами Pandas для объединения табличных данных. Рассмотренные методы применяются по мере усложнения производимой операции:

44 <ul><li>concat() - данные объединяются по строкам или по столбцам с сохранением всех значений</li>

45 <li>join() - объединяюся датафреймы по индексам</li>

46 <li>merge() - объединяются датафреймы по наборам столбцов</li>

47 </ul>Как мы увидели, методы join() и merge() поддерживают при этом различные сценарии объединений. Используя набор данных методов, аналитик может собирать довольно сложные таблицы по набору фрагментов данных.