Как работать с датами в pandas
Библиотека Pandas — это весьма эффективный инструмент для обработки данных, представляющих собой временные ряды. На самом деле, эта библиотека была создана Уэсом МакКинни для работы с финансовыми данными, которые состоят, главным образом, из временных рядов.
При работе с временными рядами много сил уходит на выполнение различных операций с датой и временем. Этот материал посвящён ответам на четыре распространённых вопроса из данной сферы.

Возможно, вы уже сталкивались с этими вопросами. Ответить на все из них, кроме последнего, можно сравнительно просто. А вот ответ на последний, довольно-таки хитрый вопрос, представляет собой последовательность из нескольких действий.
Начнём с создания учебного датафрейма (объекта DataFrame ), с которым будем экспериментировать:
df = pd.DataFrame(< "booking_id": [1001, 1002, 1003, 1004, 1005], "property" : ["A", "A", "B", "B", "C"], "created_at": ["2022-03-01", "2022-02-10", "2022-04-12", "2022-04-11", "2022-06-05"], "checkin_date": ["2022-06-01", "2022-06-10", "2022-06-02", "2022-06-20", "2022-08-10"], "checkout_date": ["2022-06-06", "2022-06-15", "2022-06-06","2022-06-28", "2022-08-16"], "amount": [5400, 5600, 4800, 9000, 6500] >) # изменение типа данных date_cols = ["created_at","checkin_date","checkout_date"] df[date_cols] = df[date_cols].astype("datetime64[ns]") # вывод объекта DataFrame df

Для того чтобы у нас была бы возможность пользоваться функциями pandas, предназначенными для работы с датой и временем, даты в датафрейме должны быть представлены значениями подходящего типа данных. Именно по этой причине мы поменяли тип данных соответствующих столбцов на datetime64[ns] .
1. Как извлечь из даты информацию о месяце и годе?
Дата содержит различные фрагменты информации, такие как год, день недели, месяц и так далее. Все эти фрагменты можно извлечь из даты с использованием методов, к которым обращаются через аксессор dt .
Например, месяц можно получить с помощью метода month . А как получить сведения о годе и месяце в формате ГГГГ-ММ ? Ответ на этот вопрос уже не так очевиден. Извлечь эти сведения из даты можно, прибегнув к методу to_period :
# создание столбца year_month df["year_month"] = df["created_at"].dt.to_period("M") # вывод объекта DataFrame df

2. Как прибавить к дате временной интервал?
Прибавление к датам временных интервалов или вычитание их из дат — это одна из операций, часто встречающихся при работе с датами. Выполнить её можно, воспользовавшись функцией DateOffset .
Добавим 1 день к дате выселения (например — из некоего объекта недвижимости) ( checkout_date ) для записи о бронировании с идентификатором 1001 :
df.loc[df["booking_id"]==1001, "checkout_date"] = \ df.loc[df["booking_id"]==1001, "checkout_date"] + \ pd.DateOffset(days=1) # проверка результата print(df.loc[df["booking_id"]==1001, "checkout_date"]) # вывод 0 2022-06-07 Name: checkout_date, dtype: datetime64[ns]
3. Как найти интервал в днях между двумя датами?
Интервал между двумя датами можно найти, вычтя одну из другой. Результатом этой операции будет объект Timedelta , а это не совсем то, что нам нужно:
df["checkout_date"][0] - df["checkin_date"][0] # вывод Timedelta('6 days 00:00:00')
Получить разницу между датами в днях, в виде целого числа, можно, воспользовавшись атрибутом days . Создадим столбец, который выводит разницу в днях между датой вселения ( checkin_date ) и датой создания бронирования ( created_at ):
# разница, выраженная в днях df["days_to_checkin"] = \ (df["checkin_date"] - df["created_at"]).dt.days # вывод объекта DataFrame df

4. Как сформировать последовательность дат между начальной и конечной датами?
Предположим, нам нужен календарь, который показывает дни, в которые объект недвижимости забронирован. Сейчас в первой строке датафрейма есть запись о том, что объект недвижимости A забронирован с 2022–06–01 по 2022–06–07 . Получается, что объект A забронирован на даты 2022–06–01 , 2022–06–02 , 2022–06–03 , 2022–06–04 , 2022–06–05 , 2022–06–06 (если предположить, что постоялец выселяется в 10 утра 2022–06–07 ).
Такой календарь можно создать, найдя даты между датами вселения и выселения и внеся их в объект DataFrame .
Для начала создадим датафрейм calendar , содержащий столбцы property , checkin_date и checkout_date :
# создание объекта DataFrame calendar calendar = df[["property","checkin_date","checkout_date"]]
Функция date_range даёт нам даты, находящиеся между начальной и конечной датами. Вот что получится для первой записи о бронировании:
pd.date_range(calendar["checkin_date"][0], calendar["checkout_date"][0]) # вывод DatetimeIndex(['2022-06-01', '2022-06-02', '2022-06-03', '2022-06-04', '2022-06-05', '2022-06-06', '2022-06-07'], dtype='datetime64[ns]', freq='D')
Тут есть одна проблема: нам не нужно, чтобы дата выселения ( checkout_date ) была бы показана как дата, когда объект недвижимости забронирован. Поэтому мы, прежде чем находить диапазон дат, вычтем 1 из даты выселения.
Для того чтобы сделать это для всех строк, нужно воспользоваться функцией apply . Мы, кроме того, конвертируем вывод функции date_range в список, воспользовавшись конструктором list :
# создание столбца booked_days calendar.loc[:, "booked_days"] = calendar.apply( lambda x: list( pd.date_range( x.checkin_date, x.checkout_date - pd.DateOffset(days=1) ).date ), axis = 1 ) # вывод объекта DataFrame calendar

Далее — нам нужно заполнить датафрейм, развернув даты из столбца booked_days . В этом нам поможет функция explode :
# функция explode calendar = calendar.explode( column="booked_days", ignore_index=True )[["property","booked_days"]] # вывод первых 5 строк calendar.head()

Теперь у нас имеется календарь дней, в которые объект недвижимости забронирован.
Итоги
Мы нашли ответы на 4 вопроса, решили 4 задачи, с которыми вы, скорее всего, столкнётесь, работая с временными рядами, содержащими даты. Надеемся, вам пригодится то, о чём вы сегодня узнали.
О, а приходите к нам работать?
Мы в wunderfund.io занимаемся высокочастотной алготорговлей с 2014 года. Высокочастотная торговля — это непрерывное соревнование лучших программистов и математиков всего мира. Присоединившись к нам, вы станете частью этой увлекательной схватки.
Мы предлагаем интересные и сложные задачи по анализу данных и low latency разработке для увлеченных исследователей и программистов. Гибкий график и никакой бюрократии, решения быстро принимаются и воплощаются в жизнь.
Сейчас мы ищем плюсовиков, питонистов, дата-инженеров и мл-рисерчеров.
Вытащить день из даты
Доброго времени суток. Пытаюсь вытащить день (числовое значение дня) из столбца с датами и вставить это число в новую колонку. Пример ниже видел как используют для значения Now(), но для работы с колонкой он видимо не подходит( Подскажите пожалуйста как лучше решить эту задачу или тут проще использовать for и loc для решения?
from datetime import datetime df1[‘новая колонка’] = datetime.datetime(df1[‘Дата’]).day #дата в колонке df1[‘Дата’] в формате 01.01.2020 16:58:55
Лучшие ответы ( 1 )
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
Ответы с готовыми решениями:

Отсортировать даты по 4 параметрам: год, месяц, день, время
Есть даты такого формата: Fri, 28 Mar 2014 16:42:58 PDT Fri, 28 Mar 2014 15:16:47 PDT Sat, 29.

С некоторой даты по настоящий день прошло m месяцев, определить название месяца неизвестной даты
С некоторой даты по настоящий день прошло m месяцев, определить название месяца неизвестной даты.
Как вытащить из даты-день,месяц,год,день недели?
Cells(i, 5).Value = Day(CDate(Cells(i, 3).Value)) Cells(i, 6).Value = Month(CDate(Cells(i.

Вытащить день нелели из даты
Требуеться вытащить день недели из даты. Java.util.GrigorianCalendar.
Как выделить из даты день, месяц, день недели
В Delphi пишу програмку для работы с Access. Там хранится табличка с полями HB_rukov (HB_rukov.ID.
![]()
7651 / 4098 / 1791
Регистрация: 27.03.2020
Сообщений: 6,913

Сообщение было отмечено fandreychu как решение
Решение
fandreychu,
1 2 3 4 5
import pandas as pd df = pd.DataFrame(pd.date_range('3/11/2021', periods=31), columns = ['my_data']) df['DAY1'] = pd.DatetimeIndex(df['my_data']).day df['DAY2'] = df['my_data'].dt.day print(df)
Регистрация: 03.12.2017
Сообщений: 25
Gdez, спасибо огромное, работает) Использовал 4 строку. Если правильно понял datetime импортировать вобще ненужно. Работа с датами идёт через dt, а как уточнение того что хотим получить day.
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
Помогаю со студенческими работами здесь
С некоторой даты по настоящий день прошло m месяцев, определить название месяца неизвестной даты
Составить программу (при решении данных задач использовать оператор switch или вложенные операторы.
Напишите запрос, который выводит все даты текущего и день недели каждой даты
7. Напишите запрос, который выводить все даты текущего и день недели каждой даты. Проще говоря.

С некоторой даты по настоящий день прошло m месяцев, определить название месяца неизвестной даты
С некоторой даты по настоящий день прошло m месяцев, определить название месяца неизвестной даты.
Как извлечь месяц из даты в Pandas (с примерами)
Вы можете использовать следующий базовый синтаксис для извлечения месяца из даты в pandas:
df['month'] = pd.datetimeIndex(df['date_column']). month
В следующем примере показано, как использовать эту функцию на практике.
Пример: извлечь месяц из даты в Pandas
Предположим, у нас есть следующие Pandas DataFrame:
import pandas as pd #create DataFrame df = pd.DataFrame() #view DataFrame print(df) sales_date total_sales 0 2020-01-18 675 1 2020-02-20 500 2 2020-03-21 575
Мы можем использовать следующий синтаксис для создания нового столбца, содержащего месяц столбца «дата_продажи»:
#extract month as new column df['month'] = pd.datetimeIndex(df['sales_date']). month #view updated DataFrame print(df) sales_date total_sales month 0 2020-01-18 675 1 1 2020-02-20 500 2 2 2020-03-21 575 3
Мы также можем использовать следующий синтаксис для создания нового столбца, содержащего год столбца «дата_продажи»:
#extract year as new column df['year'] = pd.datetimeIndex(df['sales_date']). year #view updated DataFrame print(df) sales_date total_sales month year 0 2020-01-18 675 1 2020 1 2020-02-20 500 2 2020 2 2020-03-21 575 3 2020
Обратите внимание, что если в DataFrame есть какие-либо значения NaN, эта функция автоматически создаст значения NaN для соответствующих значений в новых столбцах месяца и года.
Дополнительные ресурсы
В следующих руководствах объясняется, как выполнять другие распространенные операции в pandas:
Как выделить из даты месяц в pandas dataframe?
Есть датасет, в котором один признак — дата. Как из полной даты (тип данных datetime64) например 2020-01-01 получить категориальный тип данных «январь» или «1»? Пробовал делать через сплит — ошибка ‘Timestamp’ object has no attribute ‘split’
Отслеживать
24.8k 4 4 золотых знака 20 20 серебряных знаков 36 36 бронзовых знаков
задан 26 дек 2020 в 9:22
33 1 1 серебряный знак 7 7 бронзовых знаков
df[“column_name”].dt.month
26 дек 2020 в 9:31
Спасибо большое!
26 дек 2020 в 11:52
0
Сортировка: Сброс на вариант по умолчанию
Знаете кого-то, кто может ответить? Поделитесь ссылкой на этот вопрос по почте, через Твиттер или Facebook.
- python
- pandas
-
Важное на Мете
Похожие
Подписаться на ленту
Лента вопроса
Для подписки на ленту скопируйте и вставьте эту ссылку в вашу программу для чтения RSS.
Дизайн сайта / логотип © 2023 Stack Exchange Inc; пользовательские материалы лицензированы в соответствии с CC BY-SA . rev 2023.10.27.43697
Нажимая «Принять все файлы cookie» вы соглашаетесь, что Stack Exchange может хранить файлы cookie на вашем устройстве и раскрывать информацию в соответствии с нашей Политикой в отношении файлов cookie.