【愚公系列】《Python网络爬虫从入门到精通》036-DataFrame日期数据处理
| 标题 | 详情 |
|---|---|
| 作者简介 | 愚公搬代码 |
| 头衔 | 华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。 |
| 近期荣誉 | 2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳博主等。 |
| 博客内容 | .NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人工智能、U3D游戏、小程序等相关领域知识。 |
| 欢迎 | 👍点赞、✍评论、⭐收藏 |
文章目录
- 🚀前言
- 🚀一、DataFrame日期数据处理
-
- 🔎1.📅 Pandas日期数据处理：to_datetime方法详解
-
- 🦋1.1 日期格式统一的重要性
- 🦋1.2 to_datetime核心功能
- 🦋1.3 典型应用场景
-
- ☀️1.3.1 场景1：单列格式转换
- ☀️1.3.2 多列组合日期
- 🦋1.4 高级使用技巧
-
- ☀️1.4.1 处理异常数据
- ☀️1.4.2 自定义格式解析
- ☀️1.4.3 时间戳转换
- 🦋1.5 注意事项
- 🦋1.5 完整参数说明表
- 🔎2.📅 Pandas dt对象深度解析
-
- 🦋2.1 dt对象核心功能
- 🦋2.2 常用属性方法速查表
- 🦋2.3 典型应用场景
-
- ☀️2.3.1 场景1：基础日期元素提取
- ☀️2.3.2 场景2：高级日期特征生成
- ☀️2.3.3 输出结果示例
- 🦋2.4 高级应用技巧
-
- ☀️2.4.1 多条件日期筛选
- ☀️2.4.2 自定义日期特征
- ☀️2.4.3 时间序列分析
- 🦋2.5 注意事项
- 🦋2.6 完整方法清单
- 🔎3.📅 Pandas日期区间数据筛选指南
-
- 🦋3.1 核心方法
- 🦋3.2 操作流程
-
- ☀️3.2.1 步骤1：数据预处理
- ☀️3.2.2 设置日期索引
- 🦋3.3 筛选方式对比
- 🦋3.4 实战案例演示
- 🦋3.5 注意事项
- 🦋3.6 高级扩展
-
- ☀️3.6.1 时间精度控制
- ☀️3.6.2 复合条件筛选
- ☀️3.6.3 频率重采样
- 🦋3.7 完整代码参考
- 🔎4.📊 Pandas时间序列统计与展示全攻略
-
- 🦋4.1 核心方法对比
- 🦋4.2 数据预处理关键步骤
-
- ☀️4.2.1 日期索引设置
- ☀️4.2.2 验证索引类型
- 🦋4.3 频率规则速查表
- 🦋4.4 完整代码参考
- 🦋4.5 注意事项
🚀前言
在数据分析和处理的过程中，日期数据往往扮演着至关重要的角色。无论是时间序列分析、数据可视化，还是机器学习模型的构建，正确处理日期数据都是确保分析结果准确性的基础。在Python的Pandas库中，DataFrame提供了强大的工具和方法，使得日期数据的处理变得高效而便捷。
本篇文章将深入探讨如何在DataFrame中处理日期数据，包括日期的解析、格式化、时间戳的转换、日期范围的生成以及缺失数据的处理等关键技巧。我们将通过实例演示每个操作的具体应用，帮助你深入理解如何利用Pandas轻松应对各种日期处理需求。
🚀一、DataFrame日期数据处理
🔎1.📅 Pandas日期数据处理：to_datetime方法详解
🦋1.1 日期格式统一的重要性
- 常见问题：同一日期存在多种表达格式
- 解决方案：
pandas.to_datetime()方法可实现批量日期格式转换
常见日期格式示例
🦋1.2 to_datetime核心功能
方法语法
pandas.to_datetime(
arg,
errors='ignore',
dayfirst=False,
yearfirst=False,
utc=None,
box=True,
format=None,
exact=True,
unit=None,
infer_datetime_format=False,
origin='unix',
cache=False
)
参数详解
| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
arg |
多种 | - | 输入数据（字符串、数组、Series） |
errors |
str | ‘ignore’ | 错误处理策略： - ignore：保留原值- raise：抛出异常- coerce：转为NaT |
dayfirst |
bool | False | 优先解析日为第一位（如20/01/2020→2020-01-20） |
yearfirst |
bool | False | 优先解析年为第一位（如10/11/12→2010-11-12） |
format |
str | None | 自定义格式字符串（如%Y-%m-%d） |
unit |
str | None | 时间单位（D/s/ms/us/ns），用于解析时间戳 |
infer_datetime_format |
bool | False | 自动推断日期格式 |
🦋1.3 典型应用场景
☀️1.3.1 场景1：单列格式转换
import pandas as pd
#解决数据输出时列名不对齐的问题
pd.set_option('display.unicode.east_asian_width', True)
df=pd.DataFrame({
'原日期':['14-Feb-20', '02/14/2020', '2020.02.14', '2020/02/14','20200214']})
df['转换后的日期']=pd.to_datetime(df['原日期'])
print(df)
输出结果：
☀️1.3.2 多列组合日期
import pandas as pd
#解决数据输出时列名不对齐的问题
pd.set_option('display.unicode.east_asian_width', True)
df = pd.DataFrame({
'year': [2018, 2019,2020],
'month': [1, 3,2],
'day': [4, 5,14],
'hour':[13,8,2],
'minute':[23,12,14],
'second':[2,4,0]})
df['组合后的日期']=pd.to_datetime(df)
print(df)
输出结果：
🦋1.4 高级使用技巧
☀️1.4.1 处理异常数据
# 包含非法日期的数据转换
mixed_dates = ['2023-02-30', 'invalid_date', '202