Pandas使用教程 - Pandas 与 Web API 交互

进阶篇41. Pandas 与 Web API 交互

在现代数据分析流程中，数据不仅仅存储在本地文件中，越来越多的数据以 Web API 的形式公开。通过 Web API，我们可以直接获取实时数据，如天气、金融、社交媒体等信息。Pandas 与 Python 的 requests、json 等库结合使用，使得将 API 返回的数据快速转换为 DataFrame 成为可能。本文将详细介绍如何使用 Pandas 与 Web API 进行交互，包括获取数据、解析 JSON、错误处理以及如何将数据转化为 DataFrame 以便于后续分析。

1. 引言

Web API（应用程序编程接口）允许开发者通过 HTTP 协议访问和操作远程数据服务。数据通常以 JSON 格式返回，而 Pandas 强大的数据处理能力使得从 JSON 转换到 DataFrame 成为一项常用技能。数学上，假设 API 返回的 JSON 数据表示为集合 ( D = {d_1, d_2, \dots, d_n} )，通过数据解析和转换，我们将其构建为一个表格：
$$\text{DataFrame}=f(D)$$
其中 ( f ) 表示解析函数，提取关键字段和对应值，并构造结构化数据。

2. 基本工具与库

在与 Web API 交互时，我们通常需要以下 Python 库：

• requests：用于发送 HTTP 请求，获取 API 返回的数据。
• json：用于解析 JSON 格式数据（虽然 requests 内置 json() 方法）。
• Pandas：用于数据处理和转换，将 API 数据转换为 DataFrame。
• （可选）time 与 logging：用于调试和错误处理，记录请求状态和响应时间。

例如：

import requests
import pandas as pd

3. 从 Web API 获取数据

3.1 发送请求

使用 requests 库发送 GET 请求，从 API 获取数据：

import requests

url = "https://api.example.com/data"  # 示例 API 地址
response = requests.get(url)

常见请求头、参数和认证信息可以通过 requests 的参数进行设置，例如：

headers = {'Authorization': 'Bearer YOUR_API_TOKEN'}
params = {'q': 'keyword', 'limit': 100}
response = requests.get(url, headers=headers, params=params)

3.2 解析 JSON 数据

大部分 Web API 返回的数据格式为 JSON，可以使用 response.json() 方法直接解析：

data = response.json()

如果返回的数据嵌套结构较深，可以先使用 json.dumps() 格式化输出查看结构，再决定如何提取所需字段。

4. 将 API 数据转换为 Pandas DataFrame

4.1 简单的转换

假设 API 返回的数据为 JSON 数组，直接转换为 DataFrame：

# 假设 data 是一个包含多个字典的列表
df = pd.DataFrame(data)
print(df.head())

这种方式适用于返回格式简单、结构平坦的数据。

4.2 处理嵌套数据

如果返回的数据嵌套较深，可以利用 json_normalize() 方法将嵌套 JSON 展开：

from pandas import json_normalize

# 假设 data 是一个嵌套的 JSON 对象，其中 'results' 包含实际数据
df_nested = json_normalize(data, record_path='results', meta=['id', 'timestamp'])
print(df_nested.head())

这样可以将嵌套数据转换为扁平化结构，便于后续分析。

5. 实际案例：获取天气数据

下面以 OpenWeatherMap API 为例，展示如何从 Web API 获取天气数据并转换为 DataFrame。

5.1 获取 API 密钥并构建请求

首先，注册 OpenWeatherMap 获取 API 密钥，然后构建 URL 和参数：

import requests
import pandas as pd

api_key = "YOUR_API_KEY"
city = "Beijing"
url = "http://api.openweathermap.org/data/2.5/weather"
params = {
    'q': city,
    'appid': api_key,
    'units': 'metric'  # 使用摄氏度
}

response = requests.get(url, params=params)
data = response.json()
print(data)

这将返回关于指定城市的天气信息。

5.2 数据转换与提取关键信息

假设我们需要提取温度、湿度和天气描述，可以这么做：

# 提取关键信息
weather_info = {
    'City': data.get('name'),
    'Temperature': data.get('main', {}).get('temp'),
    'Humidity': data.get('main', {}).get('humidity'),
    'Weather': data.get('weather')[0].get('description') if data.get('weather') else None
}

# 转换为 DataFrame
df_weather = pd.DataFrame([weather_info])
print("天气数据：")
print(df_weather)

输出结果可能为：

       City  Temperature  Humidity          Weather
0  Beijing         25.3        60  clear sky

6. 错误处理与调试

在与 Web API 交互时，可能会遇到请求失败、数据格式错误或网络问题。建议加入错误处理机制：

import requests

try:
    response = requests.get(url, params=params, timeout=10)
    response.raise_for_status()  # 若返回状态码不为 200，将抛出异常
    data = response.json()
except requests.RequestException as e:
    print("请求出错：", e)
    data = None

同时，可以利用 logging 模块记录调试信息，帮助定位问题。

7. 进阶技巧

7.1 批量数据请求

对于需要获取大量数据的场景，可以通过循环或批量请求 API，将多个结果合并成一个 DataFrame。例如，获取一周内每日天气数据：

dates = pd.date_range(start="2024-01-01", periods=7, freq='D')
weather_list = []

for date in dates:
    params['dt'] = int(date.timestamp())
    response = requests.get(url, params=params)
    if response.status_code == 200:
        weather_list.append(response.json())

# 将批量数据转换为 DataFrame
df_week = pd.json_normalize(weather_list)
print(df_week.head())

注意：有些 API 可能不支持历史数据或批量请求，需根据 API 文档调整策略。

7.2 缓存和速率限制

• 缓存：对于频繁访问的 API，可以考虑利用缓存机制（如 requests-cache）减少重复请求，提升效率。
• 速率限制：注意 API 的调用频率限制，合理设置请求间隔，避免被暂时封禁。

8. 总结

本文详细介绍了如何利用 Pandas 与 Web API 交互，从发送请求、解析 JSON、数据转换到错误处理和进阶技巧。主要内容包括：

1. 使用 requests 获取数据：构建请求、设置参数和请求头，处理返回的 JSON 数据。
2. 数据转换：将 API 返回的 JSON 数据转换为 Pandas DataFrame，利用 json_normalize 处理嵌套数据。
3. 错误处理：利用 try/except 捕获请求和解析错误，并使用 logging 记录调试信息。
4. 实际案例：以 OpenWeatherMap API 为例，展示如何获取天气数据并转换为 DataFrame。
5. 进阶技巧：包括批量数据请求、缓存策略和速率限制处理，确保在大规模数据获取时高效稳定。

掌握这些技术，将使你能够将 Web API 数据快速整合到数据分析流程中，支持实时数据获取、动态分析以及自动化报告生成。不断实践和优化，将帮助你在数据科学项目中获得更全面、更及时的数据支持。

9. 参考资料

• Pandas 官方文档：IO tools (reading and writing)
• Requests 官方文档
• Pandas 官方文档：json_normalize
• 《Python for Data Analysis》 by Wes McKinney
• 相关博客和论坛文章，如 CSDN、知乎上关于“Pandas Web API 交互”的讨论

希望本文能帮助你深入理解并灵活运用 Pandas 与 Web API 的交互技巧，将在线数据高效整合到数据分析工作中。不断实践与探索，将使你在数据科学领域获得更高效、更实时的数据支持。