Python Pandas轻松处理大规模类别数据
大家好，在数据分析中，类别数据（Categorical Data）是一种常见的数据类型。它表示有限数量的离散值，例如产品类别、性别、国家等。与数值数据不同，类别数据并不代表连续的数值，而是离散的分类信息。处理类别数据是数据预处理的重要环节之一，特别是在进行统计分析或机器学习时。
Pandas提供了专门的工具来处理和优化类别数据，能够有效减少内存占用并提升计算效率。本文将介绍如何使用Pandas处理类别数据，展示类别数据的创建、操作和转换，并通过实际代码示例帮助掌握这些技巧。
1.创建类别数据
在Pandas中，类别数据可以通过 pd.Categorical() 函数创建，也可以直接在 DataFrame 中转换已有的列为类别类型。
1.1 手动创建类别数据
import pandas as pd
# 手动创建类别数据
categories = pd.Categorical(['男', '女', '女', '男', '男'])
print(categories)
输出结果：
[男, 女, 女, 男, 男]
Categories (2, object): [男, 女]
在这个示例中，pd.Categorical() 将一个性别列表转换为类别数据。Pandas自动识别了其中的两个类别：男 和 女。
1.2 将DataFrame中的列转换为类别类型
如果已经有一个数据框，其中某些列包含类别信息，可以使用 astype('category') 方法将这些列转换为类别数据类型。
# 创建示例数据框
data = {
'姓名': ['张三', '李四', '王五', '赵六'],
'性别': ['男', '女', '男', '女'],
'城市': ['北京', '上海', '广州', '北京']
}
df = pd.DataFrame(data)
# 将性别和城市列转换为类别数据类型
df['性别'] = df['性别'].astype('category')
df['城市'] = df['城市'].astype('category')
print(df.dtypes)
输出结果：
姓名 object
性别 category
城市 category
dtype: object
通过 astype('category')，将 性别 和 城市 列转换为了类别类型，节省内存并提高了性能。
2.操作类别数据
一旦将列转换为类别数据类型，Pandas提供了一些专门的方法来操作这些类别数据。
2.1 查看类别
可以通过 categories 属性查看类别数据的所有类别。
# 查看类别
print(df['性别'].cat.categories)
输出结果：
Index(['女', '男'], dtype='object')
2.2 增加和删除类别
类别数据的类别值是可以动态调整的。可以使用 add_categories() 方法增加新的类别，使用 remove_categories() 删除类别。
增加类别
# 增加新的类别
df['性别'] = df['性别'].cat.add_categories(['未知'])
print(df['性别'].cat.categories)
输出结果：
Index(['女', '男', '未知'], dtype='object')
删除类别
# 删除某个类别
df['性别'] = df['性别'].cat.remove_categories(['未知'])
print(df['性别'].cat.categories)
输出结果：
Index(['女', '男'], dtype='object')
2.3 类别数据的排序
类别数据可以是有序的，特别是在某些场景下，类别值具有一定的顺序关系。例如，教育水平（小学、初中、高中、大学）或客户等级（银、金、钻石）。可以在创建类别数据时指定类别的顺序，或者使用 ordered=True 参数来设定有序类别。
# 创建有序的教育水平类别
education_levels = pd.Categorical(
['小学', '高中', '大学', '初中', '高中'],
categories=['小学', '初中', '高中', '大学'],
ordered=True
)
print(education_levels)
输出结果：
[小学, 高中, 大学, 初中, 高中]
Categories (4, object): [小学 < 初中 < 高中 < 大学]
在这个示例中，创建了一个有序的类别数据，Pandas将 小学、初中、高中 和 大学 按照指定顺序排列。
有序类别数据可以进行比较操作，Pandas会根据指定的顺序进行比较。
# 比较教育水平
print(education_levels > '初中')
输出结果：
[False True True False True]
通过这种方式，Pandas可以根据类别的顺序进行逻辑判断，这是处理有序类别数据的一个重要功能。
3.类别数据的内存优化
类别数据的主要优势之一就是能够显著减少内存的占用，尤其是对于含有大量重复值的列。
# 创建一个包含大量重复值的DataFrame
import numpy as np
N = 100000
data = {
'城市': np.random.choice(['北京', '上海', '广州', '深圳'], size=N),
'性别': np.random.choice(['男', '女'], size=N)
}
df_normal = pd.DataFrame(data)
df_category = df_normal.copy()
# 将城市和性别列转换为类别数据类型
df_category['城市'] = df_category['城市'].astype('category')
df_category['性别'] = df_category['性别'].astype('category')
# 比较内存占用
print("普通数据框内存占用:")
print(df_normal.memory_usage(deep=True))
print("\n类别数据框内存占用:")
print(df_category.memory_usage(deep=True))
输出结果示例：
普通数据框内存占用:
Index 128
城市 8000100
性别 8000100
dtype: int64
类别数据框内存占用:
Index 128
城市 404128
性别 404128
dtype: int64
从结果可以看出，类别数据的内存占用远低于普通的字符串类型。在大规模数据集上，使用类别数据可以显著减少内存使用，提高数据处理的效率。
4.将类别数据转换为虚拟变量
在进行机器学习时，类别数据通常需要转换为虚拟变量（one-hot encoding），以便模型能够处理这些数据。Pandas提供了 get_dummies() 函数，可以轻松实现这一转换。
# 对城市和性别列进行one-hot编码
df_dummies = pd.get_dummies(df_category, columns=['城市', '性别'])
print(df_dummies.head())
输出结果：
城市_上海 城市_北京 城市_广州 城市_深圳 性别_女 性别_男
0 0 1 0 0 0 1
1 1 0 0 0 1 0
2 0 0 1 0 1 0
3 0 0 0 1 1 0
4 1 0 0 0 0 1
通过 get_dummies() 函数，我们可以将类别数据转换为虚拟变量，使其适用于机器学习模型。
综上所述，在数据分析中，类别数据是一类常见且重要的数据类型，通常表示有限的离散值。Python的Pandas库为处理类别数据提供了强大的支持。通过将列转换为类别数据类型，Pandas不仅可以显著减少内存使用，还能提高数据处理的性能。本文介绍了如何创建和操作类别数据，涵盖了类别数据的增删、排序以及有序类别的处理，同时还探讨如何通过one-hot编码将类别数据转换为适合机器学习的格式。在大规模数据处理中，合理使用Pandas的类别数据功能，可以大幅提升数据处理效率，特别是在数据预处理和特征工程中尤为关键。