当前位置：首页 > article >正文

将分类标签转换为模型可以处理的数值格式

article 2024/12/25 1:43:42

将分类标签转换为模型可以处理的数值格式是数据预处理的关键步骤，尤其是在处理监督学习任务时。以下是几种常用的方法，每种方法都有其特点和适用场景：

1. Label Encoding（标签编码）

原理：
标签编码将每个类别映射到一个唯一的整数。这种方法简单直观，但可能会引入不存在的顺序关系，因为模型可能会错误地将这些整数解释为有序的。

适用场景：

当类别之间没有顺序关系时。
当模型能够处理非序数数据时。

代码示例：

from sklearn.preprocessing import LabelEncoder

# 创建 LabelEncoder 对象
le = LabelEncoder()

# 假设我们有一些分类标签
labels = ['dog', 'cat', 'dog', 'bird', 'cat']

# 使用 fit_transform 方法来学习标签并将其转换为整数
encoded_labels = le.fit_transform(labels)

print(encoded_labels)  # 输出可能是 [2 1 2 0 1]，其中 'dog' -> 2, 'cat' -> 1, 'bird' -> 0

2. One-Hot Encoding（独热编码）

原理：
独热编码将每个类别转换为一个二进制向量，除了表示该类别的一个位置是 1 之外，其余位置都是 0。这种方法不会引入任何顺序关系，但会增加数据的维度。

适用场景：

当类别之间没有顺序关系时。
当模型需要非序数数据时。
当类别数量不是非常大，以避免维度灾难时。

代码示例：

from sklearn.preprocessing import OneHotEncoder

# 创建 OneHotEncoder 对象
ohe = OneHotEncoder(sparse=False)

# 假设我们有一些分类标签
labels = [['dog'], ['cat'], ['dog'], ['bird'], ['cat']]

# 使用 fit_transform 方法来学习标签并将其转换为独热编码
encoded_labels = ohe.fit_transform(labels)

print(encoded_labels)

输出结果：

[[0. 0. 1.]
 [0. 1. 0.]
 [0. 0. 1.]
 [1. 0. 0.]
 [0. 1. 0.]]

这里的每行表示一个标签的独热编码：

第一行 [0. 0. 1.] 表示 ‘dog’，因为 ‘dog’ 是排序后的第三个类别。
第二行 [0. 1. 0.] 表示 ‘cat’，因为 ‘cat’ 是排序后的第二个类别。
第三行 [0. 0. 1.] 再次表示 ‘dog’。
第四行 [1. 0. 0.] 表示 ‘bird’，因为 ‘bird’ 是排序后的第一个类别。
第五行 [0. 1. 0.] 再次表示 ‘cat’。

请注意，实际的输出可能会有所不同，具体取决于 OneHotEncoder 如何排序这些类别。类别的顺序和编码可能会根据实现的细节而变化。

3. Ordinal Encoding（序数编码）

原理：
序数编码将每个类别映射到一个唯一的整数，类似于标签编码，但它明确表示类别之间存在顺序关系。

适用场景：

当类别之间存在自然顺序时，例如评分系统（好、中、差）。

代码示例：

from sklearn.preprocessing import OrdinalEncoder

# 创建 OrdinalEncoder 对象
oe = OrdinalEncoder()

# 假设我们有一些分类标签
labels = ['dog', 'cat', 'dog', 'bird', 'cat']

# 使用 fit_transform 方法来学习标签并将其转换为序数编码
encoded_labels = oe.fit_transform(labels.reshape(-1, 1)).flatten()

print(encoded_labels)

执行上述代码后，encoded_labels 的输出结果将是一个一维数组，其中每个类别都被映射到一个唯一的整数。具体的映射结果取决于 OrdinalEncoder 如何排序这些类别。假设类别按照字母顺序排序，那么输出结果可能如下：

输出结果：

[2 1 2 0 1]

这里的映射关系如下：

‘bird’ -> 0
‘cat’ -> 1
‘dog’ -> 2

因此，原始标签 [‘dog’, ‘cat’, ‘dog’, ‘bird’, ‘cat’] 被转换为 [2, 1, 2, 0, 1]。

请注意，实际的输出可能会有所不同，具体取决于 OrdinalEncoder 如何排序这些类别。如果类别的顺序不同，那么映射的整数也会不同。

4. Binary Encoding（二进制编码）

原理：
二进制编码是独热编码的一种变体，它将每个类别转换为一个二进制数，然后将这些二进制数连接起来形成一个二进制向量。

适用场景：

类别数量较多时，可以减少维度，相比于独热编码。

代码示例：

import pandas as pd
from category_encoders import BinaryEncoder

# 创建 BinaryEncoder 对象
be = BinaryEncoder(cols=['feature'])

# 假设我们有一些分类标签
data = pd.DataFrame({'feature': ['dog', 'cat', 'dog', 'bird', 'cat']})

# 使用 fit_transform 方法来学习标签并将其转换为二进制编码
encoded_data = be.fit_transform(data, 'feature')

print(encoded_data)

执行上述代码后，encoded_data 的输出结果将是一个 DataFrame，其中每个类别都被转换为二进制向量。每个唯一的类别都会对应一个二进制特征。

例如，假设类别 ‘bird’、‘cat’ 和 ‘dog’ 分别被编码为以下二进制向量：

‘bird’ -> [1, 0, 0]
‘cat’ -> [0, 1, 0]
‘dog’ -> [0, 0, 1]

那么，原始数据 {‘feature’: [‘dog’, ‘cat’, ‘dog’, ‘bird’, ‘cat’]} 被转换为：

   feature_bird  feature_cat  feature_dog
0            0           0           1
1            0           1           0
2            0           0           1
3            1           0           0
4            0           1           0

这里的 feature_bird、feature_cat 和 feature_dog 分别表示是否为 ‘bird’、‘cat’ 或 ‘dog’ 的二进制特征。

请注意，实际的输出可能会有所不同，具体取决于 BinaryEncoder 如何处理这些类别。类别的顺序和编码可能会根据实现的细节而变化。

5. Target Encoding（目标编码）

原理：
目标编码是一种更高级的编码方法，它使用目标变量的统计信息来编码类别。例如，如果类别 ‘A’ 与高目标值相关联，则 ‘A’ 被编码为较高的数值。

适用场景：

当类别与目标变量有关联时，可以提高模型性能。

代码示例：

import pandas as pd
from category_encoders import TargetEncoder

# 创建 TargetEncoder 对象
te = TargetEncoder()

# 假设我们有一些分类标签和目标变量
data = pd.DataFrame({
    'feature': ['dog', 'cat', 'dog', 'bird', 'cat'],
    'target': [1, 0, 1, 0, 1]
})

# 使用 fit_transform 方法来学习标签并将其转换为目标编码
encoded_data = te.fit_transform(data['feature'], data['target'])

print(encoded_data)

执行上述代码后，encoded_data 的输出结果将是一个 Series，其中每个类别都被转换为该类别对应的目标变量的平均值。例如，如果 ‘dog’ 类别的目标变量平均值为 1.5，‘cat’ 为 0.5，‘bird’ 为 0，那么原始数据 {‘feature’: [‘dog’, ‘cat’, ‘dog’, ‘bird’, ‘cat’]} 被转换为：

0    1.5
1    0.5
2    1.5
3    0.0
4    0.5
dtype: float64

这里的值表示每个类别对应的目标变量的平均值。

请注意，实际的输出结果将取决于您的数据集中目标变量的实际值。TargetEncoder 会计算每个类别的目标变量的平均值，并使用这些平均值来替换原始的类别标签。这种方法可以捕捉类别与目标变量之间的关系，但也可能引入数据泄露的风险，特别是当某些类别的样本量很少时。因此，使用 TargetEncoder 时需要谨慎，并可能需要正则化或交叉验证来控制过拟合。