当前位置: 首页 > article >正文

新手村:数据预处理-缺失值补充策略

新手村:数据预处理-缺失值补充策略

在这里插入图片描述

缺失值补充策略

策略描述适用场景优点缺点
删除含有缺失值的行或列删除包含任何缺失值的行或列。当缺失值比例较小且数据量较大时。简单直接,不会引入新的误差。可能导致数据丢失,特别是在缺失值较多的情况下。
用固定值填充使用一个特定值(如0、均值、中位数等)来填充缺失值。数据分布较为均匀,缺失值不是特别多时简单易行,适用于大多数情况。如果选择的固定值不合适,可能会引入偏差。
用插值法填充对于有序数据,使用插值法(如线性插值)来估计缺失值。时间序列数据或其他有序数据。能较好地保留数据的趋势和模式。对于非有序数据效果不佳。
用模型预测填充使用机器学习模型(如KNN、随机森林等)预测并填充缺失值。复杂数据集,缺失值较多且有较强的相关性时能够更准确地填充缺失值,特别是当数据之间存在复杂关系时。实现复杂,计算成本较高,需要更多的计算资源和时间。

示例代码与解释

删除含有缺失值的行或列
import pandas as pd
import numpy as np

# 创建一个示例数据集
data = {
    'A': [1, 2, np.nan, 4, 5],
    'B': [np.nan, 2, 3, 4, 5],
    'C': [1, np.nan, np.nan, 4, 5]
}

df = pd.DataFrame(data)

# 删除含有缺失值的行
df_dropped_rows = df.dropna()
print("删除含有缺失值的行后的数据:")
print(df_dropped_rows)

# 删除含有缺失值的列
df_dropped_columns = df.dropna(axis=1)
print("\n删除含有缺失值的列后的数据:")
print(df_dropped_columns)

在这里插入图片描述

用固定值填充
# 用均值填充缺失值
df_filled_mean = df.fillna(df.mean())
print("\n用均值填充缺失值后的数据:")
print(df_filled_mean)

# 用中位数填充缺失值
df_filled_median = df.fillna(df.median())
print("\n用中位数填充缺失值后的数据:")
print(df_filled_median)

# 用固定值(如0)填充缺失值
df_filled_zero = df.fillna(0)
print("\n用0填充缺失值后的数据:")
print(df_filled_zero)

在这里插入图片描述

用插值法填充
# 用线性插值法填充缺失值
df_interpolated = df.interpolate()
#df_interpolated = df.interpolate(axis=1)
print("\n用线性插值法填充缺失值后的数据:")
print(df_interpolated)

在这里插入图片描述

用模型预测填充
from sklearn.impute import KNNImputer

# 使用KNN算法进行缺失值填充
imputer = KNNImputer(n_neighbors=2)
df_imputed = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)
print("\n用KNN算法填充缺失值后的数据:")
print(df_imputed)

在这里插入图片描述

总结

通过上述表格和示例代码,您可以更好地理解不同的缺失值补充策略及其应用场景。每种方法都有其特定的优点和局限性,选择合适的方法取决于数据的具体特性和分析需求:

  • 删除含有缺失值的行或列:适用于缺失值较少的情况,简单但可能导致数据丢失。
  • 用固定值填充:适用于大多数情况,但需谨慎选择填充值以避免引入偏差。
  • 用插值法填充:适用于有序数据,能较好地保留趋势。
  • 用模型预测填充:适用于复杂数据集,但实现复杂且计算成本较高

http://www.kler.cn/a/588479.html

相关文章:

  • 【RabbitMQ】事务机制、限流、负载均衡
  • 玩转python:通俗易懂掌握高级数据结构-collections模块之Counter
  • 零基础掌握分布式ID生成:从理论到实战的完整指南 [特殊字符]
  • 563采药
  • NocoBase 本周更新汇总:双因素身份认证(2FA)
  • 蓝桥杯学习-08序列二分
  • 【动手学深度学习】#2线性神经网络
  • 火焰图分析Java程序瓶颈
  • 第15章:ConvNeXt图像分类实战:遥感场景分类【包含本地网页部署、迁移学习】
  • git subtree在本地合并子仓库到主仓库
  • KY-038 声音传感器如何工作以及如何将其与 ESP32 连接
  • java 线程池Executor框架
  • 深入解析 Vue 3 Teleport:原理、应用与最佳实践
  • 使用Inno Setup将Unity程序打成一个安装包
  • Native层逆向:ARM汇编与JNI调用分析
  • node.js-WebScoket心跳机制(服务器定时发送数据,检测连接状态,重连)
  • 游戏成瘾与学习动力激发策略研究——自我效能理论
  • 深入理解Linux网络随笔(七):容器网络虚拟化--Veth设备对
  • 基于javaweb的SSM+Maven网上选课管理系统设计与实现(源码+文档+部署讲解)
  • JavaScript性能优化的12种方式