数据分析基础之《pandas（6）—高级处理》
一、缺失值处理
1、如何处理nan
两种思路：
（1）如果样本量很大，可以删除含有缺失值的样本
（2）如果要珍惜每一个样本，可以替换/插补（计算平均值或中位数）
2、判断数据是否为nan
（1）pd.isnull(df)
返回一堆布尔值，False不是缺失值，True是缺失值
（2）pd.notnull(df)
返回一堆布尔值，True不是缺失值，False是缺失值
3、缺失值处理方式
存在缺失值nan，并且是np.nan
（1）dropna(axis='rows', inplace=False)
删除存在缺失值
默认不替换原数据，返回新数据，inplace=True修改原数据
（2）fillna(value, inplace=True)
替换缺失值
说明：
value：替换成的值
inplace：
True：会修改原数据
False：不替换修改原数据，生成新的对象
（3）缺失值不是nan，是其他标记的
后面再说
二、缺失值处理实例
1、电影数据文件获取
import pandas as pd
movie = pd.read_csv("./IMDB-Movie-Data.csv")
movie
import numpy as np
# 判断是否存在缺失值
np.any(pd.isnull(movie))
np.all(pd.notnull(movie))
# 用dataframe的any方法
pd.isnull(movie).any() # 返回每一个字段是否有缺失值
# 用dataframe的all方法
pd.notnull(movie).all()
# 用dataframe的isnull方法
movie.isnull().sum()
2、删除含有缺失值的样本
# 缺失值处理
# 删除含有缺失值的样本
data1 = movie.dropna()
data1.isnull().sum()
3、替换缺失值
# 含有缺失值的字段
# Revenue (Millions)
# Metascore
movie["Revenue (Millions)"].fillna(movie["Revenue (Millions)"].mean(), inplace=True)
movie["Metascore"].fillna(movie["Metascore"].mean(), inplace=True)
movie.isnull().sum()
4、不是缺失值nan，是其他标记的
比如是?
思路：
（1）进行替换，将?替换成np.nan
（2）处理np.nan缺失值的步骤来
（3）replace(to_replace=, value=)
说明：
to_replace：替换前的值
value：替换后的值
# 不是缺失值nan，是其他标记的
name = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin',
'Normal Nucleoli', 'Mitoses', 'Class']
data = pd.read_csv("./breast-cancer-wisconsin.data", names=name)
data
data_new = data.replace(to_replace="?", value=np.nan)
data_new
data_new.dropna(inplace=True)
data_new.isnull().sum()
三、数据离散化
1、什么是数据离散化
我们用数值表示类别，计算机它只知道数值，会认为数值大的有什么优势
连续属性的离散化就是将连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数、值代表落在每个子区间中的属性值，避免了由于数值差异导致类别的平衡
例子1：
男 女 年龄
A 1 0 23
B 0 1 30
C 1 0 18
例子2：
原始的升高数据：165、174、160、180、159、163、192、184、
假设按照身高分几个区间段：(150,165]，(166,180]，(180,195]
这样我们将数据分到了三个区间段，我们可以对应的标记为矮、中、高三个类别，最终要处理成一个“哑变量”矩阵
我们把这种数据编码称为one-hot编码，也叫哑变量
2、为什么要数据离散化
连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数，离散化方法经常作为数据挖掘的工具
3、如何实现数据离散化
流程：
（1）对数据进行分组
（2）对分好组的数据求哑变量
4、对数据分组方法
pd.qcut(data, bins)
自动分组
说明：
data：要分组的数据
bins：要分的组数
返回值：分好组的Series
pd.cut(data, bins)
自定义分组
说明：
data：要分组的数据
bins：自定义的区间，以列表的形式[]传进来
返回值：分好组的Series
series.value_counts()
统计分组次数
对数据进行分组一般会与value_counts搭配使用，统计每组的个数
5、对分好组的数据求哑变量（one-hot编码）
pd.get_dummies(data, prefix=None)
说明：
data：array-like、Series、DataFrame
prefix：分组名字
6、小案例
# 数据的离散化
# 准备数据
data = pd.Series([165,174,160,180,159,163,192,184], index=['No1:165', 'No2:174','No3:160', 'No4:180', 'No5:159', 'No6:163', 'No7:192', 'No8:184'])
data
# 自动分组
sr = pd.qcut(data, 3)
sr
# 转换成one-hot编码
pd.get_dummies(sr, prefix="height")
# 统计每个区间有多少样本
sr.value_counts()
# 自定义分组
bins = [150, 165, 180, 195]
cut = pd.cut(data, bins)
cut
pd.get_dummies(cut, prefix="身高")
cut.value_counts()
7、one-hot编码占内存，然后再用稀疏矩阵来减少内存。达到提取特征的目的
8、案例：股票的涨跌幅离散化
# 股票涨跌幅离散化
# 1、读取股票的数据
stock = pd.read_csv("./stock_day.csv")
p_change = stock["p_change"]
p_change
# 自动分组
sr = pd.qcut(p_change, 10)
sr.value_counts()
# 离散化
pd.get_dummies(sr, prefix="涨跌幅")
# 自定义分组
bins = [-100, -7, -5, -3, 0, 3, 5, 7, 100]
sr = pd.cut(p_change, bins)
sr.value_counts()
# 离散化
stock_change = pd.get_dummies(sr, prefix="rise")
stock_change