数据分析之Pandas（2）

3.Pandas

3.3 Pandas进阶

import pandas as pd
import numpy as np

3.3.1 数据重塑和轴向旋转

（1）层次化索引

层次化索引是pandas的一项重要功能，他能使我们再一个轴上拥有多个索引

Series的层次化索引

s=pd.Series(np.arange(1,10),index=[['a','a','a','b','b','c','c','d','d'],[1,2,3,1,2,3,1,2,3]])
s

a  1    1
   2    2
   3    3
b  1    4
   2    5
c  3    6
   1    7
d  2    8
   3    9
dtype: int32

s.index

MultiIndex([('a', 1),
            ('a', 2),
            ('a', 3),
            ('b', 1),
            ('b', 2),
            ('c', 3),
            ('c', 1),
            ('d', 2),
            ('d', 3)],
           )

s['a':'b']

a  1    1
   2    2
   3    3
b  1    4
   2    5
dtype: int32

s[:,1]

a    1
b    4
c    7
dtype: int32

通过unstack方法可以将Series变成一个DataFrame

s.unstack()

s.unstack().stack()

a  1    1.0
   2    2.0
   3    3.0
b  1    4.0
   2    5.0
c  1    7.0
   3    6.0
d  2    8.0
   3    9.0
dtype: float64

DataFrame的层次化索引

对于DataFrame来说，行和列都能够进行层次化索引。

data=pd.DataFrame(np.arange(12).reshape(4,3))
data

data=pd.DataFrame(np.arange(12).reshape(4,3),index=[['a','a','b','b'],[1,2,1,2]])
data

data=pd.DataFrame(np.arange(12).reshape(4,3),index=[['a','a','b','b'],[1,2,1,2]],columns=[['A','A','B'],['Z','X','C']])
data

选取列

data['A']

设置名称

data.index.names=['row1','row2']
data

data.columns.names=['column1','column2']
data

行顺序调整

data.swaplevel('row1','row2')

层次化——电影数据示列

数据导入

df=pd.read_excel('movie_data2.xlsx')
df.head()

df.drop('Unnamed: 0',axis=1)
df.index

RangeIndex(start=0, stop=38166, step=1)

set_index：可以把列变成索引
reset_index：把索引变成列

把产地和年代同时设置成索引，产地是外层索引，年代是内层索引

df=df.set_index(['产地','年代'])
df.head()

每一个索引都是一个元组

df.index[0]

('美国', 1994)

获取所有的美国电影，由于产地信息已经变成了索引，因此可以用loc方法

df.loc['美国'].head()

| | 名字 | 投票人数 | 类型 | 上映时间 | 时长 | 评分 | 首映地点 |
| —: | —: | -----------: | -------: | -------------: | ------------------: | —: | —: | -----------: |
| 年代 | | | | | | | |
| 1994 | 肖申克的救赎 | 692795 | 剧情/犯罪 | 1994-09-10 00:00:00 | 142 | 9.6 | 多伦多电影节 |
| 1957 | 控方证人 | 42995 | 剧情/悬疑/犯罪 | 1957-12-17 00:00:00 | 116 | 9.5 | 美国 |
| 1994| 阿甘正传 | 580897 | 剧情/爱情 | 1994-06-23 00:00:00 | 142 | 9.4 | 洛杉矶首映 |
| 2012 | 泰坦尼克号 | 157074 | 剧情/爱情/灾难 | 2012-04-10 00:00:00 | 194 | 9.4 | 中国大陆 |
| 1993 | 辛德勒的名单 | 306904 | 剧情/历史/战争 | 1993-11-30 00:00:00 | 195 | 9.4 | 华盛顿首映 |

这样做最大的好处就是我们可以简化很多的筛选环节

索引交换 swaplevel

df=df.swaplevel('产地','年代')
df.head()

取消层次化索引

df=df.reset_index()

df.head()

（2）数据旋转

行列转化

data=df[:5]
data

T 可以直接让数据的行和列进行交换

data.T

dataframe也可以使用stack和unstack，转化为层次索引的Series

data.stack()

0  年代                           1994
   产地                             美国
   Unnamed: 0                      0
   名字                         肖申克的救赎
   投票人数                       692795
   类型                          剧情/犯罪
   上映时间          1994-09-10 00:00:00
   时长                            142
   评分                            9.6
   首映地点                       多伦多电影节
1  年代                           1957
   产地                             美国
   Unnamed: 0                      1
   名字                           控方证人
   投票人数                        42995
   类型                       剧情/悬疑/犯罪
   上映时间          1957-12-17 00:00:00
   时长                            116
   评分                            9.5
   首映地点                           美国
2  年代                           1997
   产地                            意大利
   Unnamed: 0                      2
   名字                          美丽人生 
   投票人数                       327855
   类型                       剧情/喜剧/爱情
   上映时间          1997-12-20 00:00:00
   时长                            116
   评分                            9.5
   首映地点                          意大利
3  年代                           1994
   产地                             美国
   Unnamed: 0                      3
   名字                           阿甘正传
   投票人数                       580897
   类型                          剧情/爱情
   上映时间          1994-06-23 00:00:00
   时长                            142
   评分                            9.4
   首映地点                        洛杉矶首映
4  年代                           1993
   产地                           中国大陆
   Unnamed: 0                      4
   名字                           霸王别姬
   投票人数                       478523
   类型                       剧情/爱情/同性
   上映时间          1993-01-01 00:00:00
   时长                            171
   评分                            9.4
   首映地点                           香港
dtype: object

data.stack().unstack()

3.3.2 数据分组、分组运算

GroupBy技术：实现数据的分组，和分组运算，作用类似于数据透视表

按照电影产地进行分组

先定义一个分组变量group

group=df.groupby(df['产地'])

group

<pandas.core.groupby.generic.DataFrameGroupBy object at 0x000002238D9028B0>

可以计算分组后的各个统计量

group.mean().head()

计算每年的平均评分

df['评分'].groupby(df['年代']).mean().head()

年代
1888    7.950000
1890    4.800000
1892    7.500000
1894    6.633333
1895    7.575000
Name: 评分, dtype: float64

只会对数值变量进行分组运算

df['年代']=df['年代'].astype('str')

df.groupby(df['产地']).mean().head()

我们也可以传入多个分组变量

df.groupby([df['产地'],df['年代']]).mean().head()

获得每个地区，每一年的电影的评分的均值

df['评分'].groupby([df['产地'],df['年代']]).mean()

产地    年代  
中国台湾  1963    6.400000
      1965    6.800000
      1966    7.900000
      1967    8.000000
      1968    7.400000
                ...   
韩国    2012    6.064151
      2013    6.098198
      2014    5.650833
      2015    5.423853
      2016    5.730000
Name: 评分, Length: 1511, dtype: float64

Series通过unstack方法转化为dataframe——会产生缺失值

df['评分'].groupby([df['产地'],df['年代']]).mean().unstack().head()

5 rows × 127 columns

3.3.3 离散化处理

再实际的数据分析项目中，对有的数据属性，我们往往并不关注数据的绝对取值，只关注它所处的区间或等级。
比如我们可以把评分9分及以上定义为A，7-9分为B，5-7分为C，3-5分为D，小于3分的为E。

离散化也可以称为分组、区间化

Pandas为我们提供了方便的函数cut()：
pd.cut (x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False)
参数：
x：需要离散化的数组、Series、DataFrame对象
bins：分组的依据
right=True：默认包括右端点
include_lowest=False：默认不包括左端点
labels：是否要用标记替换分组
retbins：返回x中对应的bins的列表
precision：精度

df['评分等级']=pd.cut(df['评分'],[0,3,5,7,9,10],labels=['E','D','C','B','A'])
df

38730 rows × 11 columns

根据投票人数来刻画电影的热门
投票人数越多，热门程度越高

使用 np.percentile 进行分位数计算

bins=np.percentile(df['投票人数'],[0,20,40,60,80,100])

df['热门程度']=pd.cut(df['投票人数'],bins,labels=['E','D','C','B','A'])

df

38730 rows × 12 columns

查看烂片：投票人数多，评分低

df[(df.热门程度=='A')&(df.评分等级=='E')]

冷门高分电影

df[(df.热门程度=='E')&(df.评分等级=='A')]

245 rows × 12 columns

将处理的数据保存

df.to_excel('movies_data3.xlsx')

3.3.4 合并数据集

（1）append

先把数据集拆分为多个，再进行合并

df_usa=df[df.产地=='美国']
df_cn=df[df.产地=='中国大陆']

df_cn.append(df_usa)

15781 rows × 12 columns

（2）merge

pd.merge(left, right, how=‘inner’, on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=True, suffixes=(‘_x’,‘_y’), copy=True, indicator=False)

left：对象
right：另一个对象
on：要加入的列。必须在左、右综合对象中找到。如果不能通过，left_index和right_index是假，将推断DataFrame中的列的交叉点为连接键
left_on：从左边的综合使用作为键列。可以是列名或数组的长度等于长度综合。
right_on：从右边的综合使用作为键列。可以是列名或数组的长度等于长度综合。
left_index：如果为True，则使用索引（行标签）从左综合作为其连接键。在与多重（层次）的综合，级别数必须匹配连接键从右综合的数目。
right_index：先沟通用法作为正确综合left_index。
how：之一‘左’，‘右’，‘外在’，‘内部’。默认为内联。
sort：综合通过连接键按字典顺序对结果进行排序。默认为True，设置为False在大多数情况下将提高性能。
suffixes：字符串后缀并不适用于重叠列的元组。默认为（‘_x’，‘_y’）
copy：即使重新索引是不必要总是从传递的综合对象，赋值的数据（默认为True）。在许多情况下不能避免，但可能会提高性能/内存使用情况，可以避免赋值上述案件有些病理，但尽管如此提供此选项。
indicator：将列添加到输出综合呼吁_merge与信息源的每一行。_merge是绝对类型，并对观测其合并键只出现在‘左’的综合，关策其合并键只会出现在‘正确’的综合，和两个如果观测合并关键发现在两个 right_only left_only 的值。

选取6部热门电影进行操作

df1=df.loc[:5]
df1

df2=df.loc[:5][['名字','产地']]
df2['票房']=[111,222,333,444,555,666]
df2

##打乱样本
df2=df2.sample(frac=1)
df2

## 重新设置索引
df2.index=range(len(df2))
df2

对df1和df2进行合并

pd.merge(df1,df2,how='inner',on='名字')

两个样本都有 产地 列，所以会有两个产地列

（3）concat

将多个数据集进行批量合并

df1=df[:5]
df2=df[100:105]
df3=df[200:205]

print(df1)
print(df2)
print(df3)


     年代    产地  Unnamed: 0      名字    投票人数        类型                 上映时间   时长  \
0  1994    美国           0  肖申克的救赎  692795     剧情/犯罪  1994-09-10 00:00:00  142   
1  1957    美国           1    控方证人   42995  剧情/悬疑/犯罪  1957-12-17 00:00:00  116   
2  1997   意大利           2   美丽人生   327855  剧情/喜剧/爱情  1997-12-20 00:00:00  116   
3  1994    美国           3    阿甘正传  580897     剧情/爱情  1994-06-23 00:00:00  142   
4  1993  中国大陆           4    霸王别姬  478523  剧情/爱情/同性  1993-01-01 00:00:00  171   

    评分    首映地点 评分等级 热门程度  
0  9.6  多伦多电影节    A    A  
1  9.5      美国    A    A  
2  9.5     意大利    A    A  
3  9.4   洛杉矶首映    A    A  
4  9.4      香港    A    A  
       年代  产地  Unnamed: 0          名字    投票人数        类型                 上映时间  \
100  1993  韩国         100         101     146     喜剧/爱情  1993-06-19 00:00:00   
101  1995  英国         101          10     186        喜剧  1995-01-25 00:00:00   
102  2013  韩国         102          素媛  114819     剧情/家庭  2013-10-02 00:00:00   
103  2003  美国         103  101忠狗续集：伦敦     924  喜剧/动画/家庭  2003-01-21 00:00:00   
104  2000  美国         104          10    9514     喜剧/家庭  2000-09-22 00:00:00   

      时长   评分 首映地点 评分等级 热门程度  
100  112  7.4   韩国    B    D  
101  101  7.4   美国    B    D  
102  123  9.1   韩国    A    A  
103   70  7.5   美国    B    B  
104  100  7.0   美国    C    A  
       年代    产地  Unnamed: 0              名字   投票人数        类型  \
200  2014    日本         200  最完美的离婚 2014特别篇  18478  剧情/喜剧/爱情   
201  2009    日本         201          2001夜物     84     剧情/动画   
202  2009  中国香港         202            头七 頭   7039        恐怖   
203  1896    法国         203          火车进站 L   7001    纪录片/短片   
204  2009    美国         204            银行舞蹈   6944        短片   

                    上映时间   时长   评分 首映地点 评分等级 热门程度  
200  2014-02-08 00:00:00  120  9.1   日本    A    A  
201  2009-10-02 00:00:00   80  6.6   美国    C    D  
202  2009-05-21 00:00:00   60  6.2   美国    C    A  
203           1896-01-06   60  8.8   法国    B    A  
204  1905-07-01 00:00:00   60  7.8   美国    B    A  

dff=pd.concat([df1,df2,df3],axis=0) ##默认axis=0 增加行数，axis=1增加列数
dff