pandas-基础(数据结构及文件访问)

1 Pandas的数据结构

1.1 Series

特点：一维的数据型对象，包含一个值序列和数据标签(即索引）

创建Series：

pandas.Series(data=None, index=None, dtype=None, name=None, copy=False, fastpath=False)

参数说明：

• data：Series 的数据部分，可以是列表、数组、字典、标量值等。如果不提供此参数，则创建一个空的 Series。
• index：Series 的索引部分，用于对数据进行标记。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。
• dtype：指定 Series 的数据类型。可以是 NumPy 的数据类型，例如 np.int64、np.float64 等。如果不提供此参数，则根据数据自动推断数据类型。
• name：Series 的名称，用于标识 Series 对象。如果提供了此参数，则创建的 Series 对象将具有指定的名称。
• copy：是否复制数据。默认为 False，表示不复制数据。如果设置为 True，则复制输入的数据。
• fastpath：是否启用快速路径。默认为 False。启用快速路径可能会在某些情况下提高性能。

常用方法：

Series 方法

下面是 Series 中一些常用的方法：

1.2 DataFrame

构造方法:

pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)

参数说明：

• data：DataFrame 的数据部分，可以是字典、二维数组、Series、DataFrame 或其他可转换为 DataFrame 的对象。如果不提供此参数，则创建一个空的 DataFrame。
• index：DataFrame 的行索引，用于标识每行数据。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。
• columns：DataFrame 的列索引，用于标识每列数据。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。
• dtype：指定 DataFrame 的数据类型。可以是 NumPy 的数据类型，例如 np.int64、np.float64 等。如果不提供此参数，则根据数据自动推断数据类型。
• copy：是否复制数据。默认为 False，表示不复制数据。如果设置为 True，则复制输入的数据。

DataFrame 方法

DataFrame 的常用操作和方法如下表所示：

数据选择和切片

索引设置

将索引重置成自然数-reset_index()

pandas中将索引重置成自然数的方法,不会改变原始数据的内容和排列顺序。

import pandas as pd
import numpy as np


print("\n")
print("reset_index")
df = pd.DataFrame({'Col-1': [1, 3, 5], 'Col-2': [5, 7, 9]}, index=['A', 'B', 'C'])
print("df:\n",df)
df1 = df.reset_index()
print("df1:\n",df1)

print("drop=True:\n",df.reset_index(drop=True))

'''
输出结果：
reset_index
df:
    Col-1  Col-2
A      1      5
B      3      7
C      5      9
df1:
   index  Col-1  Col-2
0     A      1      5
1     B      3      7
2     C      5      9
drop=True:
    Col-1  Col-2
0      1      5
1      3      7
2      5      9
'''

按照指定索引对齐当前数据-reindex()

reindex()是pandas中实现数据对齐的基本方法,对齐是指沿着指定轴,让数据与给定的一组标签(行列索引)进行匹配。

import pd as pandas

print("\n")
df = pd.DataFrame({'Col-1': [1, 3, 5], 'Col-2': [5, 7, 9]}, index=['A', 'B', 'C'])
print("df:\n",df)
# 默认传给labels参数
df2 = df.reindex(['C', 'B', 'A'])
print("df2:\n",df2)

'''
输出结果:
df:
    Col-1  Col-2
A      1      5
B      3      7
C      5      9
df2:
    Col-1  Col-2
C      5      9
B      3      7
A      1      5
'''

print("axis='columns'")
# 指定重设的是行索引还是列索引，默认是行索引
df3 = df.reindex(['Col-2', 'c3', 'Col-1'], axis='columns')
print("df3:\n",df3)
# 同时调整行和列
df4 = df.reindex(index=['C', 'B', 'A'], columns=['Col-2', 'c3', 'Col-1'])
print("df4:\n",df4)

'''
输出结果:
axis='columns'
df3:
    Col-2  c3  Col-1
A      5 NaN      1
B      7 NaN      3
C      9 NaN      5
df4:
    Col-2  c3  Col-1
C    9.0 NaN    5.0
B    7.0 NaN    3.0
A    5.0 NaN    1.0
'''

用另一个DataFrame的索引来更新当前DataFrame的索引-reindex_like()

如果是原数据中不存在的索引值，则默认填充空值NaN，也可以使用method参数设置向前填充还是向后填充。
注意：reindex_like()中没有fill_value参数，不支持用指定值填充。

import pd as pandas

dfa = pd.DataFrame({'Col-1': [1, 3, 5], 'Col-2': [5, 7, 9]}, index=['A', 'B', 'C'])
print("dfa:\n",dfa)
dfb = pd.DataFrame({'Col-1': [1, 3, 5, 7, 9], 'Col-2': [2, 4, 6, 8, 10]},
                   index=['A', 'B', 'C', 'D', 'E'])
print("dfb:\n" ,dfb, '\n', end='*'*30+'\n')
dfc = dfa.reindex_like(dfb)
print("dfc:\n",dfc)

'''
输出结果:
dfa:
    Col-1  Col-2
A      1      5
B      3      7
C      5      9
dfb:
    Col-1  Col-2
A      1      2
B      3      4
C      5      6
D      7      8
E      9     10 
******************************
dfc:
    Col-1  Col-2
A    1.0    5.0
B    3.0    7.0
C    5.0    9.0
D    NaN    NaN
E    NaN    NaN
'''

2 文件访问

2.1 csv文件

Pandas 可以很方便的处理 CSV 文件，常用方法有：

pd.read_csv() - 读取 CSV 文件

read_csv() 是从 CSV 文件中读取数据的主要方法，将数据加载为一个 DataFrame。

import pandas as pd

# 读取 CSV 文件，并自定义列名和分隔符
df = pd.read_csv('data.csv', sep=';', header=0, names=['A', 'B', 'C'], dtype={'A': int, 'B': float})
print(df)

read_csv 常用参数:

df.to_csv() - 将 DataFrame 写入 CSV 文件

to_csv() 是将 DataFrame 写入 CSV 文件的方法，支持自定义分隔符、列名、是否包含索引等设置。

import pandas as pd

# 假设 df 是一个已有的 DataFrame
df.to_csv('output.csv', index=False, header=True, columns=['A', 'B'])

to_csv 常用参数:

2.2 Excel 文件

Pandas 提供了丰富的 Excel 文件操作功能，帮助我们方便地读取和写入 .xls 和 .xlsx 文件，支持多表单、索引、列选择等复杂操作，是数据分析中必备的工具。

pd.read_excel() - 读取 Excel 文件

pd.read_excel() 方法用于从 Excel 文件中读取数据并加载为 DataFrame。它支持读取 .xls 和 .xlsx 格式的文件。

语法格式如下：

pandas.read_excel(io, sheet_name=0, *, header=0, names=None, index_col=None, 
                  usecols=None, dtype=None, engine=None, converters=None, 
                  true_values=None, false_values=None, skiprows=None, nrows=None, 
                  na_values=None, keep_default_na=True, na_filter=True, verbose=False, 
                  parse_dates=False, date_parser=<no_default>, date_format=None, 
                  thousands=None, decimal='.', comment=None, skipfooter=0, 
                  storage_options=None, dtype_backend=<no_default>, engine_kwargs=None)

参数说明：

• io：这是必需的参数，指定了要读取的 Excel 文件的路径或文件对象。

• sheet_name=0：指定要读取的工作表名称或索引。默认为0，即第一个工作表。

• header=0：指定用作列名的行。默认为0，即第一行。

• names=None：用于指定列名的列表。如果提供，将覆盖文件中的列名。

• index_col=None：指定用作行索引的列。可以是列的名称或数字。

• usecols=None：指定要读取的列。可以是列名的列表或列索引的列表。

• dtype=None：指定列的数据类型。可以是字典格式，键为列名，值为数据类型。

• engine=None：指定解析引擎。默认为None，pandas 会自动选择。

• converters=None：用于转换数据的函数字典。

• true_values=None：指定应该被视为布尔值True的值。

• false_values=None：指定应该被视为布尔值False的值。

• skiprows=None：指定要跳过的行数或要跳过的行的列表。

• nrows=None：指定要读取的行数。

• na_values=None：指定应该被视为缺失值的值。

• keep_default_na=True：指定是否要将默认的缺失值（例如NaN）解析为NA。

• na_filter=True：指定是否要将数据转换为NA。

• verbose=False：指定是否要输出详细的进度信息。

• parse_dates=False：指定是否要解析日期。

• date_parser=<no_default>：用于解析日期的函数。

• date_format=None：指定日期的格式。

• thousands=None：指定千位分隔符。

• decimal='.'：指定小数点字符。

• comment=None：指定注释字符。

• skipfooter=0：指定要跳过的文件末尾的行数。

• storage_options=None：用于云存储的参数字典。

• dtype_backend=<no_default>：指定数据类型后端。

• engine_kwargs=None：传递给引擎的额外参数字典。

DataFrame.to_excel() - 将 DataFrame 写入 Excel 文件

to_excel() 方法用于将 DataFrame 写入 Excel 文件，支持 .xls 和 .xlsx 格式。

语法格式如下：

DataFrame.to_excel(excel_writer, *, sheet_name='Sheet1', na_rep='', float_format=None, 
                   columns=None, header=True, index=True, index_label=None, startrow=0, 
                   startcol=0, engine=None, merge_cells=True, inf_rep='inf',
                   freeze_panes=None, storage_options=None, engine_kwargs=None)

参数说明：

• excel_writer：这是必需的参数，指定了要写入的 Excel 文件路径或文件对象。

• sheet_name='Sheet1'：指定写入的工作表名称，默认为 'Sheet1'。

• na_rep=''：指定在 Excel 文件中表示缺失值（NaN）的字符串，默认为空字符串。

• float_format=None：指定浮点数的格式。如果为 None，则使用 Excel 的默认格式。

• columns=None：指定要写入的列。如果为 None，则写入所有列。

• header=True：指定是否写入列名作为第一行。如果为 False，则不写入列名。

• index=True：指定是否写入索引作为第一列。如果为 False，则不写入索引。

• index_label=None：指定索引列的标签。如果为 None，则不写入索引标签。

• startrow=0：指定开始写入的行号，默认从第0行开始。

• startcol=0：指定开始写入的列号，默认从第0列开始。

• engine=None：指定写入 Excel 文件时使用的引擎，默认为 None，pandas 会自动选择。

• merge_cells=True：指定是否合并单元格。如果为 True，则合并具有相同值的单元格。

• inf_rep='inf'：指定在 Excel 文件中表示无穷大值的字符串，默认为 'inf'。

• freeze_panes=None：指定冻结窗格的位置。如果为 None，则不冻结窗格。

• storage_options=None：用于云存储的参数字典。

• engine_kwargs=None：传递给引擎的额外参数字典。

ExcelFile - 加载 Excel 文件

ExcelFile 是一个用于读取 Excel 文件的类，它可以处理多个表单，并在不重新打开文件的情况下访问其中的数据。

语法格式如下：

excel_file = pd.ExcelFile('data.xlsx')

常用方法：

ExcelWriter - 写入 Excel 文件

ExcelWriter 是 pandas 提供的一个类，用于将 DataFrame 或 Series 对象写入 Excel 文件。使用 ExcelWriter，你可以在一个 Excel 文件中写入多个工作表，并且可以更灵活地控制写入过程。

语法格式如下：

pandas.ExcelWriter(path, engine=None, date_format=None, datetime_format=None, mode='w', 
                   storage_options=None, if_sheet_exists=None, engine_kwargs=None)

参数说明：

• path：这是必需的参数，指定了要写入的 Excel 文件的路径、URL 或文件对象。可以是本地文件路径、远程存储路径（如 S3）、URL 链接或已打开的文件对象。

• engine：这是一个可选参数，用于指定写入 Excel 文件的引擎。如果为 None，则 pandas 会自动选择一个可用的引擎（默认优先选择 openpyxl，如果不可用则选择其他可用引擎）。常见的引擎包括 'openpyxl'（用于 .xlsx 文件）、'xlsxwriter'（提供高级格式化和图表功能）、'odf'（用于 OpenDocument 格式如 .ods）等。

• date_format：这是一个可选参数，指定写入 Excel 文件中日期的格式字符串，例如 "YYYY-MM-DD"。

• datetime_format：这是一个可选参数，指定写入 Excel 文件中日期时间对象的格式字符串，例如 "YYYY-MM-DD HH:MM:SS"。

• mode：这是一个可选参数，默认为 'w'，表示写入模式。如果设置为 'a'，则表示追加模式，向现有文件中添加数据（仅支持部分引擎，如 openpyxl）。

• storage_options：这是一个可选参数，用于指定与存储后端连接的额外选项，例如认证信息、访问权限等，适用于写入远程存储（如 S3、GCS）。

• if_sheet_exists：这是一个可选参数，默认为 'error'，指定如果工作表已经存在时的行为。选项包括 'error'（抛出错误）、'new'（创建一个新工作表）、'replace'（替换现有工作表的内容）、'overlay'（在现有工作表上覆盖写入）。

• engine_kwargs：这是一个可选参数，用于传递给引擎的其他关键字参数。这些参数会传递给相应引擎的函数，例如 xlsxwriter.Workbook(file, **engine_kwargs) 或 openpyxl.Workbook(**engine_kwargs) 等。