【数据获取与读取】JSON CSV
数据分析流程
获取数据-读取数据-评估数据-清洗数据-整理数据-分析数据-可视化数据
- 公开数据集
飞桨（百度旗下深度学习平台）数据集：https:/aistudio.baidu.com/aistudio/datasetoverview
天池（阿里云旗下开发者竞赛平台）:https:/tianchiaiyun.com/dataset/
和鲸社区（数据科学开源社区）数据集：htps://www.heywhale.com/home/dataset - 爬虫
获取网页内容-解析网页内容 - API（应用程序编程接口Application Programming Interface)
相比爬虫，数据更易于提取和使用
JSON 文件格式（JavaScript Object Notation）
- JSON对象–Python字典 JSON数组–Python列表
- 键为字符串，双引号包围，不能重复
- 值为字符串、数字、布尔值true、数组、对象、空值
import pandas as pd
#转成DataFrame
survey_df = pd.read_json("./cell_phones_survey.json")
CSV 文件格式（Comma-Separated Values)
表格形式，逗号分隔
import pandas as pd
#转成DataFrame(无列名时增加header参数，也可增加index_col参数设置指定列为行的索引
df1 = pd.read_csv("./fifa_players.csv", header=None)
# 提升展示的列数上限
pd.set_option("display.max_columns", 150)
# 提升展示的值宽度
pd.set_option("display.max_colwidth", 500)
# 获取开头n行
df1.head(n)
# 获取结尾n行
df1.tail(n)
# 获得概况
df1.info()
# 获得统计信息
df1.describe()