Python数据分析入门知识基础和案例（万字长文）

目录

数据分析的重要性

Python数据分析工具链

NumPy数组操作

Pandas数据结构与操作

DataFrame操作

Series操作

数据转换

数据清洗

数据分析案例

数据读取与预处理

数据分析

结果展示

Matplotlib基础绘图

线图

柱状图

散点图

PyEcharts交互式图表

可视化案例展示

Matplotlib可视化

PyEcharts可视化

多种图表类型组合

综合项目实践

数据爬取

数据处理

数据分析

数据可视化

数据分析的重要性

在当今数字化时代， 大数据已成为推动各行各业发展的核心动力 。数据分析通过对海量复杂数据进行系统性解读，为企业决策提供科学依据，在提升运营效率、优化产品服务、开拓新市场等方面发挥着不可替代的作用。Python凭借其丰富的数据处理库（如NumPy、Pandas）和强大的可视化工具（如Matplotlib、Seaborn），已成为数据科学家和分析师的首选工具之一。

Python在数据分析中的优势主要体现在以下几个方面：

• 数据清洗 ：高效处理缺失值、重复值和异常值

• 数据可视化 ：直观呈现数据特征和潜在规律

• 机器学习 ：利用scikit-learn等库进行高级数据分析和预测建模

这些特性使Python成为应对大数据时代挑战的理想选择，帮助企业从海量信息中提炼出有价值的知识，驱动创新和发展。

Python数据分析工具链

Python数据分析工具链构成了一个强大而完整的技术生态系统，为数据科学家和分析师提供了全方位的支持。主要包括：

这些工具相互配合，形成了一个无缝衔接的数据处理流程。例如，NumPy用于处理大型数组，Pandas用于数据整理和预处理，Matplotlib用于数据可视化，而SciPy则提供了高级的科学计算功能。这种集成的工具链大大提高了数据分析的效率和质量，使得Python成为数据科学领域的重要工具之一。

NumPy数组操作

NumPy是Python数据分析领域的核心库之一，其核心数据结构ndarray为高效的数值计算奠定了坚实基础。作为一种多维数组对象，ndarray具有以下显著特点：

1. 元素类型一致性：数组中的所有元素必须是同一种数据类型，这种严格的要求不仅保证了数据的一致性，还显著提升了数据处理的效率。由于不需要在内存中存储不同类型的数据，ndarray能够更有效地利用内存空间，减少不必要的类型检查开销，从而加快数据处理的速度。

2. 支持广播机制：这是一种特殊的运算规则，允许不同形状的数组之间进行运算。例如，当一个一维数组与一个二维数组进行运算时，NumPy会自动将一维数组沿着某个维度进行扩展，使其与二维数组的形状匹配，从而实现元素级别的运算。这种机制大大简化了复杂的数组操作，使得一些看似复杂的运算可以用非常简洁的方式表达出来。

3. 内存连续性：ndarray中的元素在内存中是连续存储的，这种存储方式使得ndarray非常适合进行大规模的数值计算。连续的内存布局使得CPU缓存能够更有效地工作，减少了内存访问的延迟，从而提高了计算性能。特别是在处理大规模数据时，这种连续的内存布局能够充分发挥硬件的性能优势，实现高效的并行计算。

4. 向量化运算：NumPy提供了大量内置的数学函数，如sin、cos、exp等，这些函数可以直接作用于整个数组，无需显式的循环。这种向量化操作不仅提高了代码的可读性，更重要的是大大提升了计算效率。相比传统的循环实现，向量化操作能够充分利用现代处理器的SIMD指令集，实现真正的并行计算，从而获得更高的性能。

5. 灵活的索引和切片：ndarray支持多种索引方式，包括整数索引、布尔索引、花式索引等。特别是花式索引，允许使用整数数组进行索引，可以非常灵活地选取数组中的特定元素。这种多样化的索引机制使得数据的访问和操作变得更加灵活和高效。

这些特性共同构成了NumPy高效、灵活的数据处理框架，使其成为Python数据分析不可或缺的工具。通过合理运用这些特性，数据分析师和研究人员能够在处理复杂数据结构时保持高度的效率和灵活性。

Pandas数据结构与操作

Pandas是Python数据分析领域的重要库，其核心数据结构DataFrame和Series为高效的数据处理提供了强大支持。本节将详细介绍这两种数据结构的使用方法和常见操作。

DataFrame操作

DataFrame是一种二维表格型数据结构，由行和列组成。创建DataFrame的基本方法如下：

import pandas as pd

data = {
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35],
    'City': ['New York', 'London', 'Paris']
}

df = pd.DataFrame(data)

DataFrame提供了丰富的方法来进行数据选择和过滤：

Series操作

Series是一维数组，可以看作DataFrame中的一列。它支持以下操作：

1. 值转换 ：使用.map()方法可以实现值的映射转换。例如：

df['City'] = df['City'].map({'New York': 'NY', 'London': 'LDN', 'Paris': 'PAR'})

1. 应用函数 ：.apply()方法可用于对Series中的每个元素应用自定义函数：

df['Age'] = df['Age'].apply(lambda x: x + 5)

数据转换

Pandas提供了多种数据转换方法：

1. astype() ：用于转换数据类型

2. infer_objects() ：尝试为对象列推断更好的数据类型

3. transform() ：对数据进行转换，常与groupby()结合使用

数据清洗

数据清洗是数据分析的重要环节，Pandas提供了多种工具：

1. 处理缺失值 ：使用.fillna()或.dropna()方法

2. 处理重复值 ：使用.drop_duplicates()方法

3. 处理异常值 ：结合NumPy或SciPy库进行检测和处理

通过熟练掌握这些数据结构和操作，数据分析师可以高效地处理和分析复杂的数据集，为后续的数据分析和可视化奠定坚实基础。

数据分析案例

在这个数据分析案例中，我们将使用Pandas库对一份餐厅评分数据进行深入分析。这份数据来源于UCI ML Repository，包含1000多条记录，涵盖了5个关键属性：userID、placeID、rating、food_rating和服务_rating。

我们的分析目标是识别哪些餐厅获得了最高的整体评分，以及哪些餐厅的食物评分与服务评分之间的差异最大。这将帮助我们了解顾客对不同餐厅的整体满意度，以及他们在食物质量和服务质量方面的偏好。

数据读取与预处理

首先，我们需要使用Pandas读取CSV文件：

import pandas as pd

path = '../data/restaurant_rating_final.csv'
df = pd.read_csv(path)

数据分析

接下来，我们使用Pandas的高级功能进行数据分析：

1. 计算平均评分 ：使用pivot_table函数计算每个餐厅的平均评分。

mean_ratings = df.pivot_table(values=['rating', 'food_rating'], index='placeID', aggfunc='mean')

1. 筛选活跃餐厅 ：只保留至少有4条评论的餐厅，以确保评分的可靠性。

ratings_by_place = df.groupby('placeID').size()
active_places = ratings_by_place.index[ratings_by_place >= 4]
mean_ratings = mean_ratings.loc[active_places]

1. 计算评分差异 ：创建一个新的'diff'列，表示总评分与食物评分之间的差异。

mean_ratings['diff'] = mean_ratings['rating'] - mean_ratings['food_rating']

1. 排序与筛选 ：找出评分差异最大的前10家餐厅。

sorted_by_diff = mean_ratings.sort_values(by='diff')
top_diff = sorted_by_diff[::-1][:10]

结果展示

通过分析，我们得到了以下有趣的结果：

最高评分餐厅：

• 地点ID：132955

• 总评分：2.00

• 食物评分：1.80

评分差异最大的餐厅：

• 地点ID：134987

• 总评分：1.00

• 食物评分：0.50

• 服务评分：1.50

• 评分差异：0.50

这个案例展示了Pandas在处理复杂数据集时的强大功能。通过使用pivot_table、groupby和sort_values等方法，我们可以快速地对数据进行多层次的分析和筛选。这种方法不仅提高了分析效率，还能帮助我们从大量数据中挖掘出有价值的洞察。

通过这个案例，我们可以看到Pandas在实际数据分析中的应用，以及如何使用Python进行有效的数据处理和分析。这种方法可以应用于各种类型的数据集，只要适当调整分析步骤和指标，就能适应不同的分析需求。

Matplotlib基础绘图

Matplotlib是Python数据可视化领域的一个强大工具，提供了丰富多样的绘图功能。本节将重点介绍几种常用的基本图表类型：线图、柱状图和散点图。

线图

线图是最基本的图表类型之一，用于展示数据的变化趋势。在Matplotlib中，使用plt.plot()函数可以轻松创建线图。以下是一个简单的线图示例：

import matplotlib.pyplot as plt
import numpy as np

x = np.linspace(0, 10, 100)
y = np.sin(x)

plt.plot(x, y)
plt.show()

这段代码生成了一条展示正弦波的光滑曲线。通过调整plt.plot()函数的参数，我们可以自定义线的样式，包括线型、颜色和宽度等。

柱状图

柱状图是另一种常用的数据可视化工具，特别适合展示分类数据。在Matplotlib中，使用plt.bar()函数可以创建柱状图。以下是一个基本的柱状图示例：

import matplotlib.pyplot as plt

categories = ['A', 'B', 'C', 'D']
values = [10, 20, 30, 40]

plt.bar(categories, values)
plt.show()

这个例子展示了四个类别的数据值。柱状图的x轴显示类别，y轴显示相应的数值。通过调整plt.bar()函数的参数，我们可以自定义柱子的颜色、宽度等属性。

散点图

散点图用于展示两个变量之间的关系。在Matplotlib中，使用plt.scatter()函数可以创建散点图。以下是一个简单的散点图示例：

import matplotlib.pyplot as plt
import numpy as np

x = np.random.rand(50)
y = np.random.rand(50)

plt.scatter(x, y)
plt.show()

这个例子生成了50个随机点的散点图。通过调整plt.scatter()函数的参数，我们可以自定义点的大小、颜色等属性。

除了这些基本的图表类型，Matplotlib还支持许多其他高级图表类型，如饼图、直方图、等高线图等。这些图表类型的选择取决于具体的数据特性和分析目的。通过组合使用这些图表类型，我们可以创建复杂而富有表现力的数据可视化作品，有效传达数据背后的故事。

PyEcharts交互式图表

PyEcharts是一个强大的Python数据可视化库，基于Echarts开发，允许开发者在Python环境中轻松创建丰富的交互式图表。它的一大特点是支持 链式调用 ，使得图表配置更加流畅和直观。

PyEcharts的一个突出优势是其 高度的可定制性 。通过丰富的配置选项，用户可以精确控制图表的各个方面，包括标题、坐标轴、图例等。例如，以下代码展示了如何设置图表标题和坐标轴标签：

chart.set_global_opts(
    title_opts=opts.TitleOpts(title="My Interactive Chart"),
    xaxis_opts=opts.AxisOpts(name="X Axis Label"),
    yaxis_opts=opts.AxisOpts(name="Y Axis Label")
)

PyEcharts的另一个亮点是其 交互性 。它支持多种用户交互功能，如数据缩放、工具箱操作等。这些功能极大地增强了数据可视化的效果，使用户能够更深入地探索数据。例如，可以通过以下代码启用数据缩放功能：

chart.set_series_options(
    datazoom_opts=opts.DataZoomOpts(is_show=True)
)

PyEcharts还提供了多种高级图表类型，如 桑基图 ，用于展示数据流的分布情况。以下是一个简单的桑基图示例：

sankey = Sankey()
nodes = [
    {"name": "总支出"},
    {"name": "食品"},
    {"name": "交通"},
    {"name": "娱乐"}
]
links = [
    {"source": "总支出", "target": "食品", "value": 50},
    {"source": "总支出", "target": "交通", "value": 30},
    {"source": "总支出", "target": "娱乐", "value": 20}
]
sankey.add("支出分布", nodes, links)

这个例子展示了如何使用PyEcharts创建一个简单的桑基图，用于可视化支出分布。通过调整节点和链接的属性，可以创建更复杂的图表，以满足不同的数据可视化需求。

PyEcharts的 跨平台兼容性 也是一个值得关注的特点。生成的图表可以在各种Web浏览器中运行，无需额外插件支持。这使得PyEcharts成为一个理想的工具，用于创建可在不同设备和环境间共享的交互式数据可视化作品。

可视化案例展示

在前面的数据分析案例中，我们对餐厅评分数据进行了深入分析。为了更好地可视化这些数据，我们将使用Matplotlib和PyEcharts创建多种类型的图表。

Matplotlib可视化

首先，我们使用Matplotlib创建一个散点图，展示每家餐厅的总评分与食物评分的关系：

import matplotlib.pyplot as plt

plt.scatter(mean_ratings['food_rating'], mean_ratings['rating'])
plt.xlabel('Food Rating')
plt.ylabel('Overall Rating')
plt.title('Restaurant Ratings Comparison')
plt.show()

这个散点图直观地展示了食物评分与总评分之间的关系，有助于我们发现潜在的相关性。

PyEcharts可视化

接下来，我们使用PyEcharts创建一个更为互动的图表。我们将创建一个柱状图，展示评分差异最大的前10家餐厅：

from pyecharts import options as opts
from pyecharts.charts import Bar

top_diff.reset_index(inplace=True)
x_data = top_diff['placeID'].astype(str).tolist()
y_data = top_diff['diff'].tolist()

bar = (
    Bar()
    .add_xaxis(x_data)
    .add_yaxis("Rating Difference", y_data)
    .set_global_opts(
        title_opts=opts.TitleOpts(title="Top 10 Restaurants with Highest Rating Difference"),
        xaxis_opts=opts.AxisOpts(axislabel_opts={"rotate": 45}),
        tooltip_opts=opts.TooltipOpts(is_show=True),
    )
)
bar.render_notebook()

这个柱状图不仅展示了评分差异，还通过旋转x轴标签提高了可读性。用户可以通过悬停在柱子上来查看具体数值，体现了PyEcharts的交互性。

多种图表类型组合

为了全面展示数据特征，我们可以结合使用多种图表类型。例如，我们可以创建一个折线图展示每年的平均评分变化：

yearly_ratings = df.groupby(df['date'].dt.year)['rating'].mean().reset_index()

line = (
    Line()
    .add_xaxis(yearly_ratings['date'].astype(str).tolist())
    .add_yaxis("Average Rating", yearly_ratings['rating'].tolist())
    .set_global_opts(
        title_opts=opts.TitleOpts(title="Yearly Average Restaurant Rating"),
        xaxis_opts=opts.AxisOpts(type_="category"),
        yaxis_opts=opts.AxisOpts(min_=0, max_=5),
    )
)
line.render_notebook()

这个折线图清晰地展示了年度评分趋势，有助于我们发现长期变化模式。

通过这些多样化的可视化方法，我们可以从不同角度理解数据，为后续的分析和决策提供有力支持。在实际应用中，可以根据具体需求选择适当的图表类型，结合Matplotlib和PyEcharts的优势，创造出既美观又富有洞察力的数据可视化作品。

综合项目实践

在这个综合项目实践中，我们将设计一个完整的数据分析流程，涵盖从数据爬取、处理到可视化的全过程。这个项目将以分析电商平台的销售数据为目标，旨在揭示产品销售趋势和消费者偏好。

数据爬取

首先，我们需要使用Python网络爬虫技术来获取所需的销售数据。我们可以使用Requests库来发送HTTP请求，BeautifulSoup库来解析HTML内容。以下是一个简化的爬虫示例：

import requests
from bs4 import BeautifulSoup

def fetch_product_sales(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')

    sales_data = []
    products = soup.find_all('div', class_='product-item')
    for product in products:
        name = product.find('h3', class_='product-title').text.strip()
        price = product.find('span', class_='product-price').text.strip()
        quantity_sold = product.find('span', class_='quantity-sold').text.strip()
        
        sales_data.append({
            'name': name,
            'price': price,
            'quantity_sold': quantity_sold
        })
    
    return sales_data

url = 'https://www.example.com/sales-data'
sales_data = fetch_product_sales(url)

数据处理

获取数据后，我们需要使用Pandas库进行数据清洗和预处理。这包括：

1. 将爬取的JSON数据转换为DataFrame

2. 清洗和验证数据

3. 处理缺失值和异常值

import pandas as pd

df = pd.DataFrame(sales_data)

# 数据清洗
df['price'] = df['price'].str.replace('$', '').astype(float)
df['quantity_sold'] = df['quantity_sold'].str.replace(',', '').astype(int)

# 缺失值处理
df.fillna(0, inplace=True)

# 异常值处理
q1 = df['quantity_sold'].quantile(0.25)
q3 = df['quantity_sold'].quantile(0.75)
iqr = q3 - q1
df = df[(df['quantity_sold'] >= q1 - 1.5*iqr) & (df['quantity_sold'] <= q3 + 1.5*iqr)]

数据分析

接下来，我们使用Pandas进行深入的数据分析。这包括：

1. 销售总额计算

2. 最畅销产品的识别

3. 销售趋势分析

total_sales = df['price'] * df['quantity_sold']
best_selling_product = df.loc[total_sales.idxmax()]
monthly_sales_trend = df.groupby(df['date'].dt.month)['total_sales'].sum()

数据可视化

最后，我们使用Matplotlib和PyEcharts库将分析结果可视化。这包括：

1. 销售总额的柱状图

2. 最畅销产品的详情展示

3. 月度销售趋势的折线图

import matplotlib.pyplot as plt
from pyecharts import options as opts
from pyecharts.charts import Bar, Line

# 销售总额柱状图
total_sales_chart = (
    Bar()
    .add_xaxis(['Total Sales'])
    .add_yaxis('', [total_sales.sum()])
    .set_global_opts(title_opts=opts.TitleOpts(title='Total Sales'))
)

# 最畅销产品详情展示
best_selling_chart = (
    Bar()
    .add_xaxis([best_selling_product['name']])
    .add_yaxis('Sales Quantity', [best_selling_product['quantity_sold']])
    .set_global_opts(title_opts=opts.TitleOpts(title='Best Selling Product'))
)

# 月度销售趋势折线图
monthly_sales_trend_chart = (
    Line()
    .add_xaxis(monthly_sales_trend.index.astype(str))
    .add_yaxis('Monthly Sales', monthly_sales_trend.values)
    .set_global_opts(title_opts=opts.TitleOpts(title='Monthly Sales Trend'))
)

total_sales_chart.render_notebook()
best_selling_chart.render_notebook()
monthly_sales_trend_chart.render_notebook()

这个综合项目实践展示了Python在数据分析领域的强大能力，从数据爬取到最终的可视化，涵盖了整个数据分析流程。通过这个项目，我们可以深入了解产品销售状况，为电商平台的经营决策提供有力支持。