当前位置: 首页 > article >正文

数据挖掘之认识数据

在数据挖掘过程中,数据的认识是非常重要的一步,它为后续的数据分析、建模、特征选择等工作奠定基础。以鸢尾花数据集(Iris Dataset)数据集之鸢尾花数据集(Iris Dataset)-CSDN博客为例,下面将介绍如何从数据下载到可视化展示进行深入认识。

1. 数据下载

鸢尾花数据集是一个经典的机器学习数据集,通常用于分类任务。这个数据集可以从多个来源获得,包括通过sklearn库直接加载。

from sklearn.datasets import load_iris

# 加载鸢尾花数据集
iris = load_iris()

# 查看数据集的基本信息
print(iris.keys())
数据集包含以下几个重要部分:
  • data: 特征数据,包含150个样本,每个样本有4个特征(如花萼长度、花萼宽度、花瓣长度、花瓣宽度)。
  • target: 目标标签,包含样本所属的类别(共三类:Setosa, Versicolor, Virginica)。
  • feature_names: 特征的名称(例如 'sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)')。
  • target_names: 类别的名称(例如 'setosa', 'versicolor', 'virginica')。
  • DESCR: 数据集的描述信息。

2. 数据加载与基本信息

使用sklearn加载数据后,可以通过pandas将其转换为DataFrame,更便于查看和操作。

import pandas as pd

# 将数据转换为pandas DataFrame
iris_df = pd.DataFrame(data=iris.data, columns=iris.feature_names)

# 将目标标签添加到DataFrame中
iris_df['species'] = pd.Categorical.from_codes(iris.target, iris.target_names)

# 查看数据集基本信息
print(iris_df.info())

# 查看数据集的前几行
print(iris_df.head())

3. 数据统计描述

我们可以查看数据集的统计描述信息,了解每个特征的分布情况。

# 获取数据的统计描述
print(iris_df.describe())

4. 数据可视化

数据可视化可以帮助我们理解特征之间的关系,识别数据的模式,并且能够分辨不同类别样本在特征空间中的分布情况。

4.1 成对关系图(Pairplot)

成对关系图能够展示所有特征之间的两两关系,并且可以通过颜色区分不同类别。

import seaborn as sns

# 绘制成对关系图
sns.pairplot(iris_df, hue='species', palette='Set2')
4.2 箱线图(Boxplot)

箱线图能帮助我们观察每个特征的分布情况,并检测是否存在异常值。

# 绘制箱线图
plt.figure(figsize=(10, 6))
sns.boxplot(x='species', y='sepal length (cm)', data=iris_df)
plt.title('Boxplot of Sepal Length by Species')
plt.show()
4.3 热力图(Heatmap)

热力图可以帮助我们了解特征之间的相关性,并观察是否存在多重共线性。

import matplotlib.pyplot as plt
import seaborn as sns

# 计算特征之间的相关性
correlation = iris_df.iloc[:, :-1].corr()

# 绘制热力图
plt.figure(figsize=(8, 6))
sns.heatmap(correlation, annot=True, cmap='coolwarm', fmt='.2f')
plt.title('Correlation Heatmap of Iris Dataset')
plt.show()

5. 处理缺失值(如果有)

虽然鸢尾花数据集本身没有缺失值,但在实际数据中,缺失值的处理是很常见的。我们可以使用pandas来检查并处理缺失值:

# 检查缺失值
print(iris_df.isnull().sum())

# 假设有缺失值的列,使用均值填充
iris_df.fillna(iris_df.mean(), inplace=True)

7. 2D和3D可视化

2D可视化

import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import load_iris

# Load the Iris dataset
iris = load_iris()
X = iris.data[:, :2]  # Use the first two features (Sepal Length and Sepal Width)
y = iris.target

# Create a 2D scatter plot
fig = plt.figure(figsize=(10, 7))
ax = fig.add_subplot(111)

# Map species to colors
colors = ['r', 'g', 'b']
species_names = iris.target_names

# Plot each species
for i in range(3):
    ax.scatter(X[y == i, 0], X[y == i, 1], label=species_names[i], color=colors[i], alpha=0.6)

ax.set_xlabel('Sepal Length (cm)')
ax.set_ylabel('Sepal Width (cm)')
ax.set_title('2D Scatter Plot of Iris Dataset')
ax.legend()
plt.show()

3D可视化

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import numpy as np

# Extract features and target
X = iris.data[:, :3]  # Use the first three features for 3D visualization
y = iris.target

# Create a 3D scatter plot
fig = plt.figure(figsize=(10, 7))
ax = fig.add_subplot(111, projection='3d')

# Map species to colors
colors = ['r', 'g', 'b']
species_names = iris.target_names

for i in range(3):
    ax.scatter(X[y == i, 0], X[y == i, 1], X[y == i, 2], label=species_names[i], color=colors[i], alpha=0.6)

ax.set_xlabel('Sepal Length (cm)')
ax.set_ylabel('Sepal Width (cm)')
ax.set_zlabel('Petal Length (cm)')
ax.set_title('3D Scatter Plot of Iris Dataset')
ax.legend()
plt.show()

7. 小结

通过加载、查看和可视化鸢尾花数据集,我们可以更好地理解数据的结构、特征分布以及不同类别样本的区分度。这为后续的数据分析、特征选择以及机器学习建模提供了重要的基础。数据挖掘的第一步是对数据的深刻理解,只有了解了数据,才能采取合适的预处理步骤,最终构建有效的模型。

8. 总结

  • 数据下载与加载: 使用sklearn.datasets.load_iris()加载数据,并通过pandas查看数据。
  • 统计描述: 使用describe()查看数据的基本统计信息。
  • 可视化: 使用seaborn绘制成对关系图、箱线图和热力图,了解数据的分布和特征之间的关系。
  • 缺失值处理: 使用pandas处理缺失值(在实际情况中常见)。

通过这些方法,可以掌握如何处理数据、理解数据以及如何为后续分析做好准备。


http://www.kler.cn/a/447603.html

相关文章:

  • cad c# 二次开发 ——动态加载dll 文件制作(loada netloadx)
  • PostgreSQL标识符长度限制不能超过63字节
  • 网络安全防范
  • 重拾设计模式--建造者模式
  • Vue Web开发(十)
  • Swin transformer 论文阅读记录 代码分析
  • C++9--前置++和后置++重载,const,日期类的实现(对前几篇知识点的应用)
  • docker hub上下载使用postgis官方插件
  • 【python 字典(dict)和集合(set)】创建、访问、基本操作及各自的特点】
  • keil已有项目改工程名
  • 1387. 将整数按权重排序 中等
  • 3大Excel免费功能
  • 吉快科技荣膺“金边奖·最佳大模型一体机”,引领AI边缘新时代
  • 江苏计算机专转本 技能Mysql知识点总结(二)
  • C05S07-Tomcat服务架设
  • 15款行业大数据报告下载网站
  • H5 ios软键盘弹起遮挡输入框
  • #渗透测试#漏洞挖掘#红蓝攻防#护网#sql注入介绍06-基于子查询的SQL注入(Subquery-Based SQL Injection)
  • macOS 配置 vscode 命令行启动
  • pat乙级1072 开学寄语
  • WebRTC服务质量(07)- 重传机制(04) 接收NACK消息
  • 基于微信小程序的消防隐患在线举报系统
  • Tensor
  • sh cmake-linux.sh -- --skip-license --prefix = $MY_INSTALL_DIR
  • Javascript元编程
  • 2024年CCF 非专业级软件能力认证CSP-J/S 第二轮( 提高组) 染色(color)