机器学习/数据分析案例---糖尿病预测

• 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
• 🍖 原作者：K同学啊

前言

• 这是一篇数据分析/机器学习很好的入门案例，对糖尿病的影响进行预测和分析
• 通过随机森林预测，平均准确率和召回率都不错
• 不足：没有对特性进行特征提取，算法没有运用多个

1、导入数据

import numpy as np 
import pandas as pd 
import matplotlib.pyplot as plt 

data = pd.read_excel('dia.xls')
data

1006 rows × 16 columns

2、数据预处理

# 查看数据信息
data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1006 entries, 0 to 1005
Data columns (total 16 columns):
 #   Column      Non-Null Count  Dtype  
---  ------      --------------  -----  
 0   卡号          1006 non-null   int64  
 1   性别          1006 non-null   int64  
 2   年龄          1006 non-null   int64  
 3   高密度脂蛋白胆固醇   1006 non-null   float64
 4   低密度脂蛋白胆固醇   1006 non-null   float64
 5   极低密度脂蛋白胆固醇  1006 non-null   float64
 6   甘油三酯        1006 non-null   float64
 7   总胆固醇        1006 non-null   float64
 8   脉搏          1006 non-null   int64  
 9   舒张压         1006 non-null   int64  
 10  高血压史        1006 non-null   int64  
 11  尿素氮         1006 non-null   float64
 12  尿酸          1006 non-null   float64
 13  肌酐          1006 non-null   int64  
 14  体重检查结果      1006 non-null   int64  
 15  是否糖尿病       1006 non-null   int64  
dtypes: float64(7), int64(9)
memory usage: 125.9 KB

# 查看缺失值
data.isnull().sum()

卡号            0
性别            0
年龄            0
高密度脂蛋白胆固醇     0
低密度脂蛋白胆固醇     0
极低密度脂蛋白胆固醇    0
甘油三酯          0
总胆固醇          0
脉搏            0
舒张压           0
高血压史          0
尿素氮           0
尿酸            0
肌酐            0
体重检查结果        0
是否糖尿病         0
dtype: int64

绘制纸箱图：

# 通过绘制箱型图，判断是否存在异常值
import seaborn as sns 
#设置字体
from pylab import mpl
mpl.rcParams["font.sans-serif"] = ["SimHei"]  # 显示中文
plt.rcParams['axes.unicode_minus'] = False		# 显示负号

feature_name = {
    '性别': '性别',
    '年龄': '年龄',
    '高密度脂蛋白胆固醇': '高密度脂蛋白胆固醇',
    '低密度脂蛋白胆固醇': '低密度脂蛋白胆固醇',
    '极低密度脂蛋白胆固醇': '极低密度脂蛋白胆固醇',
    '甘油三酯': '甘油三酯',
    '总胆固醇': '总胆固醇',
    '脉搏': '脉搏',
    '舒张压': '舒张压',
    '高血压史': '高血压史',
    '尿素氮': '尿素氮',
    '肌酐': '肌酐',
    '体重检查结果': '体重检查结果',
    '是否糖尿病': '是否糖尿病'
}

plt.figure(figsize=(20, 20))

for i, (col, col_name) in enumerate(feature_name.items(), 1):
    plt.subplot(4, 4, i)
    sns.boxplot(y=data[col])
    plt.title(f'{col_name}的纸箱图', fontsize=14)
    plt.ylabel('数值', fontsize=12)
    plt.grid(axis='y', linestyle='--', alpha=0.7)
    
plt.tight_layout()
plt.show()

​

​

参考值(正常)

• 高密度脂蛋白胆固醇：0.83-1.96 mmol/L
• 总胆固醇（TC）或（CHOL）参考范围：3~5.2 mmol/L
• 甘油三酯（TG） 参考范围：0~1.7 mmol/L
• 低密度脂蛋白（LDL-C）参考范围：0~3.12 mmol/L

分析(查阅一点资料决定的)

• 低密度脂蛋白胆固醇，高于8的去除
• 极低密度脂蛋白胆固醇，高于8的去除
• 甘油三酯，高于40去除
• 总胆固醇，高于12的删除
• 肌酐，800(>790)的删除
• 尿素氮，>15删除

写代码运行发现：
发现全部删去了，这里假设以上情况均属于偶然，均存在，因为生病情况受到影响因素很复杂

分析：

• 影响特征的大量数均分布在中位数附件，比较平均于对称

3、数据分析

# 统计分析
data.describe()

主要是老年人居多

相关性分析

注意：seaborn绘制热力图的时候，版本需要与matplotlib版本配对，matplotlib版本需要在3.8.0以下

# 相关性分析
import seaborn as sns 

data.drop(columns=['卡号'], inplace=True)

plt.figure(figsize=(20, 15))   
sns.heatmap(data.corr(),annot=True)

plt.show()

​

除了高密度脂蛋白胆固醇外，其他均成正相关

5、模型创建

1、数据集划分

from sklearn.model_selection import train_test_split
# 划分特征值和目标值
X = data.drop(['是否糖尿病', '高密度脂蛋白胆固醇'], axis=1)  # 高密度脂蛋白胆固醇: 与目标值负相关
y = data['是否糖尿病']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

2、模型的创建

from sklearn.tree import DecisionTreeClassifier

# 创建模型与训练
model = DecisionTreeClassifier()
model.fit(X_train, y_train)

模型预测

y_pred = model.predict(X_test)

6、模型评估

from sklearn.metrics import classification_report

reporter = classification_report(y_test, y_pred)
print(reporter)

              precision    recall  f1-score   support

           0       0.81      0.78      0.80       120
           1       0.70      0.73      0.71        82

    accuracy                           0.76       202
   macro avg       0.75      0.76      0.76       202
weighted avg       0.76      0.76      0.76       202

​

准确率、召回率、f1得分很高，模型效果极好

7、特征重要性展示

feature_importances = model.feature_importances_
features_rf = pd.DataFrame({'特征': X.columns, '重要度': feature_importances})
features_rf.sort_values(by='重要度', ascending=False, inplace=True)
plt.figure(figsize=(6, 5))
sns.barplot(x='重要度', y='特征', data=features_rf)
plt.xlabel('重要度')
plt.ylabel('特征')
plt.title('随机森林特征图')
plt.show()

​

​

8、总结

1. 环境：seaborn绘制热力图的时候，版本需要与matplotlib版本配对，matplotlib版本需要在3.8.0以下
2. 随机森林：可以决解多重共线性问题
3. 进一步熟悉了数据分析的过程
4. 不足：算法的扩展性、数据特征提取没有做