当前位置：首页 > article >正文

打造智能数据分析平台：基于 Flask 的数据处理与模型精度验证系统

article 2024/11/15 3:53:05

数据分析和机器学习已成为企业和科研中不可或缺的核心技术。在这个数据驱动的时代，能够快速处理海量数据，并通过智能算法提取出有用信息，成为了提升竞争力的关键。为了解决这些需求，我基于 Flask 开发了一款功能强大、模块化的数据分析平台，能够从数据模糊化、模型构建到特征选择及模型精度验证，提供一整套自动化的数据分析流程。

本文将通过结合代码的方式，介绍这个平台的主要功能和技术实现，展示它如何高效地完成从数据处理到模型验证的整个过程。

项目架构与 Flask 路由设计

整个项目采用了 Flask 框架，前后端分离开发，数据处理模块通过 Flask 的 API 路由调用，实现灵活的模块化操作。核心代码如下所示：

from flask import Flask, render_template
import subprocess
import base64
import pandas as pd
import matplotlib.pyplot as plt

app = Flask(__name__)

@app.route("/")
def welcome():
    return render_template("welcome.html")

@app.route("/visualization/DataBlurring", methods=['GET'])
def data_blurring():
    try:
        # 调用数据模糊化的三步操作
        subprocess.run(['python', 'du_1_2.py'], check=True)
        subprocess.run(['python', 'du_1.py'], check=True)
        subprocess.run(['python', 'du_1_2.py'], check=True)

        # 成功后返回结果页面
        return render_template('data_blurring_success.html', message="数据模糊化成功！")
    except subprocess.CalledProcessError as e:
        return render_template('data_blurring_error.html', message=f"数据模糊化失败: {e}")

功能介绍：该项目主要功能包括：

数据模糊化
数据模型建立
算法模型运行
特征选择与验证

每个功能模块都可以通过不同的 Flask 路由进行调用，实现了操作的高度解耦和灵活使用。接下来，我们将逐步详细介绍各个模块的实现与应用。

1. 数据模糊化功能

数据模糊化是数据预处理的重要步骤，旨在减少数据中的噪声和异常值，使模型训练结果更加稳定。该功能调用了一系列 Python 脚本，实现了数据的多次模糊处理。

@app.route('/visualization/DataBlurring', methods=['GET'])
def data_blurring():
    try:
        # 执行三步数据模糊化操作
        subprocess.run(['python', 'du_1_2.py'], check=True)
        subprocess.run(['python', 'du_1.py'], check=True)
        subprocess.run(['python', 'du_1_2.py'], check=True)

        return render_template('data_blurring_success.html', message="数据模糊化成功！")
    except subprocess.CalledProcessError as e:
        return render_template('data_blurring_error.html', message=f"数据模糊化失败: {e}")

在上述代码中，我们通过 Flask 的 subprocess 模块，依次调用了 Python 脚本，执行三步模糊化操作，并返回操作结果。

页面显示

成功完成数据模糊化操作后，系统会反馈给用户“数据模糊化成功！”的信息。若出现异常，则会返回具体的错误原因。

2. 数据模型建立功能

接下来，我们提供了数据模型建立的功能，系统支持多种模型的训练，包括随机森林（RF）、支持向量机（SVM）等机器学习模型。

@app.route('/visualization/DataModelBuilding', methods=['GET'])
def data_model_building():
    try:
        subprocess.run(['python', 'du_2_1.py'], check=True)
        subprocess.run(['python', 'du_2_1_1.py'], check=True)
        subprocess.run(['python', 'du_2_2.py'], check=True)
        subprocess.run(['python', 'du_2_3.py'], check=True)

        return render_template('data_model_building_success.html', message="数据模型建立成功！")
    except subprocess.CalledProcessError as e:
        return render_template('data_model_building_error.html', message=f"数据模型建立失败: {e}")

数据建模过程

在模型建立的流程中，我们同样分步调用了 Python 脚本来完成模型的训练和优化操作。每一步都会检查操作结果，确保建模的可靠性。

核心代码：

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

def model_training(X, y):
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
    rf = RandomForestClassifier()
    rf.fit(X_train, y_train)
    score = rf.score(X_test, y_test)
    return score

3. 特征选择与优化

特征选择是提升模型性能的重要手段，系统通过执行一系列预处理脚本，帮助用户提取出最具代表性的特征组合。

@app.route('/visualization/FeatureSelectionResult', methods=['GET'])
def feature_selection_result():
    try:
        subprocess.run(['python', '预处理.py'], check=True)
        subprocess.run(['python', '预处理2.py'], check=True)

        with open('filtered_output.txt', 'r') as file:
            feature_data = [line.strip() for line in file.readlines()]
        return render_template('feature_selection_result.html', feature_data=feature_data)
    except subprocess.CalledProcessError as e:
        return render_template('feature_selection_error.html', message=f"特征选择失败: {e}")

可视化展示

特征选择的结果将以表格形式展示给用户，同时支持数据的下载和后续分析。该模块极大地减少了人工干预，简化了特征提取的流程。

4. 模型精度验证与对比分析

为了确保模型的效果，系统会对训练后的模型进行精度验证，并展示不同算法在原始数据和特征选择数据上的表现对比。我们通过条形图来直观展示各个模型在不同测试集比例下的准确率。

@app.route('/visualization/AccuracyVerificationOfFeatureResults', methods=['GET'])
def accuracy_verification():
    try:
        subprocess.run(['python', '1.py'], check=True)

        with open("accuracy_bar_chart.png", "rb") as img_file:
            image_data = base64.b64encode(img_file.read()).decode('utf-8')

        csv_data = pd.read_csv('formatted_accuracy_results.csv')
        table_html = csv_data.to_html(index=False, classes='table table-striped')

        return render_template('accuracy_verification_success.html', image_data=image_data, table_html=table_html)
    except subprocess.CalledProcessError as e:
        return render_template('accuracy_verification_error.html', message=f"精度验证失败: {e}")

生成条形图

在 1.py 脚本中，我们调用了 matplotlib 库来生成模型精度的对比图。系统展示了支持向量机、KNN 和随机森林在不同数据处理方式下的表现，为用户决策提供了参考依据。

plt.bar(index, svm_accuracies, bar_width, label='SVM 原生数据', color='darkgreen')
plt.bar(index + bar_width, lrfdt_svm_accuracies, bar_width, label='SVM 特征选择', color='lightgreen')
plt.bar(index + 2 * bar_width, knn_accuracies, bar_width, label='KNN 原生数据', color='darkblue')
plt.bar(index + 3 * bar_width, lrfdt_knn_accuracies, bar_width, label='KNN 特征选择', color='lightblue')
plt.bar(index + 4 * bar_width, rf_accuracies, bar_width, label='随机森林 原生数据', color='darkred')
plt.bar(index + 5 * bar_width, lrfdt_rf_accuracies, bar_width, label='随机森林 特征选择', color='lightcoral')

生成的条形图可帮助用户直观对比不同数据处理方式对模型准确率的影响。