当前位置：首页 > article >正文

ML.NET库学习003：基于时间序列的共享单车需求预测项目解析

article 2025/2/11 1:25:13

文章目录

ML.NET库学习003：基于时间序列的共享单车需求预测项目解析
- 项目主要目的和原理
- - 目的
  - 原理
- 项目概述
- - 数据来源
  - 工具与框架
- Program.cs主要功能和步骤
- - 1. 数据加载与预处理
  - 2. 特征工程
  - 3. 模型训练
  - 4. 模型评估
  - 5. 模型生成
- ModelScoringTester.cs分析与解读
- - 方法一：VisualizeSomePredictions
  - - 功能概述
    - 代码解读
  - 方法二：ReadSampleDataFromCsvFile
  - - 功能概述
    - 代码解读
  - 整体流程
  - 注意事项
- DemandObservation.cs分析与解读
- - 使用的主要函数方法
  - 功能详细解读
  - - 数据结构定义
    - 数据加载配置
    - 单例样本提供
  - 实现步骤分步解析
  - - 步骤1：定义数据结构
    - 步骤2：配置数据加载
    - 步骤3：提供示例数据
  - 代码结构分析
  - - 命名空间
    - 类结构
    - 特性应用
  - 语法和语义分析
  - - C#特性（Attribute）的作用
- 代码中提及的回归算法
- - 1. **FastTree**
  - 2. **Poisson Regression (L-BFGS)**
  - 3. **SDCA (Stochastic Dual Coordinate Ascent)**
  - 4. **FastTreeTweedie**
  - 其他可能的回归算法
  - 其他
- 总结
- - 项目价值
  - 展望

ML.NET库学习003：基于时间序列的共享单车需求预测项目解析

项目主要目的和原理

目的

本项目旨在利用机器学习技术对共享单车的需求进行精准预测。通过分析历史骑行数据，模型能够帮助运营者优化车辆调度、提升用户体验并降低运营成本。

原理

数据预处理：将原始数据转换为适合模型训练的格式。
特征工程：提取与需求相关的特征，如天气、时间等。
算法选择与训练：使用多种回归算法（如FastTree、Poisson回归）进行训练和调优。
模型评估与部署：通过测试集验证模型性能，并将最优模型部署到实际应用中。

项目概述

数据来源

数据集包含历史骑行记录，包括时间、地点、天气状况等信息。
数据分为训练集和测试集，分别用于模型训练和性能评估。
数据格式：

instant,dteday,season,yr,mnth,hr,holiday,weekday,workingday,weathersit,temp,atemp,hum,windspeed,casual,registered,cnt

13950,2012-08-09,3,1,8,10,0,4,1,1,0.8,0.7576,0.55,0.2239,72,133,205

工具与框架

开发语言：C#
机器学习库：Microsoft ML.NET

Program.cs主要功能和步骤

1. 数据加载与预处理

IDataView trainingData = mlContext.Data.LoadFromTextFile<DemandData>(trainingPath, separatorChar: ',', hasHeader: true);

功能：将CSV格式的数据加载到内存，并转换为适合模型训练的IDataView格式。
作用：确保数据格式统一，便于后续处理。

2. 特征工程

var pipeline = mlContext.Transforms.Concatenate("Features", new[] { "Hour", "Weekday", "Temperature" });

功能：将多个特征列（如小时、星期几、温度）合并为一个Features列。
作用：简化模型输入，提高训练效率。

3. 模型训练

var trainer = mlContext.Regression.Trainers.FastTree();

功能：使用FastTree算法进行回归训练。
作用：通过历史数据学习需求与特征之间的关系。

4. 模型评估

var metrics = mlContext.Regression.Evaluate(predictions);
Console.WriteLine($"R²: {metrics.RSquared}");

功能：计算模型的拟合度（R²值）。
作用：评估模型对测试数据的预测能力。

在这里插入图片描述

5. 模型生成

mlContext.Model.Save(trainedModel, modelPath);

功能：将训练好的模型保存为ZIP文件，方便后续加载和使用。
作用：支持模型在实际应用中的快速部署。

ModelScoringTester.cs分析与解读

方法一：VisualizeSomePredictions

功能概述

VisualizeSomePredictions方法的主要目的是从测试数据集中读取指定数量的数据样本，并使用训练好的模型进行预测。然后将预测结果与实际观察值进行对比，输出到控制台以便直观查看。

代码解读

参数接收：
- MLContext mlContext: 提供机器学习环境上下文。
- string modelPath: 模型文件的存储路径。
- string testDataPath: 测试数据集的CSV文件路径。
- int numberOfPredictions: 需要进行预测的数量。
模型加载：
```
var predEngine = mlContext.Model.Load(modelPath, out _);
```
这行代码使用MLContext从指定路径加载已经训练好的模型，并创建一个PredictionEngine用于进行实时预测。
数据读取：
调用ReadSampleDataFromCsvFile方法，从测试数据集的CSV文件中读取指定数量的数据样本。
```
var testData = ReadSampleDataFromCsvFile(testDataPath, numberOfPredictions);
```

预测与对比：
对于每一个测试数据样本，使用predEngine.Predict进行预测，然后将预测结果和实际观察值通过PrintRegressionPredictionVersusObserved方法输出到控制台。

for (int i = 0; i < numberOfPredictions; i++)
{
    var resultprediction = predEngine.Predict(testData[i]);
    Common.ConsoleHelper.PrintRegressionPredictionVersusObserved(resultprediction.PredictedCount.ToString(), testData[i].Count.ToString());
}

在这里插入图片描述

性能评估：
输出预测结果与实际值对比，帮助直观判断模型的预测效果。可以通过添加更多的统计指标（如均方误差、平均绝对误差等）来进一步量化模型性能。

方法二：ReadSampleDataFromCsvFile

功能概述

ReadSampleDataFromCsvFile方法负责从指定的CSV文件中读取一定数量的数据样本，并将其转换为程序能够处理的对象形式。

代码解读

文件读取：
使用.NET内置的System.IO.File.ReadLines方法逐行读取CSV文件内容。

return File.ReadLines(dataLocation)
       .Skip(1) // 跳过表头行
       .Where(x => !string.IsNullOrEmpty(x)) // 过滤空行
       .Select(x => x.Split(',')) // 将每一行按逗号分隔成字段数组
       .Select(...); // 将每个字段数组转换为DemandObservation对象

数据解析：
将每一行的数据分割后，逐一解析为浮点数，并映射到DemandObservation对象的各个属性上。

Select(x => new DemandObservation()
{
    Season = float.Parse(x[2], CultureInfo.InvariantCulture),
    Year = float.Parse(x[3], CultureInfo.InvariantCulture),
    Month = float.Parse(x[4], CultureInfo.InvariantCulture),
    Hour = float.Parse(x[5], CultureInfo.InvariantCulture),
    Temperature = float.Parse(x[6], CultureInfo.InvariantCulture),
    Humidity = float.Parse(x[7], CultureInfo.InvariantCulture),
    WindSpeed = float.Parse(x[8], CultureInfo.InvariantCulture),
    Count = float.Parse(x[9], CultureInfo.InvariantCulture)
})

数据过滤与转换：
- Skip(1)：跳过CSV文件的表头行。
- Where(x => !string.IsNullOrEmpty(x))：过滤掉空行或无效数据行。
- 使用Select进行两次映射，首先将每一行分割成字段数组，然后将这些字段转换为对应的数据类型并填充到DemandObservation对象中。

返回结果：
返回一个包含指定数量DemandObservation对象的集合，供后续预测使用。

.Take(numberOfPredictions) // 取前numberOfPredictions个样本
.ToList(); // 转换为列表并立即执行查询

整体流程

模型加载：
从指定路径加载已经训练好的模型，准备好进行预测。
数据准备：
从测试数据集的CSV文件中读取一定数量的数据样本，并将其转换为程序能够处理的对象形式。
实时预测：
使用加载好的模型对每一个测试数据样本进行预测，得到预测结果。
结果对比与展示：
将每个样本的预测值与实际观察值进行对比，并输出到控制台，直观展示模型的预测效果。
性能评估（可选）：
根据需要添加统计指标，量化模型在测试数据集上的表现，帮助进一步优化和调整模型。

注意事项

数据一致性：
确保训练数据集与测试数据集的特征工程一致。即，测试数据集中的数据预处理（如归一化、标准化等）方式应与训练阶段保持一致。
异常处理：
在实际应用中，应增加异常处理机制，例如在读取文件或解析数据时出现错误，能够捕获并妥善处理这些异常情况，防止程序崩溃。
性能优化：
如果测试数据集非常大，可能需要分批次进行预测和评估，避免一次性加载过多数据导致内存不足或其他性能问题。
结果记录与分析：
除了在控制台输出对比结果外，还可以将这些结果保存到文件中或数据库中，方便后续的详细分析和可视化展示。

DemandObservation.cs分析与解读

通过定义DemandObservation类，实现了对自行车共享系统相关数据的结构化封装。利用Microsoft ML库提供的特性，简化了数据加载和特征提取的过程，为后续的需求预测建模奠定了基础。

数据结构定义：创建一个类DemandObservation，用于封装自行车共享系统的各项特征数据。
数据加载配置：使用特性（Attribute）指定每个特征在原始数据文件中的列位置，并将目标变量（需求量）单独标识出来。
单例样本提供：通过静态类DemandObservationSample提供一个示例数据，便于测试和验证。

使用的主要函数方法

Microsoft.ML.Data.LoadColumnAttribute：用于指定数据文件中每一列对应的特征位置。
Microsoft.ML.Data.ColumnNameAttribute：用于重命名特征，使其在后续处理中更具可读性。

功能详细解读

数据结构定义

DemandObservation类用于封装自行车共享需求预测所需的所有特征。每个属性都通过LoadColumn特性指定了其在原始文件中的列位置，而Count属性则通过ColumnName("Label")被指定为模型的目标变量（标签）。

public class DemandObservation
{
    [LoadColumn(2)] public float Season { get; set; }
    // 其他特征定义...
    [LoadColumn(16)]
    [ColumnName("Label")]
    public float Count { get; set; }  // 需求量，作为预测目标
}

数据加载配置

通过LoadColumn特性，可以灵活地指定数据文件中的列位置。这使得即使原始文件的格式发生变化，代码也易于调整。

单例样本提供

DemandObservationSample类提供了一个示例数据对象，方便在开发和测试过程中验证数据结构是否正确。

public static class DemandObservationSample
{
    public static DemandObservation SingleDemandSampleData =>
        new DemandObservation()
        {
            Season = 3,
            Year = 1,
            // 其他特征赋值...
        };
}

实现步骤分步解析

步骤1：定义数据结构

创建DemandObservation类，包含所有需要的特征属性。
使用LoadColumn特性指定每个属性在原始文件中的位置。
通过ColumnName("Label")将需求量字段标记为目标变量。

步骤2：配置数据加载

确保所有特征和目标变量的位置正确无误。
提供默认值或处理缺失值的逻辑（如需）。

步骤3：提供示例数据

创建一个静态类DemandObservationSample，其中包含一个实例化的DemandObservation对象。
赋予各属性合理的示例值，便于测试和验证。

代码结构分析

命名空间

namespace BikeSharing_demand_forecasting
{
    // 类定义...
}

使用命名空间组织代码，提高可读性和维护性。

类结构

public class DemandObservation
{
    // 属性和特性配置...
}

public static class DemandObservationSample
{
    public static DemandObservation SingleDemandSampleData { get; }
}

DemandObservation类用于数据封装。
DemandObservationSample类提供示例数据，便于测试。

特性应用

[LoadColumn(2)] public float Season { get; set; }
// 其他特性配置...

使用特性简化数据加载的配置过程，避免冗余代码。

语法和语义分析

C#特性（Attribute）的作用

LoadColumn：指定从输入文件中读取该属性的列索引。
ColumnName：重命名属性，使其在数据处理过程中更具可读性和一致性。

代码中提及的回归算法

1. FastTree

作用:
FastTree 是一种基于梯度提升树（Gradient Boosting Tree）的回归模型。它通过组合多个弱决策树来提高预测性能。
原理:
梯度提升树是一种迭代方法，每次迭代都会训练一棵新的决策树，以拟合前一次模型预测的残差（即误差）。最终，所有树的预测结果会被加权求和，得到一个强大的回归模型。
- 特点：
  - 能够处理非线性关系。
  - 对特征预处理的要求较低（例如无需归一化）。
  - 支持正则化以防止过拟合。

2. Poisson Regression (L-BFGS)

作用:
LbfgsPoissonRegression 是一种基于泊松分布的回归模型，适用于计数数据（例如租车数量、点击次数等）。
原理:
泊松回归假设目标变量服从泊松分布，并通过线性组合特征的方式建模对数值：
[
\log(\lambda) = w_0 + w_1 x_1 + w_2 x_2 + \dots + w_n x_n
]
其中， $\lambda$ 是目标变量的期望值， $w_i$ 是模型参数。
- 优化方法：使用 L-BFGS（Limited-memory Broyden-Fletcher-Goldfarb-Shanno）算法来求解模型参数。L-BFGS 是一种适用于高维问题的拟牛顿优化方法。
适用场景:
适合目标变量为非负整数且具有稀疏性的情况（例如租车数量）。

3. SDCA (Stochastic Dual Coordinate Ascent)

作用:
Sdca 是一种用于线性回归模型的优化算法，常用于支持向量机（SVM）和正则化回归问题。
原理:
SDCA 是一种随机对偶坐标上升方法。它通过交替更新原始变量和对偶变量来优化目标函数，特别适用于处理大规模数据集。
- 优点：
  - 支持 L1 和 L2 正则化（防止过拟合）。
  - 计算效率高，适合在线学习场景。
适用场景:
适合线性回归问题，尤其是目标变量服从正态分布的情况。

4. FastTreeTweedie

作用:
FastTreeTweedie 是一种结合了梯度提升树和 Tweedie 分布的回归模型。它适用于具有零通胀（zero-inflated）和混合分布特性的问题。
原理:
Tweedie 回归假设目标变量服从 Tweedie 分布，这是一种指数分布族中的特殊类型：
[
g(\mu) = w_0 + w_1 x_1 + w_2 x_2 + \dots + w_n x_n
]
其中， $g(\cdot)$ 是连接函数（例如对数函数）， $\mu$ 是目标变量的期望值。
- 优点：
  - 能够处理零通胀数据（例如许多样本的目标变量为零）。
  - 对异常值和重尾分布具有较强的鲁棒性。
适用场景:
常用于保险、金融等领域，适合目标变量包含大量零且存在少量大值的情况。

其他可能的回归算法

FastForestRegressor
- 作用: 一种随机森林（Random Forest）回归模型。
- 原理: 通过组合多棵决策树来提高预测性能。每棵树在训练时使用随机子集的特征和数据样本，以降低过拟合风险。
Generalized Additive Model (GAM)
- 作用: 广义可加模型是一种非线性回归方法。
- 原理: 允许每个特征对目标变量的影响是非线性的（通过平滑函数建模），同时保持模型的可解释性。
Online Gradient Descent
- 作用: 一种在线学习算法，适用于流数据或大规模数据集。
- 原理: 逐样本更新模型参数，避免一次性加载所有数据到内存中。