当前位置： 首页 > article >正文

ML.NET库学习019：使用 ML.NET 创建 GitHub 问题标签分类器

article 2025/3/3 7:03:47

文章目录

  • ML.NET库学习019：使用 ML.NET 创建 GitHub 问题标签分类器
    • 引言
    • 项目概述
      • 实现的主要功能
      • 使用的算法
      • 数据流
    • 主要功能和步骤
      • 1. 配置设置
      • 2. 数据加载与预处理
      • 3. 算法选择与模型训练
        • 训练管道
        • 交叉验证
      • 4. 模型保存与加载
      • 5. 预测集成到 GitHub
    • 数据集
      • 示例数据
    • 使用ML.NET实现GitHub问题自动分类目的和原理
      • 主要功能模块
      • 实现流程
    • 详细功能解读与实现步骤
      • 1. 加载预训练模型
      • 2. 获取新问题
      • 3. 预测和分类
      • 4. 应用标签
    • 总结
      • 可能的改进方向

ML.NET库学习019：使用 ML.NET 创建 GitHub 问题标签分类器

引言

在现代软件开发中，GitHub 是一个不可或缺的平台，用于代码托管和协作。每天都有大量新问题被创建，这些问题需要及时分类以便于管理和跟踪。然而，手动为每个问题分配正确的标签可能会耗费大量时间。为了解决这个问题，我们可以利用机器学习的力量来自动完成这个任务。

在这个示例项目中，我们将使用 Microsoft 的 ML.NET 框架来构建一个能够根据问题标题和描述自动分配正确标签的分类器。通过这种方式，可以显著提高效率并节省开发人员的时间。

项目概述

实现的主要功能

  • 训练模型：利用历史 GitHub 问题数据训练一个机器学习模型。
  • 预测新问题：使用训练好的模型对新问题进行分类。
  • 与 GitHub 集成：将模型集成到实际应用中，自动为新创建的 GitHub 问题分配标签。

使用的算法

在本项目中，我们选择了逻辑回归作为分类算法。虽然这不是最复杂的算法，但对于这种文本分类任务来说，逻辑回归已经能够提供良好的性能和效率。此外，我们还使用了交叉验证来评估模型的性能。

数据流

  1. 数据加载：从训练数据文件加载 GitHub 问题。
  2. 数据预处理：对文本进行清理和标准化。
  3. 特征提取：将文本转换为模型可以理解的数值形式。
  4. 模型训练：使用训练数据训练分类器。
  5. 保存模型：将训练好的模型保存到文件中，以便后续使用。

主要功能和步骤

1. 配置设置

在项目的开始阶段，我们需要配置应用程序的基本设置。这包括：

  • 设置程序的主目录路径。
  • 加载 appsettings.json 文件以获取 GitHub 的认证信息（如令牌、仓库所有者和仓库名称）。
private static void SetupAppConfiguration()
{
    var builder = new ConfigurationBuilder()
                    .SetBasePath(Directory.GetCurrentDirectory())
                    .AddJsonFile("appsettings.json");

    Configuration = builder.Build();
}

2. 数据加载与预处理

在训练模型之前，我们需要加载和准备数据。GitHub 问题的数据通常包含以下字段：

  • ID：问题的唯一标识符。
  • Title：问题标题。
  • Description：问题描述。
  • Area：问题所属的领域或标签。
var trainingDataView = DataGenerator.LoadIssues();

3. 算法选择与模型训练

在本项目中，我们选择了逻辑回归作为分类算法。这是因为逻辑回归是一个简单且高效的算法，适合用于二分类或多分类任务。

训练管道

训练管道是 ML.NET 中一个非常重要的概念。它定义了数据如何从输入转换到输出的过程。我们的训练管道包括以下几个步骤：

  • 文本清理与标准化：对问题标题和描述进行清理，去除无关字符，并将其转换为统一的格式。
  • 特征提取：将清理后的文本转换为数值形式（如 TF-IDF 或 Word Embeddings）。
  • 分类器：使用逻辑回归模型对特征进行分类。
交叉验证

为了评估模型的性能，我们使用了交叉验证。交叉验证是一种常用的机器学习技术，用于估计模型在未知数据上的表现。

var crossValidationResults = mlContext.MulticlassClassification.CrossValidate(data: trainingDataView, estimator: trainingPipeline, numberOfFolds: 6, labelColumnName: "Area");

4. 模型保存与加载

训练好的模型需要保存到文件中，以便后续使用。ML.NET 提供了 SaveModel 方法来实现这一点。

mlContext.Model.Save(trainedModel, trainingDataView.Schema, Path.Combine(modelPath, "model.zip"));

5. 预测集成到 GitHub

一旦模型训练完成并保存，我们可以将其集成到实际应用中。这包括：

  • 监听新的 GitHub 事件（如问题创建）。
  • 使用训练好的模型对新问题进行分类。
  • 自动分配标签。
var prediction = predictor.Predict(newPredictionEngineInput);

数据集

虽然本项目没有直接提供数据集，但我们可以假设使用的是一个包含以下字段的 CSV 文件：

  • ID：问题 ID。
  • Title：问题标题。
  • Description：问题描述。
  • Area：问题所属的领域或标签。

示例数据

ID,Title,Description,Area
1,"Build Failing","The build is failing with an error in the .NET SDK.",Build
2,"Deployment Issue","Cannot deploy to production environment due to certificate issues.",Deployment
3,"UI Bug","The login page is not loading correctly.",UI
...

使用ML.NET实现GitHub问题自动分类目的和原理

本博客将介绍如何利用微软的ML.NET框架，结合机器学习模型，实现对GitHub问题（Issues）的自动分类和标签预测。通过本文，您将了解从数据准备、模型训练到实际应用的完整流程。

主要目的：
该项目旨在自动化管理GitHub仓库中的问题，通过机器学习模型自动为新问题分配合适的标签，减少人工操作的时间和精力，提高团队协作效率。

原理：

  • 使用监督学习方法训练一个分类模型，该模型能够根据问题的标题和描述预测相关标签。
  • 利用ML.NET框架加载已训练好的模型，并通过GitHub API获取新的问题数据。
  • 对未标注的问题进行预测并自动添加相应的标签。

本项目的核心功能包括：

  1. 加载预训练模型：使用ML.NET加载已训练的TensorFlow模型，用于对新问题进行分类。
  2. 从GitHub获取新问题：通过GitHub API获取指定仓库中的新问题数据。
  3. 预测和应用标签：对未标注的问题进行标签预测，并将结果自动应用于GitHub。

主要功能模块

  • 加载模型：初始化时加载TensorFlow模型文件，创建预测引擎。
  • 获取新问题：通过GitHub API获取指定仓库中过去10分钟内新增的问题。
  • 预测和分类：对每个问题进行标签预测，并根据预设阈值（30%）决定是否应用标签。

实现流程

  1. 初始化Labeler类，加载模型并配置GitHub客户端。
  2. 获取新问题列表。
  3. 对未标注的问题进行预测。
  4. 根据预测结果自动添加标签到GitHub。

详细功能解读与实现步骤

1. 加载预训练模型

在项目的初始化阶段，加载已训练好的TensorFlow模型文件，并使用ML.NET创建预测引擎。代码如下：

public class Labeler
{
    private readonly IModelLoader _modelLoader;
    private readonly HttpClient _httpClient;

    public Labeler(string modelPath, string githubToken)
    {
        var configuration = new ConfigurationBuilder().Build();
        _modelLoader = ModelLoader.CreateDefault(configuration);
        
        // 加载模型文件
        using (var stream = File.OpenRead(modelPath))
        {
            var model = _modelLoader.Load(stream);
            _predEngine = Predictors.CreatePredictionEngine<GitHubIssue, PredictionResult>(model);
        }
        
        _httpClient = new HttpClient();
        _httpClient.DefaultRequestHeaders.Authorization = 
            new AuthenticationHeaderValue("token", githubToken);
    }
}

实现步骤：

  • 使用ModelLoader加载TensorFlow模型文件。
  • 创建PredictionEngine用于后续预测。

2. 获取新问题

通过GitHub API获取指定仓库中的新问题。代码如下：

private async Task<IReadOnlyList<Issue>> GetNewIssues()
{
    var issueRequest = new RepositoryIssueRequest
    {
        State = ItemStateFilter.Open,
        Filter = IssueFilter.All,
        Since = DateTime.Now.AddMinutes(-10)
    };

    var allIssues = await _client.Issue.GetAllForRepository(_repoOwner, _repoName, issueRequest);

    // 过滤掉Pull Request和旧问题
    return allIssues.Where(i => !i.HtmlUrl.Contains("/pull/"))
                    .ToList();
}

实现步骤：

  • 创建RepositoryIssueRequest对象，设置过滤条件（如只获取过去10分钟内的新问题）。
  • 调用GitHub API的GetAllForRepository方法获取问题列表。
  • 过滤掉Pull Request和旧问题。

3. 预测和分类

对每个问题进行预测，并根据结果决定是否添加标签。代码如下：

private FullPrediction[] PredictLabels(Octokit.Issue issue)
{
    var corefxIssue = new GitHubIssue
    {
        ID = issue.Number.ToString(),
        Title = issue.Title,
        Description = issue.Body
    };

    _fullPredictions = Predict(corefxIssue);

    return _fullPredictions;
}

public FullPrediction[] Predict(GitHubIssue issue)
{
    var prediction = _predEngine.Predict(issue);

    var fullPredictions = GetBestThreePredictions(prediction);

    return fullPredictions;
}

实现步骤：

  • 将GitHub问题转换为自定义的GitHubIssue对象。
  • 使用预测引擎对问题进行分类，获取预测结果。
  • 提取预测结果中的前三项作为最终标签。

4. 应用标签

根据预测结果自动添加标签到GitHub。代码如下：

private void ApplyLabels(Issue issue, FullPrediction[] fullPredictions)
{
    var issueUpdate = new IssueUpdate();

    //仅当预测分数大于等于30%时才应用标签
    foreach (var fullPrediction in fullPredictions)
    {
        if (fullPrediction.Score >= 0.3)
        {
            issueUpdate.AddLabel(fullPrediction.PredictedLabel);
            _client.Issue.Update(_repoOwner, _repoName, issue.Number, issueUpdate);

            Console.WriteLine($"Issue {issue.Number} : \"{issue.Title}\" \t 被标记为: {fullPredictions[0].PredictedLabel}");
        }
    }
}

实现步骤：

  • 创建IssueUpdate对象，用于更新问题标签。
  • 遍历预测结果，当预测分数超过阈值时添加标签。
  • 调用GitHub API的Update方法应用标签。

总结

本项目通过使用ML.NET加载TensorFlow模型，并结合GitHub API实现了对新问题的自动分类和标签管理。核心功能包括：

  • 加载并初始化预测引擎。
  • 获取指定仓库中的新问题。
  • 对问题进行分类并根据结果更新标签。
    该方案可以有效地帮助开发者自动化处理GitHub上的问题，提高工作效率。展示了如何利用 ML.NET 创建一个能够自动为 GitHub 问题分配标签的分类器。虽然这是一个相对简单的实现，但它为我们提供了一个坚实的基础，以便在未来进一步扩展和优化。

可能的改进方向

  • 集成更多算法：如支持向量机 (SVM)、随机森林等。
  • 使用更复杂的模型：如深度学习模型（LSTM、BERT 等）。
  • 优化特征工程：探索不同的文本表示方法，如 Word2Vec、GloVe 等。
  • 处理更多数据：收集更多的 GitHub 问题数据以提高模型的泛化能力。

通过这些改进，我们可以进一步提升分类器的性能和准确性。


http://www.kler.cn/a/566964.html

相关文章：

  • 奔图Pantum M7165DN黑白激光打印一体机报数据清除中…维修
  • 农作物叶子病害检测数据集VOC+YOLO格式5169张29类别
  • HTTP协议和HTTPS协议
  • 山石-Ultrasonic-好久不见45
  • 【计算机网络】常见tcp/udp对应的应用层协议，端口
  • 2025年4月1日-2日AutoCable 中国汽车线束线缆及连接技术创新峰会即将开幕
  • Apache DolphinScheduler系列3-任务配置经验分享
  • 模型优化之强化学习（RL）与监督微调（SFT）的区别和联系
  • 【多模态】Magma多模态AI Agent
  • 黑马Java面试教程_P5_微服务
  • 用大白话解释缓存Redis +MongoDB是什么有什么用怎么用
  • [Lc双指针_2] 盛水最多的容器 | 有效三角形的个数 | 和为S的两个数字
  • Spring Boot 消息队列（以RabbitMQ为例）
  • Java注释/JDK开发工具生成API/关键字、标识符规范
  • 企业级本地知识库部署指南（Windows优化版）
  • 什么是 Prompt？——一篇详细的介绍
  • FloodFill 算法（典型算法思想）—— OJ例题算法解析思路
  • Win 11 C盘相邻的分区是恢复分区导致无法扩容
  • PDF文件转换为PNG图像
  • DH法建立6自由度机械臂正运动学模型