结合大语言模型的异常检测方法研究
论文链接
Research on Anomaly Detection Methodology Combining Large Language Models
论文主要内容
研究背景与目的：
随着大数据和人工智能技术的发展，异常检测在数据分析中变得越来越重要。
本研究提出了一种名为SemantEdge Detection (SED)的新型检测方法，该方法结合了大型语言模型和无监督异常检测算法，旨在提高在语义边界处的检测性能。
研究方法：
论文提出了SED方法，它整合了无监督算法（iForest, HBOS, KNN, LODA）和大型语言模型（如GPT-3.5），以实验验证在边界情况下的异常检测效果。
研究目标是开发一个创新的异常检测框架，利用无监督算法和GPT-3.5模型的优势来提高异常数据点的识别能力。
文献回顾：
论文回顾了无监督异常检测算法的概述，包括iForest、HBOS、KNN和LODA等算法。
讨论了异常检测面临的挑战和限制，如数据不平衡、模型可解释性以及行为模式的演变。
概述了大型语言模型（如GPT-3.5）在自然语言处理中的潜力，并探讨了它们在异常检测中的潜在应用。
SED方法架构：
SED方法首先使用无监督算法对整个数据集进行快速扫描和初步识别。
然后，利用GPT-3.5的深度语义分析能力，对位于正常和异常数据边界的数据点进行更深入的检查。
实验设计与评估：
使用CCF登录认证和访问数据集进行实验，该数据集包含超过40,000条记录。
使用准确率、精确率、召回率和F1分数作为模型性能的综合评估指标。
实验框架包括数据预处理、异常检测和评分、阈值效应验证以及使用大型语言模型进行增强验证。
实验结果分析：
实验结果显示，GPT-3.5在处理接近边界值的数据时，在所有四个主要评估指标上的表现都优于四种无监督异常检测算法。
这证实了大型语言模型在处理接近阈值的数据时的强大潜力，并为未来的研究提供了新的方向。
结论与改进：
研究结果表明，将大型语言模型整合到现有的异常检测方法中具有显著的潜力，这不仅为当前业务场景中的异常检测问题提供了实际可行的参考解决方案，也为相关领域的未来研究方向提供了新的视角和丰富的研究材料。