异常值理解
异常值（Outlier）是指在数据集中与其他数据点显著不同的观测值。它们可能是由测量误差、数据录入错误或真实的、但罕见的现象引起的。
异常值的定义与理解
-
统计定义：
- 在统计学中，异常值通常是指在数据分布的尾部的点。比如，可以用标准差来定义：数据点如果离均值超过一定的标准差范围（如3个标准差），则可视为异常值。
-
领域定义：
- 不同领域的异常值可能有不同的含义。在金融领域，异常值可能表示欺诈行为；在医疗领域，异常值可能指代罕见疾病。
-
影响因素：
- 异常值可能会对模型的性能产生显著影响，导致模型偏向于错误的决策。因此，识别和处理异常值是数据预处理的重要步骤。
异常值探测的方法
-
统计方法：
- Z-score：计算每个数据点的Z-score，如果绝对值大于某个阈值（通常是3），则认为是异常值。
- IQR（四分位数间距）：通过计算第一四分位数（Q1）和第三四分位数（Q3），确定上下界限（Q1 - 1.5 * IQR，Q3 + 1.5 * IQR）来识别异常值。
-
机器学习方法：
- K-means聚类：通过聚类分析，找出距离簇中心较远的数据点。
- 孤立森林（Isolation Forest）：通过构建随机树来分离异常值，适合大规模数据集。
- 支持向量机（SVM）：使用SVM进行异常值检测，通过寻找最大边界来识别异常点。
-
深度学习方法：
- 自编码器（Autoencoder）：通过训练自编码器重构数据，重构误差较大的点可视为异常值。
- 循环神经网络（RNN）：在时间序列数据中，使用RNN检测不寻常的模式或行为。
-
其他方法：
- 密度估计：如高斯混合模型（GMM），通过评估数据点的概率密度来判断异常。
- 基于图的方法：例如，使用图算法识别节点之间的异常关系。
处理异常值
识别出异常值后，可以选择不同的处理方法：
- 删除：直接删除异常值，适用于异常值较少且不影响整体分析的情况。
- 替换：用均值、中位数等统计值替换异常值。
- 标记：将异常值单独标记，进行进一步分析。