当前位置：首页 > article >正文

大数据挖掘

article 2024/11/18 15:46:12

大数据挖掘

数据挖掘

数据挖掘定义

技术层面：

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中、人们事先不知道的、但又==潜在有用的信息==的过程。

数据准备环节

数据选择质量分析数据预处理

数据仓库

从多个数据源搜集的信息存放在一致的模式之下

特征化

对目标数据的一般特性和特征汇总

聚类分析

最大化类内相似度最小化类间相似性

数据准备

大数据定义

超出正常处理范围

由海量数据＋复杂类型的数据 构成

数据对象

组成数据集的元素，每个数据对象均为一个实体

数据对象由属性描述

数据的正确性分析

缺失值

数据错误

度量标准错误

编码不一致

处理缺失数据

忽视

较小缺失率有缺失值的样本或属性

人工补全缺失值

重新采样

领域知识

自动补全缺失值

固定值

均值

基于算法

插补法

均值插补

回归插补

极大似然估计

噪声过滤

回归法

均值平滑法

离群点分析

处理噪声数据

局部离群因子LOF计算

数据量

子集选择

数据量太大

减小时间复杂度

数据聚合

尺度变换

数据更稳定

调整类分布

不平衡数据

哈尔小波交换

通过调整分辨率

数据标准化

最小最大标准化

Z-score标准化

大数据挖掘与分析

邻近性

相似性和相异性统称为邻近性

数据矩阵

存放数据对象

相异性矩阵

存放数据对象的相异性值

二元属性邻近性

数值数据距离

闵可夫斯基距离

h=1 2 正无穷

维度诅咒

基于距离的聚类在高纬度下无效

在高维情况下 P（0,1）更有效

逆文档频率

IDF 或 Goodall度量

基本思路：

将基本词汇看做全部属性的集合

每个词频是属性的值

余弦度量

余弦相似度

逆文档频率阻尼系数

累计距离矩阵（大概率）

计算等图

算法题目APRIORI

基本的Apriori算法
Apriori算法的基本思路是采用层次搜索的迭代方法，由候选(k-1)-项集来寻找候选k-项集，并逐一判断产生的候选k-项集是否是频繁的。
　　设C k 是长度为k的候选项集的集合，L k 是长度为k的频繁项集的集合。为了简单，设最小支持度阈值min_sup为最小元组数，即采用最小支持度计数。

输入：事务数据库D，最小支持度阈值min_sup。
输出：所有的频繁项集集合L。
方法：其过程描述如下：

通过扫描D得到1-频繁项集L1;
for (k=2;Lk-1!=Ф;k++)
{      Ck=由Lk-1通过连接运算产生的候选k-项集;
        for (事务数据库D中的事务t)
        {	求Ck中包含在t中的所有候选k-项集的计数;
	Lk={c | c∈Ck and c.sup_count≥min_sup};
		//求Ck中满足min_sup的候选k-项集
        }
}
return L=∪kLk;