当前位置: 首页 > article >正文

【第十二章:Sentosa_DSML社区版-机器学习之回归】

目录

12.1 线性回归

12.2 决策树回归

12.3 梯度提升决策树回归

12.4 保序回归

12.5 XGBoost回归

12.6 随机森林回归

12.7 广义线性回归

12.8 LightGBM回归

12.9 因子分解机回归

12.10 AdaBoost回归

12.11 KNN回归

12.12 高斯过程回归

12.13 多层感知机回归


【第十二章:Sentosa_DSML社区版-机器学习之回归】

12.1 线性回归

1.算子介绍

        线性回归模型(BuildLRNode)是一个非常经典有效的回归模型,它假设所有特征变量和目标变量之间存在线性关系。通过训练来求得各个特征的权重以及截距。同时可以通过L1,L2正则化来减少模型的过拟合风险,增强模型的通用性。

2.算子类型

        机器学习/回归算子

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

reg_param

正则化参数

必填

Double

0.0

>=0.0

正则化参数

fit_intercept

是否拟合截距

必选

Boolean

单选:是,否

是否拟合截距

standardization

是否对数据归一化

必选

Boolean

单选:是,否

是否对数据归一化

elastic_net

弹性网络混合参数

必填

Double

 0.0

[0,1] 当loss=huber时,只能=0

弹性网络则是同时使用了L1和L2作为正则化项,参数中elastic_net为L1范数惩罚项所占比例。若=0时,弹性网络只剩L2范数的惩罚项。若等于1弹性网络退化为L1范数的惩罚项参数值越大对参数惩罚越大,越不容易过拟合

max_iteration

最大迭代次数

必填

Int

 100

>0

最大迭代数

tolerance

收敛偏差

必填

Double

1E-6

>=0

收敛偏差,越小精确度越高,迭代次数越多

loss

优化损失函数

必选

String

squaredError

单选:squaredError huber

优化损失函数。支持的选项: “squaredError”和“huber”。

solver

优化求解算法

必选

String

auto

单选:l-bfgs、normal、auto,loss=huber时,只支持l-bfgs

优化求解算法。支持的选项:“l-bfgs”,“normal”和“auto”。默认值:“auto” ;l-bfgs:限制内存BFGS算法,normal:使用正规方程解决回归问题,auto:自动选择

aggregation_depth

聚合树的深度

必填

Int

2

>=2

设置聚合树的深度参数。如果特征的维度较大,或者分区较大时,该参数应该设置足够大

epsilon

shape参数

必填

Double

1.35

loss=huber且>1.0

控制稳健性的shape参数。 必须是>1.0。在较大的epsilon值下,huber标准变得更接近于最小二乘回归; 对于小的epsilon值,该标准更类似于L1回归。默认值为1.35,以获得尽可能多的稳健性,同时保持正态分布数据的95%统计效率.仅在“损失”为“huber”时有效。

Wight

权重列设置

非必填

String

在建模时,有时不同的样本可能有不同的权重。我们需要支持用户在建模时指定权重列。

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        当优化损失函数为squareError时,线性回归的属性设置如图所示

线性回归属性设置一

        当优化损失函数为huber时,线性回归的属性设置如图所示

线性回归属性设置二

        其中弹性网格混合参数是同时使用L1和L2作为正则化项时, L1范数惩罚项所占比例,具体参照算子属性表格。正则化参数是损失函数中整个正则化项的参数。当运行到达最大迭代次数或收敛偏差小于设定的收敛偏差时停止迭代。聚合树深度为spark优化算法的参数,默认为2,当特征维度过大或数据分区过大时,建议调为更大的值。

(3)算子的运行

        线性回归为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接线性回归算子,右击算子,点击运行,得到线性回归模型。

运行线性回归算子获得线性回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的预测结果进行评估。

线性回归模型算子流

        右击模型,查看模型的模型信息,如图所示

线性回归模型信息

        模型的运行结果如图所示

线性回归模型运行结果

        模型的评估结果如图所示

线性回归模型评估结果

12.2 决策树回归

1.算子介绍

        决策树分类器是一种简单易用的非参数分类器模型,它会在用户选定的特征列上不断进行分裂,使得在每一分支对目标变量纯度逐渐增高。直至到达分支目标变量一致,或者满足用户设置的终止条件。回归树与分类树比较类似,不同的是分类树最后的决策的结果是离散型的值,回归树决策的结果是输出一个实数。

2.算子类型

        机器学习/回归算子

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

max_depth

树的最大深度

必填

Int

5

>=0且<=30

树的最大深度

max_bins

连续型属性划分最大分桶数

必填

Int

32

>=2

连续型属性划分最大分桶数

min_instances_per_node

最小实例数

必填

Int

1

>=1

最小实例数

min_infoGain

最小信息增益

必填

Double

0.0

>=0.0

在树节点上考虑分割的最小信息增益

Wight

权重列设置

非必填

String

在建模时,有时不同的样本可能有不同的权重。我们需要支持用户在建模时指定权重列。

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        决策树回归算子属性设置如图所示

决策树回归算子属性设置

        前端可配置属性如图所示,树的最大深度,连续型属性划分最大分桶数,最小实例数,最小信息增益都是用来控制构建聚合树时的分裂程度。

(3)算子的运行

        决策树回归为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接决策树回归算子,右击算子,点击运行,得到决策树回归模型。

运行决策树回归算子获得决策树回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的预测结果进行评估。

决策树回归模型算子流

        右击模型,查看模型的模型信息,如图所示

决策树回归模型信息

        模型的运行结果如图所示

决策树回归模型运行结果

        模型的评估结果如图所示

决策树回归模型评估结果

12.3 梯度提升决策树回归

1.算子介绍

        梯度提升树是一个Boosting聚合模型,它是由多个决策树一起组合来预测。多个决策树之间是顺序组合关系,每一个决策树模型都会修正之前所有模型预测的误差。这样经过多个模型的修正,从而提升了整个聚合模型的预测精度。

2.算子类型

        机器学习/回归算子

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

max_depth

树的最大深度

必填

Int

5

>=0且<=30

树的最大深度

max_bins

连续型属性划分最大分桶数

必填

Int

32

>=2

连续型属性划分最大分桶数

min_instances_per_node

最小实例数

必填

Int

1

>=1

最小实例数

min_infoGain

最小信息增益

必填

Double

0.0

>=0.0

在树节点上考虑分割的最小信息增益

sub_sampling_rate

子树的训练比例

必填

String

1.0

(0,1]

用于学习每个决策树的训练数据的比例

loss_type

最小化的损失函数

必选

String

squared

squared,absolute

GBT试图最小化的损失函数。(不区分大小写)支持:“squared”,“absolute”

max_iter

最大迭代次数

必填

Int

100

>0

最大迭代次数

step_size

步长

必填

Double

1.0

(0.0,1.0]

feature_subset_strategy

树节点拆分的策略

必选

String

auto

单选: auto,all,onethird,sqrt,log2,n,选择n时,则由用户输入具体>0的数值。

“auto”:自动选择,如果子树个数为1时,则使用全部特征。如果子树个数> 1时(森林),则设置为onethird(特征数量);“all”:使用所有特征;“onethird”:使用1/3的特征;“sqrt”:使用sqrt(特征数量);“log2”:使用log2(特征数量);“n”:当n在范围(0,1.0]时,为n*特征数。当n在范围(1,+∞)时,为特征数和n值两个之间的最小值。

Wight

权重列设置

非必填

String

在建模时,有时不同的样本可能有不同的权重。我们需要支持用户在建模时指定权重列。

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作

(2)算子属性设置

        梯度提升决策树回归的属性设置如图所示

梯度提升决策树回归属性设置

        前端可配置属性如图所示,树的最大深度,连续型属性划分最大分桶数,最小实例数,最小信息增益都是用来控制构建梯度提升决策树时的分裂程度。子树的训练比例指,在学习每个决策树时所用训练数据的比例。子树的训练比例和步长都是为了防止过拟合。树节点拆分策略为树的每个节点拆分时要考虑的特征数,各选项的具体意义见算子的属性说明表格。

(3)算子的运行

        梯度提升决策树回归为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接梯度提升决策树回归算子,右击算子,点击运行,得到梯度提升决策树回归模型。

运行梯度提升决策树回归算子获得梯度提升决策树回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的预测结果进行评估。

梯度提升决策树回归模型算子流

        右击模型,查看模型的模型信息,如图所示

梯度提升决策树回归模型信息

        模型的运行结果如图所示

梯度提升决策树回归模型运行结果

        模型的评估结果如图所示

梯度提升决策树回归模型评估结果

12.4 保序回归

1.算子介绍

        保序回归是一种特殊的线性回归,如果在业务上具有单调性,则可以使用保序回归。比如,药剂的使用量与毒性满足药剂使用量越大,毒性越大/越小这样的单调性。

2.算子类型

        机器学习/回归算子

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

feature_index

特征列

必选

String

连续型feature列

特征列名

isotonic

输出序列设置

必选

Boolean

递增

单选:递增,递减

输出序列是否递增或递减

Wight

权重列设置

非必填

String

在建模时,有时不同的样本可能有不同的权重。我们需要支持用户在建模时指定权重列。

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        保序回归的属性设置如图所示

保序回归属性设置

(3)算子的运行

        保序回归为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Label列,再接保序回归算子并设置Feature列,右击算子,点击运行,得到保序回归模型。

运行保序回归算子获得保序回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的预测结果进行评估。在保序回归模型后接排序算子对feature列进行排序,之后接折线图算子,可以看保序回归预测列的运行结果。

保序回归模型算子流

        右击模型,查看模型的模型信息

保序回归模型信息

        模型的运行结果如图所示

保序回归模型运行结果

        模型的评估结果如图所示

保序回归模型评估结果

12.5 XGBoost回归

1.算子介绍

        XGBoost是Extreme Gradient Boosting的缩写,它是一个优化的分布式梯度增强库,具有高效、灵活和可移植性。在梯度增强框架下实现了机器学习算法。XGBoost提供了一种并行树增强(也称为GBDT、GBM),可以快速、准确地解决许多数据科学问题。并且在分布式运行环境下进行了优化,可以解决数十亿规模的样本训练问题。

2.算子类型

        机器学习/回归算子

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

num_round

迭代次数

必填

Int

100

[1,Int. MaxValue]

算法的迭代次数(树的数量)

eta

学习率

必填

Double

1.0

[0.0,1.0]

更新中减少的步长来防止过拟合。

gamma

最小分裂损失

必填

Double

0

[0, Double.MaxValue]

在节点分裂时,只有分裂后损失函数的值下降了,才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。 这个参数的值越大,算法越保守。这个参数的值和损失函数息息相关,所以是需要调整的。

max_depth

树的最大深度

必填

Int

6

[1, Int.MaxValue]

这个值也是用来避免过拟合的。max_depth越大,模型会学到更具体更局部的样本。

min_child_weight

最小叶子节点样本权重和

必填

Double

1

[0, Double.MaxValue]

这个参数用于避免过拟合。当它的值较大时,可以避免模型学习到局部的特殊样本。 但是如果这个值过高,会导致欠拟合。这个参数需要使用CV来调整。

subsample

子采样率

必填

Double

1

(0,1]

将其设置为0.5意味着XGBoost随机收集了一半的数据实例以生成树,这将防止过度拟合,子采样将在每次boosting迭代中发生一次。

colsample_bytree

每棵树随机采样的列数占比

必填

Double

0.8

(0,1]

用来控制每棵随机采样的列数的占比(每一列是一个特征)。 我们一般设置成0.8左右, 典型值:0.5-1范围: (0,1]

tree_method

树构造算法

必填

String

auto

可选择"auto",“hist”,“approx”

auto:使用启发式方法选择最快的方法, hist: 更快的直方图优化的近似贪婪算, approx:使用分位数草图和梯度直方图的近似贪婪算法

grow_policy

添加节点方式

必填

String

depthwise

仅在tree_method为hist的时候生效可选择:depthwise, lossguide

 depthwise:

在最靠近根的节点处拆分,

lossguide: 在损耗变化最大的节点处拆分

max_bins

最大箱数

必填

Integer

256

仅在tree_method设置为hist时使用, [1, Int. MaxValue)

用于存储连续特征的最大不连续回收箱数,增加此数目可提高拆分的最佳性,但需要增加计算时间。

single_precision_histogram

是否单精度

必填

Boolean

仅在tree_method设置为hist时使用,

可选:是,否

否:双精度

是: 单精度

scale_pos_weight

正负样本不均衡调节权重

必填

Double

1

>0

在各类别样本十分不平衡时,把这个参数设定为一个正值,可以使算法更快收敛。通常可以将其设置为负样本的数目与正样本数目的比值.

lambda

L2正则化项

必填

Double

1

>= 0

关于权重的L2正则化项。增加此值将使模型更加保守。

alpha

L1正则化项

必填

Double

0

>=0

关于权重的L1正则化项。增加此值将使模型更加保守。

objective

学习目标

必填

String

reg: squarederror

可选:reg:squarederror, reg:squaredlogerror, reg:gamma, reg:tweedie

reg:squarederror:

平方损失回归,

reg:squaredlogerror:

对数平方损失回归,

reg:gamma:使用对数链接进行伽马回归

eval_metric

评估指标

必选

String

根据优化目标默认

可选择[“rmse”,”rmsle”,”mae”,”gamma-deviance”]

rmse:均方根误差; rmsle:均方根对数误差

mae:平均绝对误差; gamma-deviance:伽马回归偏差

base_score

初始预测分数

必填

Double

0.5

>0

所有实例的初始预测分数,全局偏差. 在迭代次数少的情况下,可加快收敛速度, 对于足够数量的迭代,更改此值不会产生太大影响

Wight

权重列设置

非必填

String

在建模时,有时不同的样本可能有不同的权重。我们需要支持用户在建模时指定权重列。

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        XGBoost回归算子的属性设置如图所示

XGBoost回归算子属性设置

        前端可配置属性如图所示,评估指标即算法的损失函数,有均方根误差、均方根对数误差、平均绝对误差、伽马回归偏差四种;学习率,树的最大深度,最小叶子节点样本权重和,子采样率,最小分裂损失,每棵树随机采样的列数占比,L1正则化项和L2正则化项都是用来防止算法过拟合。当子节点样本权重和不大于所设的最小叶子节点样本权重和时不对该节点进行进一步划分。添加节点方式、最大箱数、是否单精度,这三个参数是当树构造方法是为hist的时候,才生效。最小分裂损失指定了节点分裂所需的最小损失函数下降值。参数的具体意义参考算子属性说明表格。

(3)算子的运行

        XGBoost回归算子为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接XGBoost回归算子,右击算子,点击运行,得到XGBoost回归模型。

运行XGBoost回归算子获得XGBoost回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的预测结果进行评估。

XGBoost回归模型算子流

        右击模型,查看模型的模型信息

XGBoost回归模型信息

        模型的运行结果如图所示

XGBoost回归模型运行结果

        模型的评估结果如图所示

XGBoost回归模型评估结果

12.6 随机森林回归

1.算子介绍

        随机森林是一种常用的分类和回归方法。它是一种Bagging的模型聚合方法。它内部集成了大量的决策树模型。每个模型都会选取一部分特征和一部分训练样本。最终由多个决策树模型来共同决定预测值。随机森林算法可以充分利用集群的性能,提高最终聚合模型的精度,并且大大改善模型的过拟合问题。

2.算子类型

        机器学习/回归算子

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

max_depth

树的最大深度

必填

Int

5

>=0且<=30

树的最大深度:深度0表示1叶节点; 深度1表示1个内部节点+ 2个叶节点

max_bins

连续型属性划分最大分桶数

必填

Int

32

>=2

用于离散连续特性和选择如何在每个节点上分割特性的最大容器数

min_instances_per_node

最小实例数

必填

Int

1

>=1

每个子节点在分割后必须拥有的最小实例数,

min_infoGain

最小信息增益

必填

double

0.0

>=0.0

在树节点上考虑分割的最小信息增益

feature_subset_strategy

树节点拆分的策略

必选

String

auto

单选:auto,all,onethird,sqrt,log2,选择n时,则由用户输入具体>0的数值。

“auto”:自动选择,如果子树个数为1时,则使用全部特征。如果子树个数> 1时(森林),则设置为onethird(特征数量);“all”:使用所有特征;“onethird”:使用1/3的特征;“sqrt”:使用sqrt(特征数量);“log2”:使用log2(特征数量);“n”:当n在范围(0,1.0]时,为n*特征数。当n在范围(1,+∞)时,为特征数和n值两个之间的最小值。

num_trees

树的数量

必填

Int

20

>=1

要训练的树数

subsampling_rate

子树的训练比例

必填

Double

1.0

(0,1]

用于学习每个决策树的训练数据的一部分,范围。(默认= 1.0)

Wight

权重列

非必填

String

在建模时,有时不同的样本可能有不同的权重。我们需要支持用户在建模时指定权重列。

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        随机森林回归的属性设置如图所示

随机森林回归算子属性设置

        前端可配置属性如图所示,树的最大深度,连续型属性划分最大分桶数,最小实例数,最小信息增益都是用来控制构建随机森林时树的分裂程度。子树的训练比例指,在学习每个决策树时所用训练数据的比例。树节点拆分策略为树的每个节点拆分时要考虑的特征数,各选项的具体意义见算子的属性说明表格。

(3)算子的运行

        随机森林回归算子为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接随机森林回归算子,右击算子,点击运行,得到随机森林回归模型。

运行随机森林回归算子获得随机森林回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的预测结果进行评估。

随机森林回归模型算子流

        右击模型,查看模型的模型信息

随机森林回归模型信息

        模型的运行结果如图所示

随机森林回归模型运行结果

        模型的评估结果如图所示

随机森林回归模型评估结果

12.7 广义线性回归

1.算子介绍

        广义线性模型[generalize linear model]是线性模型的扩展,通过联结函数建立相应变量的数学期望值与线性组合的预测变量之间的关系。其特点是不强行改变数据的自然度量,数据可以具有非线性和非恒定方差结构。是线性模型在研究响应值的非正态分布以及非线性模型简洁直接的线性转化时的一种发展。

2.算子类型

        机器学习/回归算子

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

family

分布方式

必选

String

gaussian

单选gaussian,binomial,poisson,gamma,tweedie

用于描述模型中使用的错误分布

link

连接函数

必选

String

idenity

当family=tweedie时,无此项配置;当family=gaussian时,可选项有identity,log,inverse;family=binomial时,可选项有logit,probit,cloglog;family=poisson时,可选项为identity,log,sqrt;family=gamma时,可选项有identity,log,inverse

为链接函数的名称提供了线性预测函数与分布函数平均值之间的关系

fit_intercept

是否拟合截距

必选

Boolean

单选:是,否

是否拟合截距

variance_power

方差函数的幂

必填

double

0.0

0 和 [1, 无穷大)family=Tweedie

为Tweedie分布的方差函数的幂,提供了分布的方差和均值之间的关系,仅支持 Tweedie系分布方式0对应Gaussian1对应Poisson2对应Gamma系

link_power

冥链函数的索引

必选

double

1

family=Tweedie0,1,-1,0.5

冥链函数的索引,仅适用于Tweedie家族,0,1,-1或0.5分别对应于Log,Identity,Inverse或Sqrt链路。不设置时,默认值为1-variance_power

max_iter

最大迭代次数

必填

Int

25

> 0

最大迭代次数

reg_param

正则化参数

必填

double

0.0

>=0

正则化参数

tol

收敛偏差

必填

double

1E-6

>= 0

收敛偏差

offset_column

偏移量列名

非必填

String

前继算子的输出列

偏移量列名

Wight

权重列

非必填

String

在建模时,有时不同的样本可能有不同的权重。我们需要支持用户在建模时指定权重列。

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作

(2)算子属性设置

        广义线性回归算子的属性设置如图所示

广义线性回归算子属性设置

(3)算子的运行

        广义线性回归算子为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接广义线性回归算子,右击算子,点击运行,得到广义线性回归模型。

运行广义线性回归算子获得广义线性回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的预测结果进行评估。

广义线性回归模型算子流

        右击模型,查看模型的模型信息

广义线性回归模型信息

        模型的运行结果如图所示

广义线性回归模型运行结果

        模型的评估结果如图所示

广义线性回归模型评估结果

12.8 LightGBM回归

1.算子介绍

        LightGBM属于Boosting集合模型中的一种,它和XGBoost一样是对GBDT的高效实现。LightGBM在很多方面会比XGBoost表现更为优秀。它有以下优势:更快的训练效率、低内存使用、更高的准确率、支持并行化学习、可处理大规模数据。

2.算子类型

        机器学习/分类算子

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

objective

学习目标

必填

String

regression

regression,regression_l1,huber,fair,poisson,quantile,mape,gamma,tweedie

regression别名regression_l2、mse、mean_squared_error,采用l2损失;

regression_l1别名mean_absolute_error、mae,采用l1损失;

huber:huber损失;

fair:fair损失;

poisson:poisson损失;

quantile:quantile损失;

quantile_l2与quantile 类似,但是使用 L2 损失

mape别名mean_absolute_percentage_error

gamma 目标符合gamma分布

tweedie 目标符合tweedie分布

boosting_tye

基学习器

必填

String

gbdt

gbdt,rf,dart,goss

gbdt:梯度提升数,rf:随机森林,dart:dropout+mart,goss:单边梯度重采样

num_iterations

迭代次数

必填

Integer

100

[1, Int.MaxValue]

迭代次数

learning_rate

学习率

必填

Double

0.1

(0,1]

学习率

max_depth

最大深度

必填

Integer

-1

[Int.MinValue, Int.MaxValue]

树模型最大深度的限制,当数据量较小时,用来处理过拟合,树仍然通过leaf-wise生长,<=0意味着没有限制

num_leaves

叶子数量

必填

Integer

31

[2, Int.MaxValue]

叶子数量

min_sum_hessian_in_leaf

最小叶子节点Hessian和

必填

Double

1e-3

[0, Int.MaxValue]

可以防止过拟合

bagging_fraction

Bagging比例

必填

Double

1.0

(0,1]

可以在不进行重采样的情况下随机选择部分数据来加速训练,为了启用bagging。rf时这个参数需要小于1,且bagging_freq > 0。

bagging_freq

Bagging频率

必填

Integer

0

[0, Int.MaxValue]

0意味着关闭bagging, k意味着k次迭代进行一次bagging,此外如果要用bagging,bagging_fraction必须同时小于1.0。

bagging_seed

Bagging种子

必填

Integer

3

>0

Bagging种子。

lambda_l2

L2正则化项

必填

Double

0

>= 0

关于权重的L2正则化项。增加此值将使模型更加保守。

lambda_l1

L1正则化项

必填

Double

0

>=0

关于权重的L1正则化项。增加此值将使模型更加保守。

feature_fraction

特征采样比例

必填

Double

1.0

(0.0,1.0]

如果该参数小于1.0, 在每个迭代,lightgbm会随机选择部分特征进行训练,加速训练,防止过拟合

early_stopping_round

提前终止迭代

必填

Integer

0

>=0

如果一个验证集的metric在过去的 early_stopping_round轮次中没有提升则终止训练,<=0意味着关闭

max_bin

最大箱数

必填

Integer

255

(0,infinite)

较少的箱数可能会降低精度,但是会避免过拟合

boost_from_average

从均值开始提升

必填

Boolean

单选:是,否

只在regression中使用

调整初始分数到标签的平均值,以便更快地收敛

is_provide_training_metric

输出训练metric结果

必填

Boolean

单选:是,否

训练时提供metric结果

Wight

权重列设置

非必填

String

在建模时,有时不同的样本可能有不同的权重。我们需要支持用户在建模时指定权重列。

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作

(2)算子属性设置

        LightGBM回归的属性设置如图所示

LightGBM回归属性设置

(3)算子的运行

        LightGBM回归为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接LightGBM回归算子,右击算子,点击运行,得到LightGBM回归模型。

运行LightGBM回归算子获得LightGBM回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的分类结果进行评估。算子流如图4.7.2.8-3所示。

LightGBM回归模型算子流

        右击模型,查看模型的模型信息

LightGBM回归模型信息

        模型的运行结果如图所示

LightGBM回归模型运行结果

        模型的评估结果如图所示

LightGBM回归模型评估结果

12.9 因子分解机回归

1.算子介绍

        因子分解机是一种基于矩阵分解的机器学习算法,可以解决特征组合以及高维稀疏矩阵问题的强大的机器学习算法,首先是特征组合,通过对两两特征组合,引入交叉项特征,提高模型得分;其次是高维灾难,通过引入隐向量(对参数矩阵进行矩阵分解),完成对特征的参数估计。目前FM算法是推荐领域被验证的效果较好的推荐方案之一。

2.算子类型

        机器学习/回归算子。

3.算子属性说明              

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

solver

优化求解算法

必选

String

adamW

单选:adamW,gd

优化求解算法

bias

是否拟合截距

必选

Boolean

true,false

是否拟合截距,即0次项

one_way_interaction

是否拟合一次项

必选

Boolean

true,false

是否拟合一次项

dimension

二次项维度

必选

Int

8

>0

二次项维度

reg_params

正则化参数

必选

Double

0.01

>0

正则化系数

max_itert

最大迭代次数

必选

Int

100

>0

最大迭代次数

init_stdev

二次项初始标准差

必选

Double

0.05

>0.0

二次项初始标准差

step_size

步长

必选

Double

0.01

>0.0

步长

tolerance_conver_iter

迭代的收敛误差

必选

Double

1E-6

>0.0

迭代的收敛误差

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        当优化求解算法选择adamW时,因子分解机回归算子的属性设置如图所示

优化求解算法选择adamW时因子分解机属性设置

        adamW(Adam Weight Decay Regularization):Adam可以看作是RMSprob和动量SGD的结合,目的在于抑制震荡加速收敛。 Adamw则是在Adam的更新策略中采用了计算整体损失函数的梯度来进行更新而不是只计算不带正则项部分的梯度进行更新之后再进行权重衰减。

        当优化求解算法选择gd时,因子分解机的属性设置如图所示

优化求解算法选择GD时因子分解机属性设置

        GD (Gradient Descent): 最为经典的凸优化优化器,通过loss反向传导计算参数的梯度,沿着负梯度的方向更新参数。

(3)算子的运行

        因子分解机回归为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。为了训练得到更好的模型,训练数据需要使用标准化算子或者归一化算子进行处理。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列(Label列需满足:能转换为Double类型或者就是Double类型),再接因子分解机分类算子,右击算子,点击运行,得到因子分解机分类模型。

运行因子分解机分类算子获得模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的分类结果进行评估。

因子分解机模型算子流

        右击模型,查看模型的模型信息

因子分解机回归模型信息

        模型的运行结果如图所示

因子分解机模型运行结果

        模型的评估结果如图所示

因子分解机模型评估结果

12.10 AdaBoost回归

1.算子介绍

        AdaBoost是一种Boosting集成方法,主要思想就是将弱的基学习器提升(boost)为强学习器,根据上轮迭代得到的学习器对训练集的预测表现情况调整训练集中的样本权重, 然后据此训练一个新的基学习器,最终的集成结果是多个基学习器的组合。

2.算子类型

        机器学习/分类算子。

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

max_depth

树的最大深度

必填

Int

5

>=0且<=30

树的最大深度

max_bins

连续型属性划分最大分桶数

必填

Int

32

>=2

连续型属性划分最大分桶数

min_instances_per_node

最小实例数

必填

Int

1

>=1

最小实例数

min_infoGain

最小信息增益

必填

Double

0.0

>=0.0

在树节点上考虑分割的最小信息增益

feature_subset_strategy

树节点拆分的策略

必填

String

auto

单选:auto,all,onethird,sqrt,log2,选择n时,则由用户输入具体>0的数值。

“auto”:自动选择,如果子树个数为1时,则使用全部特征。如果子树个数> 1时(森林),则设置为sqrt(特征数量);“all”:使用所有特征;“onethird”:使用1/3的特征;“sqrt”:使用sqrt(特征数量);“log2”:使用log2(特征数量);“n”:当n在范围(0,1.0]时,为n*特征数。当n在范围(1,+∞)时,为特征数和n值两个之间的最小值。

subsampling_rate

子树的训练比例

必填

String

1.0

(0,1]

用于学习每个决策树的训练数据的比例

max_iter

迭代次数

必填

Int

10

>0

迭代次数,决定Adaboost子树的数量

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        AdaBoost回归算子的属性设置如图所示

AdaBoost回归属性设置

        前端可配置属性如图所示,树的最大深度,连续型属性划分最大分桶数,最小实例数,最小信息增益都是用来控制构建子决策树时的分裂程度。子树的训练比例指,在学习每个决策树时所用训练数据的比例。子树的训练比例都是为了防止过拟合。树节点拆分策略为树的每个节点拆分时要考虑的特征数,各选项的具体意义见算子的属性说明表格。

(3)算子的运行

        AdaBoost回归为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接AdaBoost回归算子,右击算子,点击运行,得到AdaBoost回归模型。

运行AdaBoost回归算子获得AdaBoost回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的回归结果进行评估。

AdaBoost回归模型算子流

        右击模型,查看模型的模型信息

AdaBoost回归模型信息

        模型的运行结果如图所示

AdaBoost回归模型运行结果

        模型的评估结果如图所示。

AdaBoost回归模型评估结果

12.11 KNN回归

1.算子介绍

        K-近邻算法是一种惰性学习模型(lazy learning),也称为基于实例学习模型,这与勤奋学习模型(eager learning)不一样。

        勤奋学习模型在训练模型的时候会很耗资源,它会根据训练数据生成一个模型,在预测阶段直接带入数据就可以生成预测的数据,所以在预测阶段几乎不消耗资源。

        惰性学习模型在训练模型的时候不会估计由模型生成的参数,他可以即刻预测,但是会消耗较多资源,例如KNN模型,要预测一个实例,需要求出与所有实例之间的距离。

        K-近邻算法是一种非参数模型,参数模型使用固定的数量的参数或者系数去定义模型,非参数模型并不意味着不需要参数,而是参数的数量不确定,它可能会随着训练实例数量的增加而增加,当数据量大的时候,看不出解释变量和响应变量之间的关系的时候,使用非参数模型就会有很大的优势,而如果数据量少,可以观察到两者之间的关系的,使用相应的模型就会有很大的优势。

        存在一个样本集,也就是训练集,每一个数据都有标签,也就是我们知道样本中每个数据与所属分类的关系,输入没有标签的新数据后,新数据的每个特征会和样本集中的所有数据对应的特征进行比较,算出新数据与样本集其他数据的欧几里得距离,这里需要给出K值,这里会选择与新数据距离最近的K个数据,其中出现次数最多的分类就是新数据的分类,一般k不会大于20。

        KNN在做回归和分类的主要区别,在于最后做预测时候的决策不同。在分类预测时,一般采用多数表决法。在做回归预测时,一般使用平均值法。

        多数表决法:分类时,哪些样本离我的目标样本比较近,即目标样本离哪个分类的样本更接近。

        平均值法: 预测一个样本的平均身高,观察目标样本周围的其他样本的平均身高,我们认为平均身高是目标样本的身高。

2.算子类型

        机器学习/回归算子。

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

k

K值

必填

Int

5

>=2

K近邻的K值

Wight

权重列设置

非必填

String

在建模时,有时不同的样本可能有不同的权重。我们需要支持用户在建模时指定权重列。

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        KNN回归算子属性设置如图所示

KNN回归算子属性设置

(3)算子的运行

        KNN回归为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接KNN算子,右击算子,点击运行,得到KNN回归模型。

运行KNN回归算子获得KNN回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的回归结果进行评估。

KNN回归模型算子流

        右击模型可以查看模型的模型信息

模型信息

        模型的运行结果如图所示

KNN回归模型运行结果

        模型的评估结果如图所示

KNN回归模型评估结果

12.12 高斯过程回归

1.算子介绍

2.算子类型

        机器学习/回归算子

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

Kernel

核函数类型

必选

String

RBF

RBF

ARDRBF

核函数类型

maxIteration

最大迭代次数

必选

Int

10

正整数

最大迭代次数

tolerance

收敛偏差

必选

Double

1e-6

(0,+∞)

收敛偏差

activeSetSize

模型预测的采样点数

必选

int

1000

正整数

模型预测的采样点数

datasetSizeForExpert

用作超参优化的数据块大小

必选

Int

1000

正整数

用作超参优化的数据块大小

sigma2

噪声的方差参数

必选

Double

2e-1

(0.1,+∞)

噪声的方差参数

activesetProvider

数据采样方法

必选

String

KMeans

GreedilyOptimization、

KMeans、

Random

数据采样方法

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        高斯回归算子属性设置如图所示

高斯回归算子属性设置

(3)算子的运行

        高斯回归为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接高斯回归算子,右击算子,点击运行,得到高斯回归模型。

高斯回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的回归结果进行评估。

高斯回归模型算子流

        右击模型可以查看模型的模型信息

模型信息

        模型的运行结果如图所示

高斯回归模型运行结果

        模型的评估结果如图所示

高斯回归模型评估结果

12.13 多层感知机回归

1.算子介绍

        多层感知是一种前馈人工神经网络模型,其将输入的多个数据集映射到单一的输出的数据集上,多层感知机层与层之间是全连接的,最底层是输入层,中间是隐藏层,最后是输出层。

2.算子类型

        机器学习/回归算子

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

layers

隐藏层数设置(逗号分隔的整数)

必填

List<String>

逗号分隔的整型

从输入层到输出层的层数。用逗号分隔的整数,例如780,100,10表示780个输入,100个神经元的隐藏层和10个神经元的输出层

solver

优化算法

必选

String

l-bfgs

单选:l-bfgs gd

优化算法。支持选项:“l-bfgs”/“gd”默认l-bfgs

max_iteration

最大迭代次数

必填

Int

100

>0

最大迭代次数

tolerance

收敛偏差

必填

Double

1E-6

>= 0

收敛偏差

step_size

步长

必填

Double

0.03

>0

步长参数范围: (0,+∞)

优化算法选择gd时显示

feature_weight

是否计算特征重要性

必填

Boolean

单选:是,否

是否计算特征重要性

Calculate_actual_predicted_scatter_plot

是否计算实际值-预测值散点图

必填

Boolean

单选:是,否

是否计算实际值-预测值散点图

calculate_residual_histogram

是否计算残差直方图

必填

Boolean

单选:是,否

是否计算残差直方图

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        当优化算法为拟牛顿法时,多层感知机回归的属性设置如图所示。

多层感知机回归算子属性设置

        当优化算法为梯度下降时,多层感知机回归的属性设置如图所示

多层感知机回归算子属性设置

        算子将非数值型Feature转换为数值型,且自动计算输入层神经元个数和输出层神经元个数,用户只需设置隐藏层神经元个数,各隐藏层之间用逗号分隔。

(3)算子的运行

        多层感知机为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等);然后接类型算子,设置Feature列和Label列,再接多层感知机回归算子,右击算子,点击运行,得到多层感知机回归模型。

运行多层感知机回归获得多层感知机回归模型

        模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行。模型后也可接评估算子,对模型的回归结果进行评估。

多层感知机回归模型算子流

        右击模型,查看模型的模型信息

多层感知机回归模型信息

        模型的运行结果如图所示

多层感知机回归模型运行结果

        模型的评估结果如图所示

多层感知机回归模型评估结果


  

  为了非商业用途的科研学者、研究人员及开发者提供学习、交流及实践机器学习技术,推出了一款轻量化且完全免费的Sentosa_DSML社区版。以轻量化一键安装、平台免费使用、视频教学和社区论坛服务为主要特点,能够与其他数据科学家和机器学习爱好者交流心得,分享经验和解决问题。文章最后附上官网链接,感兴趣工具的可以直接下载使用

Sentosa_DSML社区版https://sentosa.znv.com/

Sentosa_DSML算子流开发视频


http://www.kler.cn/a/317131.html

相关文章:

  • StarRocks Summit Asia 2024 全部议程公布!
  • FluentUI使用
  • 批量重命名Excel文件并排序
  • 数字后端教程之Innovus report_property和get_property使用方法及应用案例
  • C++《继承》
  • 【云计算解决方案面试整理】1-2云计算基础概念及云计算技术原理
  • expressjs 和 Router 配置 POST 请求
  • 智能算法躲避拥堵,高德企业用车上线“动态选路服务”为出行提效
  • Redis常用数据类型
  • 自动化测试常用函数
  • 数据结构 ——— 算法的空间复杂度
  • 使用 HFD 加快 Hugging Face 模型和数据集的下载,解决443报错
  • 逗号运算符
  • git报错:无法读取远程分支 ‘origin‘ does not appear to be a git repository
  • MySQL—多表操作详解
  • 【CSS in Depth 2 精译_038】6.2 CSS 定位技术之:绝对定位
  • 使用SBP打AssetBundle时脚本引用丢失
  • [Linux]ubuntu安装nvidia显卡驱动登录后黑屏
  • 通过 Flink 的火焰图定位反压
  • LabVIEW提高开发效率技巧----合理使用数据流与内存管理
  • MySQL篇(管理工具)
  • CPLD 工程师面试题
  • springboot结合p6spy进行SQL监控
  • Hadoop 性能优化高频面试题及答案
  • XSS—xss-labs靶场通关
  • codeforces round974 div3 分层图 树形dp