R 语言机器学习算法实战系列（三） lightGBM 算法（光梯度提升机）

介绍

LightGBM（Light Gradient Boosting Machine）是一款基于决策树算法的分布式梯度提升框架，由微软开发。它的设计初衷是为了提供一个快速高效、低内存占用、高准确度、支持并行和大规模数据处理的数据科学工具。

原理：

1. 基于Histogram的决策树算法：LightGBM使用直方图算法来构建决策树，这种方法先将连续的浮点特征值离散化成k个整数，然后构造一个宽度为k的直方图。这种方法减少了数据预排序的需要，降低了内存消耗，并且提高了计算效率。
2. 带深度限制的Leaf-wise算法：大多数GBDT工具使用按层生长(level-wise)的策略，而LightGBM采用了带有深度限制的按叶子生长(leaf-wise)算法。这种策略每次从当前所有叶子中找到分裂增益最大的一个叶子进行分裂，提高了效率，但也可能增加过拟合的风险，因此引入了最大深度的限制。
3. 单边梯度采样算法（GOSS）：为了减少计算量，