深圳市做网站的青岛永诚网络有限公司
可以分为三部分学习树模型：
- 基本树（包括 ID3、C4.5、CART）.
- Random Forest、Adaboost、GBDT
- Xgboost 和 LightGBM。
基本树
选择特征的准则
ID3：信息增益max
C4.5：信息增益比max
CART：基尼指数min
优缺点
ID3
核心思想是奥卡姆剃刀（决策树小优于大）
缺点：
- ID3 没有剪枝策略，容易过拟合；
- 信息增益准则对可取值数目较多的特征有所偏好，类似“编号”的特征其信息增益接近于 1；
- 只能用于处理离散分布的特征；
- 没有考虑缺失值。
C4.5
有剪枝策略。最大的特点是克服了 ID3 对特征数目的偏重这一缺点，引入信息增益率来作为分类标准。
缺点：
- C4.5 只能用于分类；
- C4.5 使用的熵模型拥有大量耗时的对数运算，连续值还有排序运算；
- C4.5 在构造树的过程中，对数值属性值需要按照其大小进行排序，从中选择一个分割点，所以只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时，程序无法运行。
CART
ID3 和 C4.5 虽然在对训练样本集的学习中可以尽可能多地挖掘信息，但是其生成的决策树分支、规模都比较大，CART 算法的二分法可以简化决策树的规模，提高生成决策树的效率。
集成学习/决策树
常见的集成学习框架有三种&