决策树的主要算法构建决策树的关键：按照什么样的次序来选择变量（属性/特征）作为分类依据。根据不同的目标函数，建立决策树主要有以下三种算法ID3(J.Ross Quinlan-1975) 核心：信息熵，信息增益C4.5——ID3的改进，核心：信息增益比/增益率CART(Breiman-1984)，核心：基尼系数ID3算法由Ross Quinlan在1986年提出，ID3决策树可以有多个分支，但是不能处理特征值为连续的情况，根据“最大信息熵增益”选取当前最佳的特征来分割数据。开始之前我们先引入几个概念。香农熵(Shannon Entropy)熵用来表示事件的不确定性，熵越小代表事件发生的概率就越大...
