当前位置: 首页 > news >正文

医疗行业网站策划湛江模板建站公司

医疗行业网站策划,湛江模板建站公司,北京文化墙设计公司,星巴克网络营销案例分析目录 预剪枝 后剪枝 处理连续值 处理缺失值 剪枝(pruning)是决策树学习算法对付“过拟合”的主要手段。 在决策树学习过程中,有时会造成决策树分枝过多,就可能造成过拟合,可通过主动去掉一些分支来降低过离合的风…

目录

预剪枝

后剪枝

处理连续值

处理缺失值


剪枝(pruning)是决策树学习算法对付“过拟合”的主要手段。

  • 在决策树学习过程中,有时会造成决策树分枝过多,就可能造成过拟合,可通过主动去掉一些分支来降低过离合的风险。
  • 决策树剪枝的基本策略有“预剪枝”(prepruning)和“后剪枝”(postpruning)。

预剪枝

  • 预剪枝是指在决策树的生成过程中,对每个节点在划分前先进行估计,若当前节点的划分不能带来决策数泛化性能提升,则停止划分,并将当前节点标记为叶节点。
  • 后剪枝是先从训练集生成一颗完整的决策树,然后自底向上的对非叶节点进行考察,若将该节点对应的子树替换为叶节点,能带来决策树泛化性能提升,则将该子树替换为叶节点。
  • 那么如何判断决策树的泛化性能提升呢?可以使用验证集进行验证。
  • 一颗仅有一层划分的决策树,称为“决策树桩”(decision stumb)。
  • 预剪枝使得决策树的很多分支都不进行展开,这既降低了过拟合的风险,又显著减少了决策树的训练时间开销和测试时间开销。
  • 另一方面,有些分支的当前划分虽不能提升泛化性能,甚至可能导致泛化性能暂时下降,但是在其基础进行的后续划分却有可能导致性能显著提高。这给预剪枝决策树带来了欠拟合的风险。
  • 预剪枝的本质是一种“贪心”算法。

后剪枝

  • 后剪枝决策树通常比预减值决策树保留了更多的分支,一般情况下后剪纸决策树的欠拟合风险很小,泛化性能往往优于预剪纸的决策树。
  • 后剪枝的训练时间开销比未剪枝决策树和预剪枝决策树都要大很多。

处理连续值

  • 在处理分类时都是基于离散属性来生成决策树,使用离散值进行分类也比较符合人们的思维习惯。
  • 如果输入样本的属性是连续值,就需要用到连续属性离散化的技术。
  • 二分法(bi-partition)对连续属性进行处理的最简单的策略。这也是 C4.5决策树 算法中采用的机制。
  • 与离散属性不同,若当前节点划分属性为连续属性,该属性还可作为其后代节点的划分属性(离散属性在决策树上只出现一次)。

处理缺失值

  • 现实任务中常会遇到不完整样本,即样本的某些属性值缺失。
  • 如果在属性值缺失的时候丢弃该样本,则会造成样本变得很小,因此有必要考虑利用缺失属性值的训练样例来进行学习。
  • 缺失值的处理需要解决两个问题:
    • 问题1:如何在属性值缺失的情况下进行划分属性选择。
    • 问题2:给定划分属性,若样本在该属性上的值缺失,如何对样本进行划分。
  • 对于问题1:按照属性来,
    • 令D~表示D中在属性a上没有缺失值的样本,
    • 定义ρ为无缺失值的样本比例,\rho =\frac{\sum_{x\epsilon \tilde{D}}^{}w_{x}}{\sum_{x\epsilon D}^{}w_{x}}
    • 定义pk~为无缺失值样本中第k类所占的比例,\tilde{p_{k}}=\frac{\sum_{x\epsilon \tilde{D_{k}}}^{}w_{x}}{\sum_{x\epsilon D}^{}w_{x}}
    • 定义rv~为无缺失值样本中在属性a上取值为a^v的样本所占的比例;\tilde{r_{v}}=\frac{\sum_{x\epsilon \tilde{D^{v}}}^{}w_{x}}{\sum_{x\epsilon D}^{}w_{x}}
    • 则信息增益为:Gain(D,a)=\rho \times Gain(\tilde{D},a)=\rho \times (End(\tilde{D})-\sum_{v=1}^{V}\tilde{r}_{v}Ent(\tilde{D}^v))
    • 其中End(\tilde{D})=-\sum_{k=1}^{|y|}\tilde{p}_klog_2\tilde{p}_k
  • 对于问题2:按照概率来,

    • 若样本x在划分属性a上的取值已知,则将x划入与其取值对应的子节点,且样本全值在子节点中保持为w_x

    • 若样本x在划分属性a上的取值未知,则将x同时划入所有的子节点,且样本权值与属性值a^v对应的子节点中调整为\tilde{r}_v\cdot w_x。也就是说,让同一个样本以不同的概率划入到不同的子节点中去。

  • C4.5算法中使用了上述解决方案。

【西瓜书】决策树-CSDN博客

http://www.yayakq.cn/news/744826/

相关文章:

  • 勒流顺德网站建设东莞整站优化
  • 青海网站如何建设个人网站视频建设
  • 兴义哪有做网站wordpress 导出用户权限
  • 学校学不到网站建设噼里啪啦免费观看高清
  • 温州市微网站制作多少钱大型门户网站建设效果好吗
  • 大兴模版网站建设哪家好asp网站做视频教程
  • 建站平台是给谁用的wordpress轻语博客
  • 网站建设主要内容包括海口建站平台
  • 手机访问不了自己做的网站公司网页网站建设
  • 外贸尾单t恤资阳市网站seo
  • 三河建设厅网站上线吧做的网站可以备案
  • 网站设计一个版块企业咨询顾问
  • 天津公司建设网站微信公众号怎么申请
  • 美食类网站模板wordpress婚礼主题
  • 织梦网站做404页面网站开发公司的职责
  • 网站建设有哪些平台网站 维护方案
  • 河南网站seo费用赣州爆炸事故
  • 张家港百度网站制作各大网站的404
  • 网站被黑客入侵怎么办wordpress怎么做seo关键词
  • 广昌网站建设中小企业网站建设与推广
  • 景翔物流网站建设公司专业网站制
  • 二手优品哪个网站做最佳磁力吧cili8
  • 怎么查询网站是谁做的淮安市专用汽车制造有限公司网页设计
  • 公司网站 cms韩国网站免费模板
  • 百度做网站推广多少钱如何编程制作自己的网站
  • 什么网站发布任务有人做杭州seo管理
  • 杭州网站app开发公司国外做电商网站
  • 石家庄专业商城网站制作免费软件下载网站
  • 高新区做网站的公司wordpress缓存插件汉化破解版
  • 网站建设资金预算设计类招聘网站