当前位置: 首页 > news >正文

高端服装产品网站建设开软件外包公司赚钱吗

高端服装产品网站建设,开软件外包公司赚钱吗,WordPress访问ip记录,江宁交通建设集团网站1. 背景 之前我们了解了VIT和transformer MAE 是基于VIT的,不过像BERT探索了自监督学习在NLP领域的transformer架构的应用,MAE探索了自监督学习在CV的transformer的应用 论文标题中的Auto就是说标号来自于图片本身,暗示了这种无监督的学习 …

1. 背景

之前我们了解了VIT和transformer

MAE 是基于VIT的,不过像BERT探索了自监督学习在NLP领域的transformer架构的应用,MAE探索了自监督学习在CV的transformer的应用

 

论文标题中的Auto就是说标号来自于图片本身,暗示了这种无监督的学习

2.方法

像是Bert一样,通过mask形成带掩码的语言模型,挖掉东西,然后让模型来估计

 

随机盖住一些块patch,然后预测出盖住的patch,预测这个patch里的所有像素

遮住更大的块的话可以让模型学习一些更好的表征

要注意这些模型的基本都很大

2.1 基本流程

(1)首先输入图像随机打成一个一个的块patch,随机遮住其中一些

(2)然后将未遮住的块送入Encoder编码器进行编码 形成特征,这里注意我们的编码器只需要处理未遮住的块,所以计算量要比全部处理更小

(3)和原来遮住的块叠加拼接 再送入decoder解码器恢复被遮住的块

实际使用中,只需要用编码器即可(不需要做掩码)编码器提取特征用于计算机视觉的下游任务

由于编码很重要,所以主要的计算量还是来自编码器

2.2 与VIT比较

(1)盖住更多的块,使得块与块之间的冗余没有那么高

(2)用一个transformer架构的解码器,直接还原原始像素信息,使得整个流程更加简单

(3)加上一些技术,如正则项技术,也可以在小一点的数据集上训练出来,使得训练更加鲁棒

3.实验

映射的维度

微调可以调整个全部的网络,也可以调最后一层,或者调网络中的部分层,微调哪些层

尝试不同遮住率

http://www.yayakq.cn/news/259156/

相关文章:

  • apache建设网站旅游网站建设的规模设想
  • 网站建设与维护的卷子oa系统全称
  • 制作网站开发用的图片国外哪个网站做服装
  • 只用html5可以做网站吗做网站获取手机号码
  • 宁波哪里可以做网站河北住房和城乡建设厅网站首页
  • 网站横向菜单wordpress评论验证码
  • 漳州网站建设优化太原建设局网站
  • 网站建设与维护相关知识手机版制作app软件
  • 柳州市住房和城乡建设部网站wordpress 插件放在那
  • 桥梁建设杂志有假网站吗校园网站如何管理
  • 福州手游网站建设晋江论坛怎么贴图
  • 更改网站后台网站建设属于什么经营范围
  • 做ppt的软件怎样下载网站h5免费制作平台易企秀官方
  • 和幼儿做网站爱聊城企业门户网站建设
  • wordpress更好杭州seo排名
  • 如何在国内做网站专做蔬菜水果的网站
  • pc端购物网站建站南宁网站排名优化公司哪家好
  • 站长做什么网站赚钱做跨境电商有没推荐的网站
  • 网站建设支付方式知名的网站建设公司排名
  • 浦东教育网站官网软件开发平台介绍
  • 十里河网站建设工业设计相关网站
  • 深圳品牌建网站内蒙古住房与城乡建设厅网站网址
  • 企业网站建设存在的问题及建议seo推广代理
  • 广州 骏域网站建设做网站时可以切换语言的
  • 济南建设信用网站惠州网站建设服务商
  • 一台服务器可以做几个网站廊坊网络营销
  • 视频网站备案淄博手机网站建设报价
  • 自学网站搭建济南网站建设那家好
  • 网站建设与管理t7372都网站建设
  • 短租网站那家做的好处wordpress入门使用教程