当前位置: 首页 > news >正文

手游门户网站模块视频拍摄器材

手游门户网站模块,视频拍摄器材,微信开发者模式在哪,二维码样式大全制作目录 实例化网络 小结 到目前为止,我们忽略了建立网络时需要做的以下这些事情: 我们定义了网络架构,但没有指定输入维度。 我们添加层时没有指定前一层的输出维度。 我们在初始化参数时,甚至没有足够的信息来确定模型应该包含…

目录

实例化网络

小结


到目前为止,我们忽略了建立网络时需要做的以下这些事情:

  • 我们定义了网络架构,但没有指定输入维度。

  • 我们添加层时没有指定前一层的输出维度。

  • 我们在初始化参数时,甚至没有足够的信息来确定模型应该包含多少参数。

有些读者可能会对我们的代码能运行感到惊讶。 毕竟,深度学习框架无法判断网络的输入维度是什么。 这里的诀窍是框架的延后初始化(defers initialization), 即直到数据第一次通过模型传递时,框架才会动态地推断出每个层的大小。

在以后,当使用卷积神经网络时, 由于输入维度(即图像的分辨率)将影响每个后续层的维数, 有了该技术将更加方便。 现在我们在编写代码时无须知道维度是什么就可以设置参数, 这种能力可以大大简化定义和修改模型的任务。 接下来,我们将更深入地研究初始化机制。

实例化网络

首先,让我们实例化一个多层感知机。

from mxnet import np, npx
from mxnet.gluon import nnnpx.set_np()def get_net():net = nn.Sequential()net.add(nn.Dense(256, activation='relu'))net.add(nn.Dense(10))return netnet = get_net()

此时,因为输入维数是未知的,所以网络不可能知道输入层权重的维数。 因此,框架尚未初始化任何参数,我们通过尝试访问以下参数进行确认。

print(net.collect_params)
print(net.collect_params())
<bound method Block.collect_params of Sequential( (0): Dense(-1 -> 256, Activation(relu)) (1): Dense(-1 -> 10, linear) )> sequential0_ ( Parameter dense0_weight (shape=(256, -1), dtype=float32) Parameter dense0_bias (shape=(256,), dtype=float32) Parameter dense1_weight (shape=(10, -1), dtype=float32) Parameter dense1_bias (shape=(10,), dtype=float32) )

注意,当参数对象存在时,每个层的输入维度为-1。 MXNet使用特殊值-1表示参数维度仍然未知。 此时,尝试访问net[0].weight.data()将触发运行时错误, 提示必须先初始化网络,然后才能访问参数。 现在让我们看看当我们试图通过initialize函数初始化参数时会发生什么。

net.initialize()
net.collect_params()
[07:01:36] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for CPU
sequential0_ (Parameter dense0_weight (shape=(256, -1), dtype=float32)Parameter dense0_bias (shape=(256,), dtype=float32)Parameter dense1_weight (shape=(10, -1), dtype=float32)Parameter dense1_bias (shape=(10,), dtype=float32)
)

如我们所见,一切都没有改变。 当输入维度未知时,调用initialize不会真正初始化参数。 而是会在MXNet内部声明希望初始化参数,并且可以选择初始化分布。

接下来让我们将数据通过网络,最终使框架初始化参数。

X = np.random.uniform(size=(2, 20))
net(X)net.collect_params()
sequential0_ ( Parameter dense0_weight (shape=(256, 20), dtype=float32) Parameter dense0_bias (shape=(256,), dtype=float32) Parameter dense1_weight (shape=(10, 256), dtype=float32) Parameter dense1_bias (shape=(10,), dtype=float32) )

一旦我们知道输入维数是20,框架可以通过代入值20来识别第一层权重矩阵的形状。 识别出第一层的形状后,框架处理第二层,依此类推,直到所有形状都已知为止。 注意,在这种情况下,只有第一层需要延迟初始化,但是框架仍是按顺序初始化的。 等到知道了所有的参数形状,框架就可以初始化参数。

小结

  • 延后初始化使框架能够自动推断参数形状,使修改模型架构变得容易,避免了一些常见的错误。

  • 我们可以通过模型传递数据,使框架最终初始化参数。

http://www.yayakq.cn/news/629384/

相关文章:

  • 上海做高端网站制前端做网站的兼职
  • 中建南方建设集团官方网站线上推广app
  • 公司建立自己的网站有什么好处上高县建设局网站
  • 做网站优化竞价区别成都到深圳物流公司
  • 互联网公司起名seo策略有哪些
  • 全国房地产网站购物网站源码下载
  • 网站上的高清动态图怎么做的用手机怎么做免费网站
  • 查域名解析wordpress做seo合适吗
  • 哪些外贸网站比较好wordpress 无法更新
  • 网页制作与网站建设...大连网站设计九必选仟亿科技
  • 做视频网站采集需要多大的空间智慧团建初始密码是多少
  • 有没有帮忙做网站电子商务平台搭建方案
  • 公司微信网站制作wordpress加跳转
  • 手机免费制作网站模板免费下载网站做分站
  • 响应式网站制设计软件开发项目预算
  • 做投票的网站网站开发技术留言
  • 公司做网站那个网站好爱站网使用的是什么网站
  • cms进行网站开发公司有多少做网站
  • 网站建设开发方案手机客户端app下载安装
  • wordpress多城市子站临沂市网站建设
  • 怎样做一家网站广告交流群
  • json做网站wordpress高级轮播
  • 山西设计网站建设怎么做网站静态布局
  • 江门企业网站建设公司深圳网站建设开发公司
  • 备案网站建设方案书模板wordpress auto highslide
  • 免费做图片的网站wordpress外贸产品插件
  • 服务器网站维护做网站百度还是阿里巴巴好
  • 广州建站推广网站建设及优化的策划书
  • 网站开发需要提供哪些资料网页设计怎么样
  • 公司网站免备案世界网站流量排名