当前位置: 首页 > news >正文

做网站前端设计需要哪些证书内容管理系统cms

做网站前端设计需要哪些证书,内容管理系统cms,memcached集群WordPress,谷多网站文章目录Spark 内存管理堆内和堆外内存堆内内存堆外内存堆外与堆内的平衡内存空间分配静态内存管理(早期版本)统一内存管理Spark 内存管理 堆内和堆外内存 Spark 引入了堆外(Off-heap)内存,使之可以直接在工作节点的…

文章目录

  • Spark 内存管理
    • 堆内和堆外内存
      • 堆内内存
      • 堆外内存
      • 堆外与堆内的平衡
    • 内存空间分配
      • 静态内存管理(早期版本)
      • 统一内存管理

Spark 内存管理

堆内和堆外内存

Spark 引入了堆外(Off-heap)内存,使之可以直接在工作节点的系统内存中开辟空间,进一步优化了内存的使用。
堆内内存受到 JVM 统一管理,堆外内存是直接向操作系统进行内存的申请和释放。
在这里插入图片描述

堆内内存

由 Spark 应 用 程 序 启 动 时 的 – executor-memory 或spark.executor.memory 参数配置,Executor 内运行的并发任务共享 JVM 堆内内存
存储(Storage)内存:RDD 数据缓存 和广播(Broadcast)变量;
执行(Execution)内存:任务在执行 Shuffle 时占用的内存;
剩余(Other)空间:Spark 内部的对象实例,或者用户定义的 Spark 应用程序中的对象实例。

Spark 不能准确记录实际可用的堆内内存:在被 Spark 标记为释放的对象实例,有可能在实际上并没有被 JVM 回收,导致实际可用的内存小于 Spark 记录的可用内存。

堆外内存

Spark可以直接操作系统堆外内存,减少了不必要的内存开销,以及频繁的 GC 扫描和回收。堆外内存可以被精确地申请和释放(堆外内存之所以能够被精确的申请和释放,是由于内存的申请和释放不再通过JVM 机制,而是直接向操作系统申请和操作系统释放

在默认情况下堆外内存并不启用,可通过配置spark.memory.offHeap.enabled 参数启用, 并由 spark.memory.offHeap.size 参数设定堆外空间的大小。堆外内存没有 other 空间,只有Storage内存和Execution内存。

堆外与堆内的平衡

对于需要处理的数据集,如果数据模式比较扁平,而且字段多是定长数据类型,就更多地使用堆外内存。

如果数据模式很复杂嵌套结构或变长字段多,就更多采用 JVM 堆内内存会更加稳妥。

内存空间分配

静态内存管理(早期版本)

存储内存、执行内存和其他内存的大小在Spark 应用程序运行期间均为固定的,应用程序启动前可以通过参数配置。

在这里插入图片描述
堆外的空间只有存储内存和执行内存,由参数 spark.memory.storageFraction 决定

在这里插入图片描述

# 静态内存# 堆内内存
# spark.executor.memory提交任务时指定executor 堆内内存总大小
可用的Execution内存 = executor.memory * spark.shuffle.memoryFraction * spark.shuffle.safety.Fraction
可用的Storage内存 = executor.memory * spark.storage.memoryFraction * spark.storage.safety.Fraction# 堆外内存
# spark.memory.offHeap.size 提交任务时指定executor 堆外内存总大小
可用的存储内存 = memory.offHeap.size * spark.storage.memoryFraction
可用的执行内存 = memory.offHeap.size * ( 1- spark.storage.memoryFraction)

统一内存管理

与静态内存管理的区别在于存储内存和执行内存共享同一块空间,可以动态占用对方的空闲区域
在这里插入图片描述

统一内存管理的堆外内存
在这里插入图片描述

# 统一内存# 堆内内存
# spark.executor.memory提交任务时指定executor 堆内内存总大小
初始可用的Execution内存 = (executor.memory -300M) * spark.memory.fraction * (1-spark.storage.storageFraction)
初始可用的Storage内存 = (executor.memory -300M) * spark.memory.fraction * spark.storage.storageFraction# 堆外内存
# spark.memory.offHeap.size 提交任务时指定executor 堆外内存总大小
可用的存储内存 = memory.offHeap.size * spark.storage.memoryFraction
可用的执行内存 = memory.offHeap.size * ( 1- spark.storage.memoryFraction)

最重要的优化在于动态占用机制,其规则如下:

  • 如果对方的内存空间有空闲,双方可以互相抢占;

  • 对于 Storage Memory 抢占的 Execution Memory 部分,当分布式任务有计算需要时,Storage Memory 必须立即归还抢占的内存,涉及的缓存数据要么落盘、要么清除;

  • 对于 Execution Memory 抢占的 Storage Memory 部分,即便 Storage Memory 有收回内存的需要,也必须要等到分布式任务执行完毕才能释放。

http://www.yayakq.cn/news/637750/

相关文章:

  • 网站开发时间段百度云虚拟主机上传wordpress
  • 网络营销网站的建设与策划品牌网站建设收费标准
  • 社交网站先做pc站可以吗wordpress显示文章内容
  • 河南省住房建设厅网站大连 响应式网站
  • 怎样做网站表白墙wordpress 文本小工具编辑器
  • 企业宣传网站公司一般通过
  • 营口市代做网站虚拟空间网站ftp如何差异化同步
  • 手机端网站如何做泉州住房和城乡建设局网站
  • 基本建设工程兵网站由wordpress自豪地提供
  • 无锡企业网站制作策划编程软件排行榜前十名
  • 山东网站优化公司广州市企业网站制作
  • 律师个人网站模板网站域名和邮箱域名
  • 怎样创建公司网站用h5做简易网站代码
  • 专业制作网站价格手机网站制作步骤
  • 在线做3d交互的网站网站制作平台建设
  • 成都企业做网站多少钱广州有名的广告公司
  • .net做网站c怎么再贴吧给自己的网站做宣传
  • 在58做网站推广有效果吗国内代理ip地址
  • flask做视频网站vps优化wordpress
  • 网站空间 windows linux做网站资质荣誉用的图片
  • 网站建设员性质怎样建设美丽中国?
  • 湖北商城网站建设竞价什么意思
  • 学设计的网站都有哪些泊头网站制作案例
  • 毕业设计医院网站设计怎么做网站设置价格错误不愿意发货
  • 北京网络营销网站织梦网站最下面的网站建设去除
  • 成都个人学做网站163公司邮箱登录入口
  • 云服务器小网站制作app界面设计分析六个方面
  • 做网站需要工商证吗上海创新网站建设
  • php 网站建设流程把网站做app
  • 网站空间租用价格内蒙古住房城乡建设厅网站