如何网站建设公司精准营销推广软件
目录
1、介绍下YARN
2、YARN有几个模块
3、YARN工作机制
4、YARN有什么优势，能解决什么问题?
5、YARN容错机制
6、YARN高可用
7、YARN调度器
8、YARN中Container是如何启动的?
9、YARN的改进之处，Hadoop3.x相对于Hadoop 2.x?
10、YARN监控
1、介绍下YARN
YARN（Yet Another Resource Negotiator）是Apache Hadoop集群的一个新的资源管理系统，旨在更有效地管理和调度集群资源。以下是YARN的详细介绍：一、YARN的引入背景
YARN是为了解决Hadoop 1.x中MapReduce框架在资源管理和扩展性上的限制而引入的。它将资源管理和作业调度/监控两个功能分离开来，使得Hadoop集群能够支持更多的计算框架，并提高了资源管理的效率和灵活性。二、YARN的主要组件及功能
ResourceManager
负责整个集群的资源管理和调度。
处理来自客户端的请求，启动/监控ApplicationMaster。
监控NodeManager，进行资源的分配与调度。
NodeManager
负责单个节点上的资源管理。
处理来自ResourceManager的命令。
处理来自ApplicationMaster的命令。
ApplicationMaster
负责为应用程序申请资源，并分配给内部任务。
进行任务调度、监控与容错。
Container
是YARN对资源的抽象和封装，每个应用程序的任务在Container中执行。
三、YARN的工作流程
作业提交：客户端向ResourceManager提交作业请求。
资源分配：ResourceManager为作业分配资源，并启动ApplicationMaster。
任务调度：ApplicationMaster向ResourceManager申请资源，并在获得资源后启动任务。
任务执行：任务在NodeManager管理的Container中执行。
任务监控：ApplicationMaster监控任务的执行情况，并在需要时向ResourceManager请求新的资源或释放不再需要的资源。
四、YARN的优势
分层的集群框架：YARN将资源管理和作业调度/监控分离开来，提高了系统的可扩展性和灵活性。
支持多种计算框架：YARN不再是一个单纯的计算框架，而是一个框架管理器，可以支持多种计算框架（如MapReduce、Spark等）的运行。
良好的资源表示：YARN以内存为单位表示资源，使得资源分配更加合理。
高可用性：YARN通过NameNode热备方案（NameNode HA）等机制实现了高可用性。
五、总结
YARN是Hadoop集群的一个重要组成部分，它通过引入资源管理和作业调度/监控的分离机制，提高了Hadoop集群的扩展性和灵活性。同时，YARN还支持多种计算框架的运行，为大数据处理提供了更加丰富的选择。2、YARN有几个模块
YARN主要由以下几个模块组成，它们共同构成了YARN的架构和功能：ResourceManager (RM)
负责整个集群的资源管理和调度。
处理来自客户端的请求，启动/监控ApplicationMaster。
监控NodeManager，进行资源的分配与调度。
NodeManager (NM)
负责单个节点上的资源管理。
处理来自ResourceManager的命令。
处理来自ApplicationMaster的命令。
ApplicationMaster (AM)
负责为应用程序申请资源，并分配给内部任务。
进行任务调度、监控与容错。
Container
是YARN对资源的抽象和封装，每个应用程序的任务在Container中执行。
JobHistoryServer
负责查询job运行进度及元数据管理。
此外，虽然在一些文章中可能没有明确提及，但YARN还涉及到其他的组件和服务，如Scheduler（调度器），它负责在ResourceManager内部进行资源的调度和分配。总结来说，YARN主要由ResourceManager、NodeManager、ApplicationMaster、Container和JobHistoryServer这几个核心模块组成，它们协同工作以实现YARN的资源管理和任务调度的功能。3、YARN工作机制
YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理系统，它负责集群资源的管理和调度，支持多种计算框架（如MapReduce、Spark、Flink等）。YARN的工作机制可以概括为以下几个关键步骤：作业提交：
用户通过客户端提交一个应用程序（如MapReduce作业）到YARN集群。提交时，会与ResourceManager进行交互，请求一个新应用的ID。
应用初始化：
ResourceManager接收到请求后，为该应用分配一个ApplicationMaster（AM），并为它在某个NodeManager上启动一个容器来运行。AM负责管理作业的整个生命周期。
资源请求与分配：
ApplicationMaster向ResourceManager发送资源请求，描述所需资源（CPU、内存等）。
ResourceManager根据容量调度器（Capacity Scheduler）或公平调度器（Fair Scheduler）的策略决定如何分配资源，并将资源分配信息返回给ApplicationMaster。
任务调度与执行：
ApplicationMaster根据从ResourceManager获得的资源信息，向相关的NodeManager发出指令，要求启动任务（例如Map任务或Reduce任务）。
NodeManager根据指令在容器中启动任务，并监控其执行情况。容器是YARN中资源分配的基本单位，包含了任务运行所需的资源。
任务监控与状态更新：
运行中的任务会定期向ApplicationMaster报告进度和状态。
ApplicationMaster汇总这些信息并报告给ResourceManager，同时根据任务执行情况动态调整资源需求。
作业完成与资源回收：
当所有任务完成时，ApplicationMaster通知ResourceManager作业完成，并请求清理资源。
ResourceManager指示相关NodeManager释放分配给该应用的所有容器资源。
ApplicationMaster结束其生命周期，并告知客户端作业已完成。
YARN的设计实现了资源的统一管理和动态分配，使得不同的计算框架可以共享集群资源，提高了资源利用率和系统的灵活性。此外，YARN支持多种调度策略，可以根据集群的具体需求和作业特性进行定制化配置。4、YARN有什么优势，能解决什么问题?
YARN（Yet Another Resource Negotiator）作为Hadoop 2.x及以后版本中引入的资源管理系统，带来了显著的优势，并解决了Hadoop 1.x中MapReduce框架在资源管理和扩展性上的限制。以下是YARN的主要优势及其解决的问题：优势：
资源管理和作业调度的分离：
在Hadoop 1.x中，MapReduce同时负责资源管理和作业调度，这限制了Hadoop集群支持多种计算框架的能力。YARN将这两个功能分离开来，使得Hadoop集群能够支持更多种类的计算框架，如Spark、Flink、Tez等。
更好的资源利用率和扩展性：
YARN提供了一个全局的资源管理框架，可以根据应用程序的需求动态分配资源。这提高了资源的利用率，并允许Hadoop集群扩展到更大的规模。
更细粒度的资源调度：
YARN以Container为单位进行资源调度，Container可以包含不同数量的内存、CPU等资源。这使得资源调度更加灵活和高效。
更好的容错性和高可用性：
YARN支持任务的失败恢复和重新调度，确保在集群中节点故障或任务失败时，应用程序能够继续运行。此外，YARN还提供了ResourceManager的高可用性解决方案，确保在ResourceManager故障时，集群仍然能够正常运行。
安全性增强：
YARN提供了更强大的安全特性，如Kerberos认证和授权，使得Hadoop集群在安全性方面得到了显著提升。
解决的问题：
支持多种计算框架：
Hadoop 1.x中的MapReduce框架限制了Hadoop集群只能运行MapReduce作业。YARN的引入使得Hadoop集群能够支持更多种类的计算框架，从而满足了不同场景下的数据处理需求。
资源利用率和扩展性问题：
Hadoop 1.x中的MapReduce框架在资源管理和扩展性方面存在限制，无法充分利用集群资源，并且难以扩展到更大规模的集群。YARN通过全局的资源管理和细粒度的资源调度，解决了这些问题，提高了Hadoop集群的性能和可扩展性。
容错性和高可用性：
Hadoop 1.x中的MapReduce框架在容错性和高可用性方面存在不足，无法很好地处理节点故障和任务失败等问题。YARN通过提供强大的容错性和高可用性特性，确保了Hadoop集群的稳定性和可靠性。
综上所述，YARN通过引入资源管理和作业调度的分离、更细粒度的资源调度、更好的容错性和高可用性等特性，为Hadoop集群带来了显著的优势，并解决了Hadoop 1.x中MapReduce框架在资源管理和扩展性上的限制。这使得Hadoop集群能够支持更多种类的计算框架，提高资源利用率和扩展性，增强容错性和高可用性，从而满足更广泛的数据处理需求。5、YARN容错机制
YARN作为Hadoop的核心组件之一，设计了多种容错机制以确保集群的高可用性和可靠性。以下是一些关键组件的容错机制：ResourceManager 容错：
ResourceManager (RM) 是YARN的核心，负责集群资源的全局管理和分配。为了解决单点故障问题，YARN支持ResourceManager的高可用(HA)配置。在HA模式下，会部署活跃RM和备用RM，当活跃RM发生故障时，备用RM可以无缝接管，确保服务的连续性。
NodeManager 容错：
NodeManager (NM) 负责管理单个节点上的资源和容器。当NM失败或与RM失去联系时，RM会标记该NM上的所有容器为失败，并通知相关的ApplicationMaster。ApplicationMaster可以选择重新安排这些任务到其他健康的节点上执行。
ApplicationMaster 容错：
ApplicationMaster (AM) 管理单个应用程序的生命周期。如果AM失败，ResourceManager将检测到这一情况并重新启动一个新的AM实例。AM需要有能力从上次失败点恢复，例如，通过将状态信息持久化到HDFS等可靠的存储系统中，确保任务可以从断点继续执行而不是完全重新开始。
Container 容错：
Container是YARN中任务运行的环境。如果Container因节点故障或资源限制等原因失败，ResourceManager会通知对应的ApplicationMaster。AM可以根据情况选择重新请求资源来重新执行失败的Container。
心跳机制与健康检查：
NodeManager定期向ResourceManager发送心跳信号，以确认其运行状态和资源使用情况。如果心跳超时，RM会认为NM已死并采取相应措施。这种机制确保了系统能够及时发现并响应故障。
任务推测执行：
当某些任务执行明显慢于平均水平时，为减少延迟，YARN支持任务推测执行机制。它会额外启动一个或多个相同的任务副本，先完成的副本结果将被采纳，以此来加速整体作业的完成。
通过这些机制，YARN能够有效应对各种故障情况，确保任务能够顺利执行，提高整个集群的稳定性和效率。6、YARN高可用
YARN（Yet Another Resource Negotiator）的高可用性（High Availability, HA）机制主要针对ResourceManager组件设计，以消除单点故障，确保集群的稳定运行。以下是YARN高可用的关键实现方式：ResourceManager 高可用 (RM HA):
YARN通过部署Active/Standby ResourceManager对来实现高可用。这意味着会有两个ResourceManager实例运行在不同的节点上：一个是活跃状态（Active），负责实际的资源管理和任务调度；另一个是备用状态（Standby），处于待命状态，准备在主RM失效时接管工作。
基于ZooKeeper的协调:
使用ZooKeeper作为分布式协调服务，来管理ResourceManager的状态和选举过程。当Active ResourceManager故障时，ZooKeeper会触发一个自动故障转移过程，将Standby ResourceManager提升为Active状态。ZooKeeper还用于存储ResourceManager的状态信息，确保新激活的ResourceManager能够获取到之前的状态，无缝继续工作。
状态存储与恢复:
为了保证ResourceManager切换时状态不丢失，YARN使用如ZKRMStateStore这样的存储服务来持久化应用的元数据和状态信息。这样，新的Active ResourceManager能够从ZooKeeper中恢复所有应用的信息和状态，从而继续管理集群资源和任务调度。
NodeManager与ApplicationMaster的配合:
当ResourceManager发生故障切换时，NodeManager和ApplicationMaster能够感知这一变化并重新建立连接。NodeManager继续执行其上的任务，而ApplicationMaster负责重连到新的ResourceManager并管理其应用程序的生命周期。
故障检测:
故障检测机制实时监控ResourceManager的健康状态。一旦检测到Active ResourceManager不可用，立即触发故障转移流程，确保最小的中断时间。
手动与自动故障转移:
YARN支持手动和自动两种故障转移模式。管理员可以手动切换Active/Standby状态，或配置自动故障转移，由系统自动检测故障并执行切换。
通过上述机制，YARN的高可用设计确保了即使在关键组件发生故障时，也能迅速恢复服务，减少对运行中的应用的影响，保持集群的持续运行能力。7、YARN调度器
YARN调度器是YARN（Yet Another Resource Negotiator）架构中的核心组件，负责在Hadoop集群中管理和调度资源。YARN调度器采用双层调度范式，即首先由ResourceManager根据作业请求和资源状态进行作业调度，为每个作业分配一个ApplicationMaster；然后ApplicationMaster再根据作业内部的任务需求，向ResourceManager申请资源，并在获得资源后启动任务。YARN调度器有多种实现，每一种对应了不同的调度策略。常见的YARN调度器及其特点归纳如下：FIFO Scheduler（先进先出调度器）
特点：FIFO是Hadoop设计之初提供的一个最简单的调度机制，即先来先服务。所有应用程序被统一提交到一个队列中，Hadoop按照提交顺序依次运行这些作业。
优点：原理和实现简单，无需任何单独的配置。
缺点：无法提供QoS（服务质量），只能对所有的任务按照同一优先级处理；无法适应多租户资源管理，可能出现先来的大作业占满资源，导致其他用户的作业无法得到及时执行；应用程序并发运行程度低。
Capacity Scheduler（容量调度器）
特点：Yahoo开发的多用户调度器，以队列为单位划分资源。每个队列可设定一定比例的资源最低保证和使用上限。支持资源共享，将队列剩余资源共享给其他队列使用。
优点：容量保证，管理员可以为每个队列设置资源最低保证和使用上限；弹性调度，如果队列中的资源有剩余，可以暂时共享给需要资源的队列；多租户管理，支持多用户共享集群资源和多应用程序同时运行；安全隔离，每个队列设置严格的ACL列表，限制哪些用户或用户组可以在该队列提交应用程序。
Fair Scheduler（公平调度器）
特点：Facebook开发的调度器，旨在实现集群资源的公平共享。通过为所有用户分配相同的资源份额来公平地调度资源，而不是仅按提交顺序或优先级。
优点：公平性，确保每个用户或用户组获得公平的资源份额；灵活性，支持队列的嵌套和层次结构，允许用户根据自己的需求定义复杂的资源分配策略；动态调整，根据集群的实时状态动态调整资源分配。
YARN调度器的选择和配置对于Hadoop集群的性能和效率具有重要影响。用户可以根据集群的实际情况和作业需求选择合适的调度器，并通过配置参数来优化资源分配和调度策略。同时，YARN调度器也支持自定义调度策略，用户可以根据自己的需求编写自己的Scheduler，实现自己所需的调度逻辑。8、YARN中Container是如何启动的?
在YARN中，Container的启动是一个复杂但有序的过程。以下是Container启动的详细步骤：作业提交：
客户端向ResourceManager（RM）提交应用程序，包括启动ApplicationMaster（AM）的必需信息，如AM程序、启动命令、用户程序等。
资源分配与AM启动：
RM为作业分配资源，并启动一个Container来运行AM。
AM启动后，会向RM注册自己，并与RM保持心跳通信。
AM申请资源：
AM根据作业需求，向RM发送请求，申请相应数目的Container。
RM分配Container：
RM根据集群的资源情况和调度策略，为AM分配所需的Container资源。
Container初始化：
AM在获得Container资源后，会进行Container的初始化工作。
初始化信息包括设置Container的启动命令、环境变量、安全配置等。
AM与NodeManager（NM）通信：
AM将初始化后的Container启动信息发送给NM。
NM负责在本地节点上启动和管理Container。
NM启动Container：
NM根据接收到的启动信息和本地资源状态，创建并启动Container。
Container启动后，会加载并执行AM指定的任务。
Container运行与监控：
在Container运行期间，AM负责对其进行监控。
Container通过RPC协议向对应的AM汇报自己的进度和状态等信息。
资源回收：
当应用程序运行结束后，AM会向RM注销自己，并允许属于它的Container被回收。
NM根据RM的指令，释放并清理Container所使用的资源。
归纳：YARN中Container的启动过程涉及多个组件的协同工作，包括客户端、ResourceManager、ApplicationMaster和NodeManager。整个流程从作业提交开始，经过资源分配、AM启动、Container申请与分配、初始化、启动、运行监控到资源回收，确保了在Hadoop集群中高效、可靠地执行作业任务。同时，YARN通过引入Container的概念，实现了对资源的细粒度管理和隔离，提高了资源利用率和系统的可扩展性。9、YARN的改进之处，Hadoop3.x相对于Hadoop 2.x?
YARN在Hadoop 3.x版本相对于Hadoop 2.x版本有了显著的改进，这些改进主要体现在以下几个方面：YARN服务框架：
Hadoop 3.1.0引入了YarnService服务框架，为在YARN上长期运行的服务提供支持。
作为容器编配平台，YarnService服务框架可以管理运行在YARN上的容器化服务，支持Docker容器和传统容器。
它提供了一流的支持和API，用于在YARN中本地托管长期运行的服务，大大简化了集群操作并提高了资源利用率。
GPU支持：
Hadoop 3.x的YARN支持基于GPU的调度和隔离，无论是Docker容器还是非Docker容器。
注意：截至目前，YARN仅支持Nvidia GPU，并且YARN节点管理器必须预先安装Nvidia驱动程序。
YARN Timeline Service V2：
Hadoop 3.x中的YARN Timeline Service V2主要对Hadoop 2.x的YARN进行了优化。
使用了更具有伸缩性的分布式体系架构和可扩展的后端存储，将数据的写入和读取进行了分离。
采用了一组收集器负责将数据写入到后端进行存储，提高了稳定性和性能。
增加YARN资源类型：
Hadoop 3.x中，YARN资源模型已被通用化，支持用户定义CPU和内存以外的可计数资源类型。
这使得YARN可以更好地适应各种类型的工作负载和资源需求。
资源管理与作业调度的分离：
Hadoop 3.x延续了Hadoop 2.x中YARN的这一重要特性，即资源管理和作业调度的分离。
这使得Hadoop集群能够支持更多种类的计算框架，提高了系统的灵活性和可扩展性。
性能优化：
Hadoop 3.x通过一系列优化提高了YARN的性能，如任务本地优化、内存参数自动推断等。
这些优化使得MapReduce等任务的执行速度更快，提高了整个集群的吞吐量。
安全性和可维护性增强：
Hadoop 3.x在YARN的安全性方面进行了增强，如引入Kerberos认证和授权机制。
同时，通过重构Shell脚本、精简内核、提供类路径隔离等方式提高了系统的可维护性。
总之，Hadoop 3.x中的YARN在多个方面都进行了显著的改进和优化，使得Hadoop集群能够更好地支持各种类型的工作负载和计算框架，提高了系统的灵活性、可扩展性和性能。10、YARN监控
YARN监控是确保Hadoop集群稳定性和性能的关键环节。以下是对YARN监控的详细阐述，包括监控方式、核心指标以及服务介绍：监控方式
Web UI：
YARN提供了一个Web UI界面，用户可以通过浏览器访问（通常是http://<yarn-resourcemanager>:8088/）来查看集群的实时状态。
在这个界面上，用户可以监视群集、队列、应用程序、服务、节点信息等。
页面以列表形式展示处于各种状态（如接收、执行、完成、杀死、失败）的应用程序，如MapReduce应用、Spark应用、Flink应用等。
JMX和REST API：
YARN也支持通过JMX（Java Management Extensions）和REST API进行监控。
这些接口提供了丰富的监控数据，允许用户编写自定义的监控脚本或集成到现有的监控系统中。
命令行工具：
YARN自带了一系列命令行工具，如yarn application -list，用于查看正在运行的任务列表。
这些工具可以帮助用户快速获取集群的实时状态信息。
第三方监控工具：
除了YARN自带的监控方式外，还可以使用第三方的监控工具，如Prometheus、Grafana等。
这些工具提供了更强大的监控和分析功能，可以帮助用户更深入地了解集群的运行状况。
核心指标
YARN监控的核心指标包括但不限于：应用程序ID：用于唯一标识一个应用程序。
用户：提交应用程序的用户。
队列：任务所在的队列。
状态：任务的当前状态，如ACCEPTED（已接受）、RUNNING（运行中）、FINISHED（已完成）等。
运行时长：任务运行的时长。
进度：任务的完成进度。
分配的内存：任务被分配的内存量。
使用的内存：任务实际使用的内存量。
分配的虚拟内核数：任务被分配的虚拟内核数。
使用的虚拟内核数：任务实际使用的虚拟内核数。
服务介绍
WebUI V1服务：
YARN内置的Web UI服务，随着ResourceManager（RM）启动而启动。
用户可以通过该服务监视集群、队列、应用程序、服务、节点信息等。
JobHistoryServer服务：
存储已经运行完成的MapReduce应用程序的作业历史信息。
当启用JobHistoryServer服务时，建议开启日志聚合功能，便于统一管理和分析日志。
TimelineServer服务：
由于JobHistoryServer仅对MapReduce应用程序提供历史信息支持，其他应用程序的历史信息需要分别提供单独的HistoryServer才能查询和检索。
TimelineServer服务提供了更广泛的历史信息支持。YARN监控是确保Hadoop集群稳定运行的关键环节。通过Web UI、JMX、REST API、命令行工具以及第三方监控工具等多种方式，用户可以实时获取集群的状态信息和核心指标。同时，YARN提供的WebUI V1服务、JobHistoryServer服务和TimelineServer服务进一步丰富了监控和管理功能。
大数据面试题V3.0，约870篇牛客大数据面经480道面试题_牛客网
通义千问、文心一言、豆包