网站建设來超速云建站客户关系管理
什么是RPC框架?
RPC(Remote Procedure Call):远程过程调用。当多个应用部署在多个服务器上时,由于他们不在一个内存空间上,因此需要网络来进行通信,而RPC允许它像调用本地方法一样调用远程服务。
RPC原理
服务消费方通过RPC客户端调用服务,服务接收方通过RPC服务端接收请求进行处理。
 整体分四个模块:
- 远程代理
 - 序列化
 - 网络传输
 - 反序列化

 
RPC核心功能实现
RPC服务消费方
- 连接管理
 - 负载均衡
 - 请求路由
 - 超时处理
 - 健康检查
 
连接管理
消费方需要保持与服务方的长链接,用于传输请求也用于返回结果。那该如何实现呢?
 下面是连接管理在整个服务消费调用过程中的位置:
 
连接管理核心有以下3个需要思考的点:
- 连接初始化的时机:灵活根据业务场景选择策略 
- 懒加载:服务刚启动的时候不初始化,等有请求调用时再初始化连接。建好后再次有请求就复用这个连接。(网关场景一般使用懒加载。因为网关业务是公司所有流量的入口,下游服务可能有n个服务*n个节点。一个网关服务启动后,如果要等全部连接建立完毕之后启动会很慢,并且如果有模块没什么流量还占用着连接会有资源的浪费。一般网关服务上线后先分配少点的流量然后再预热,预热完后开放。)
 - 预加载:模块启动后先不接流量,把所有的连接、socket全部建好了然后再提供服务。(一般普通应用服务都是这种模式)
 
 - 连接数的维护:多建几条连接防止单条连接失效。
 - 心跳/重连:多条连接有探活机制,保证有多条连接可用。
 
负载均衡
负载均衡功能是确保多个服务提供方节点流量均匀/合理,支持节点扩容与灰度发布。
 负载均衡在消费方rpc调用的位置:
 
 负载均衡的一些方式:轮询、随机、取模、带权重、一致性Hash
请求路由
当业务方想按照某些请求标签来确定是不是要走该节点时,可以使用请求路由。通过一系列规则过滤出可以选择的服务提供方节点列表,在应用隔离,读写分离,灰度发布中都发挥作用。
 请求路由在消费方调用过程中的位置:
 
 请求路由功能的设计:
- 规则匹配: 
- 待比较的属性(IP/流量标签)
 - 运算符(等于、大于、不等于等等)
 - 属性匹配值(跟哪个值进行匹配)
 - 匹配完的结果(行为)
 
 - 数据结构设计:因为是一系列规则,所以可以是链表结构

如按照IP分流规则举例:attribute=IP,operator=IN,value=IP1,IP2,Servers:Node1,Node2 
超时处理
消费端对于长时间没有返回的请求,需要作出异常处理,及时释放资源。
 超时处理在RPC调用链路中的位置:
 
 超时处理的核心逻辑:
-  
工作线程的阻塞位置
- 等待服务端回包通知(接收到请求了,判断是否超时)如下图:
 

 -  
超时逻辑
- 工作线程等待回包通知
 - 如果数据在预期的时间内返回,则终止等待唤醒工作线程
 - 如果超时则抛出异常
 
 -  
超时处理的核心数据结构
- Map:SessionID(请求级唯一)-WindowData(内部包含Event)
 
 
RPC服务提供方
- 队列/线程池
 - 超时丢弃
 - 优雅关闭
 - 过载保护
 
队列/线程池
服务提供方可以将不同类型的请求,放入各自的队列,每个队列分配独立的线程池,做到资源隔离。
 队列/线程池在服务提供方处理逻辑中的位置:
 
 队列数/线程数的选择可以按照实际压测后的情况去调整。
超时丢弃
超时丢弃主要是将已经超时(超时的定义主要是调用方配置的超时时间)的请求快速失败,缓解队列堆积,防止服务持续不可用。
 超时丢弃在服务提供方处理逻辑中的位置:
 
 超时丢弃的处理逻辑:
 
 io任务入队,任务包含3个字段,第一个是超时时间,第二个是处理请求的handler处理器,第三个是入队时间。
 下面是出队以及判定超时的逻辑:
 
优雅关闭
优雅关闭主要是进程退出前确保接收到的请求全部处理完成
 
 优雅关闭的实现:通过2种方式通知调用方
- 返回数据中带关闭信息
 - 发送关闭协议通知调用方
 
优雅关闭的服务端实现
- 监听关闭信号 kill -12
 - 改变服务状态
 - 通知客户端
 
监听关闭信号 kill -12
服务启动时候,使用Signal注册监听
 
改变服务状态
修改服务上下文的状态
 
通知客户端本服务端已关闭

优雅关闭的客户端实现
-  
根据节点返回内容改变节点状态
 -  

 -  
节点探活
 -  

 
过载保护
服务提供方为保证正常运行,主动丢弃超出处理能力外的请求。
 过载保护在调用链路下的位置:
 
 过载保护的实现原理:IO线程任务入队时判断是否设置了队列长度限制,若有限制,则和队列中实际任务数做比较,若超出则丢弃。
 
RPC高级功能
- 服务熔断
 - 服务降级
 - 限流
 - 动态权重
 
服务熔断
当某服务出现不可用或响应超时的情况时,为了防止整个系统出现雪崩,暂时停止对该服务的调用。
 
服务降级
对业务降级,跳过异常调用,返回关键数据,确保服务可用。(一般是熔断时结合降级,返回default数据,使业务不中断)
 
动态权重
为刚启动节点分配较低权重,逐步提高权重。
 
限流
通过限制调用放流量,以达到对服务提供方的保护。
