asp 开发的大型网站城乡建设与环保部网站

一. 前言

        在Presto的Stage Performace中，每个Operator中都会有Driver个数的显示，如下图所示。本文主要介绍Presto中是如何决定Driver的个数的。

二. Driver个数

       在Presto中，一个pipeline中启动多少个Driver，是由此Pipeline处理的Split个数决定的。代码实现的流程如下所示：

blocked = split.process();DriverSplitRunner::processFordriverFactory.createDriver

        因此Presto在处理每个Split的时候，都会创建一个Driver来处理该Split，Driver中包含处理该Split的所有Operator。

       既然Operator的个数决定了Driver的个数，那么Operator的个数又是怎么决定的呢？

       在Presto中，Operator的个数在TableScan中和非TableScan处理不太一样，如下将详细说明两者的区别。

     TableScanOperator的Split个数决定流程：

     TableScan的Split格式是有Connector的ConnectorSplitManager::getSplits接口决定的，在SourcePartitionedScheduler中，会通过调用ConnectorSplitManager的split获取所有的split进行调度，整体的代码执行流程：

SourcePartitionedSchedulerschedulescheduleGroup.nextSplitBatchFuture = splitSource.getNextBatchConnectorAwareSplitSource::getNextBatchsource.getNextBatch     ==> 调用到connector的getSplits接口获取所有的splits，因此connector返回的split的个数就是tablescan的split的个数

        非TableScan算子的Driver个数则是由DriverInstanceCount决定的，在SqlTaskExecution::scheduleDriversForTaskLifeCycle中根据DriverInstanceCount的个数决定创建多少个Driver来处理数据：

       DriverInstanceCount的设置值不同的Operator设置的不一样，比如ExchangeOperator的个数是由task_concurrency参数决定的，主要的代码实现流程为：

      LocalExecutionPlanner::createRemoteSource中决定DriverInstanceCount：

    又如TableWrite的个数则是由task_writer_count参数决定的：

 

三 . Driver个数的意义

      更多的Driver意味着更多的并发去同时处理数据，往往也意味着更好的性能。