彩神大发快三_神彩大发快三官方

Spark修炼之道(高级篇)——Spark源码阅读:第六节 Task提交

时间:2020-01-08 02:47:58 出处:彩神大发快三_神彩大发快三官方

DriverEndpoint 中的对其receive土最好的土办法进行了重写,具体实现如下:

顶端的代码逻辑全版是在Driver端进行的,调用完launchTasks土最好的土办法后,Task的执行便在Worker节点上运行了,至此完成Task的提交。

关于resourceOffers土最好的土办法及launchTasks土最好的土办法的具体内容,在后续章节中将进行进一步的解析。

Stage由一系列的tasks组成,哪几种task被封装成TaskSet,TaskSet类定义如下:

SchedulerBackend有多种实现,如下图所示:



大伙儿 以SparkDeploySchedulerBackend为例进行说明,SparkDeploySchedulerBackend继承自CoarseGrainedSchedulerBackend中的reviveOffers土最好的土办法,具有代码如下:

DriverEndpoint中的receive土最好的土办法接收driverEndpoint.send(ReviveOffers)发来的消息,DriverEndpoint继承了ThreadSafeRpcEndpoint trait,具体如下:

在上一节中的 Stage提交中大伙儿 提到,最终stage被封装成TaskSet,使用taskScheduler.submitTasks提交,具体代码如下:

从顶端的代码可不不需要 看得人,解决ReviveOffers消息时,调用的是makeOffers土最好的土办法

ThreadSafeRpcEndpoint 继承 RpcEndpoint trait,RpcEndpoint对receive土最好的土办法进行了描述,具体如下:

它具有如下定义形式:

submitTasks土最好的土办法定义在TaskScheduler Trait当中,目前TaskScheduler 只另一二个 多多子类TaskSchedulerImpl,其submitTasks土最好的土办法源码如下:

driverEndpoint的类型是RpcEndpointRef

热门

热门标签