你的位置:首页 > 信息动态 > 新闻中心
信息动态
联系我们

大数据之-Hadoop3.x_MapReduce_ReduceTask工作机制并行度---大数据之hadoop3.x工作笔记0125

2022/1/2 12:18:17

然后我们继续看一下maptask的工作机制,这个前面也有提过了,

可以看到左边是maptask处理完的数据,然后到了reduceTask阶段,会首先把数据

拉取过来当然,是按照分区拉取的对吧.这是copy阶段

 

数据拿过来以后,对数据进行合并归并排序,可以看到,不同maptask中的,分区0,会给弄到一个

reduceTask中去,合并排序,同理,分区1,会弄到一个reduceTask2中....

这个阶段是sort阶段.