彩神大发快三_神彩大发快三官方

Hadoop MapReduce编程:计算最大值

时间:2020-02-29 08:21:26 出处:彩神大发快三_神彩大发快三官方

首先,可不都上能保证Hadoop集群正常运行,我这里NameNode是主机ubuntu3。下面看运行应用线程的过程:

随便说说,使用MapReduce计算最大值的问题图片,和Hadoop自带的WordCount的应用线程没哪此区别,不过在Reducer中还还有一个 多是求最大值,还还有一个 多是做累加,本质一样,比较简单。下面.我歌词 歌词 结合还还有一个 多例子来实现。

测试数据

.我歌词 歌词 通过个人的模拟应用线程,生成了一组简单的测试样本数据。输入数据的格式,截取还还有一个 多片段,如下所示:

运行过程控制台输出内容,至少如下所示:

编程实现

上端计算一组键值对列表中代价估值的最大值,逻辑比较简单。为了优化,在Map输出很久,可不都上能使用该Reducer进行合并操作,即作为Combiner,减少从Mapper到Reducer的数据传输量,在配置Job的以里可不都上能指定。

下面看,如可来配置和运行还还有一个 多Job,实现类为GlobalMaxCostDriver,实现代码如下所示:

很久比较简单,直接看实际的代码。代码分为还还有一个 多要素,当然是Mapper、Reducer、Driver。Mapper实现类为GlobalCostMapper,实现代码如下所示:

可见,结果是.我歌词 歌词 所期望的。

上端实现逻辑非常简单,本来根据空格分隔符,将各个字段的值分离出来,最后输出键值对。

接着,Mapper输出了的键值对列表,在Reducer中就可不都上能进行合并化简,Reducer的实现类为GlobalCostReducer,实现代码如下所示:

运行应用线程

各个字段之间以空格号分隔。.我歌词 歌词 要计算的结果是,求各个国家(以国家代码标识)的成本估值的最大值。

上端文本数据一行一行存储,一行包含4要素,分别表示:

热门

热门标签