Hadoop入门教程：基于Streaming实现作业提交

文章来源：更新时间:2016/7/13 18:04:07

在线老师点击咨询：

最新学讯：近期OCP认证正在报名中，因考试人员较多请尽快报名获取最近考试时间，报名费用请联系在线老师，甲骨文官方认证，报名从速！

我要咨询

Hadoop入门教程：基于Streaming实现作业提交，通过执行2.4.2中Streaming方式的编译命令后，会得到可执行程序WordcountMap和WordcountReduce，分别为词频统计的Map和Reduce，然后就可以使用Hadoop Streaming命令来实现作业提交。提交运行脚本的命令如下：

#!/bin/bash

#提交运行脚本

HADOOP_VERSION=1.0.4

Work_path=/home/nuoline/swordcount #用户程序所在目录

HADOOP_HOME=/home/nuoline/hadoop-$HADOOP_VERSION

streaming=$HADOOP_HOME/contrib/streaming/hadoop-streaming-$HADOOP_VERSION.jar

$HADOOP_HOME/bin/hadoop jar $streaming \

-f?ile $Work_path/WordcountMap \

-mapper WordcountMap \

-f?ile $Work_path/WordcountReduce \

-reducer WordcountReduce \

-input /usr/nuoline/wordcount/sinput \

-output /usr/nuoline/wordcount/soutput \

-numReduceTasks 1 \

-jobconf MapRed.job.name="MyWordcount"

在上述提交运行脚本的命令中需要指定HADOOP_HOME环境变量。Streaming命令中最基本的参数说明如表2-1所示。

Streaming用户非常灵活，用户在提交作业到Hadoop集群之前最好能在本地测试一下。本地测试可以使用Linux命令来模拟Hadoop处理流程，命令如下：

cat input.txt / WordcountMap / sort / WordcountReduce > output.txt

input.txt是词频统计的测试用例，output.txt是输出，需要注意的是Map之后需要sort命令，这是因为在Hadoop中Map处理完之后会依据键key进行排序，如果程序在本地测试正常，就可以安全地将其提交到Hadoop上运行。Streaming本身还有很多用法，更详细的内容将在后续章节进行详细介绍。