专业只做数据库实训和认证的品牌机构

微信公众号新浪微博
免费咨询电话:400-0909-964
当前位置: 网站首页 > Hadoop > Hadoop课程 > Hadoop认证培训:Hadoop怎么安装配置

Hadoop认证培训:Hadoop怎么安装配置

文章来源: 更新时间:2016/7/13 16:21:02

在线老师点击咨询:

最新学讯:近期OCP认证正在报名中,因考试人员较多请尽快报名获取最近考试时间,报名费用请联系在线老师,甲骨文官方认证,报名从速!

我要咨询

Hadoop认证培训:Hadoop怎么安装配置?上一节讲述了要安装Hadoop测试环境所必需的一些软件及基础环境配置,本节就开始安装并配置一个简单的Hadoop伪分布式环境。

首先下载Hadoop的稳定版Hadoop-1.0.4.tar.gz,这里使用cnnic.cn镜像地址下载,使用以下命令进行操作:

wget http:// mirrors.cnnic.cn/apache/hadoop/common/stable/hadoop-1.0.4.tar.gz

然后进行解压:

tar –xzvf Hadoop-1.0.4.tar.gz

解压之后建议将Hadoop的bin目录配置到PATH环境变量,然后进到Hadoop的conf目录对Hadoop进行伪分布式配置,配置步骤如下。

(1)配置core-site.xml

这个配置是Hadoop的核心配置,至少需要配置HDFS的地址及端口号,这里使用以下最简单的配置方法:

<conf?iguration>
     <property>
        <name>fs.default.name</name>
        <value>hdfs:// localhost:9000</value>
     </property>
</conf?iguration>

fs.default.name用于指定NameNode的IP地址和端口号,localhost就是HDFS NameNode的地址,9000是HDFS的NameNode RPC交互端口。

(2)配置hdfs-site.xml

这里主要配置HDFS的相关属性参数,简单配置如下:

<conf?iguration>
    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>
<property>
       <name>dfs.name.dir</name>
       <value>/home/nuoline/hdfs-f?ilesystem/name</value>
</property>
<property>
       <name>dfs.data.dir</name>
       <value>/home/nuoline/hdfs-f?ilesystem/data</value>
</property>
</conf?iguration>

dfs.replication用于指定HDFS中每个Block块被复制的次数,起到数据冗余备份的作用。在典型的生产系统中,这个数常被设置为3,这里是伪分布式,只有一个节点,因此设置为1。dfs.name.dir用于配置HDFS的NameNode的元数据,以逗号隔开,HDFS会把元数据冗余复制到这些目录下。dfs.data.dir用于配置HDFS的DataNode的数据目录,以逗号“,”隔开,HDFS会把数据存在这些目录下。这两个配置默认都在tmp目录下,建议用户在配置时使用自己创建的目录即可。

(3)配置map-site.xml

配置map-site.xml的代码如下:

<conf?iguration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</conf?iguration>

mapred.job.tracker是MapReduce Jobtracker的IP地址及端口号,localhost就是MapReduce Jobtracker的地址,9001是MapReduce Jobtracker RPC交互端口。

以上仅仅是对伪分布式的一个简单配置,主要用于测试环境的搭建,生成环境下的配置参数详解可见后续章节的内容介绍。

(4)配置Hadoop-env.sh

Hadoop-env.sh用于配置集群特有的变量值,这里至少需要配置JAVA_HOME环境变量。

本文地址:http://www.cuug.com.cn/hadoop/kecheng/12464775458.html 转载请注明!


在线预约 抢先报名 获取课程排期

Oracle培训机构

金牌讲师<>

冉乃纲-老师CUUG金牌讲师
冉老师 CUUG金牌讲师 Oracle及RedHat高级讲师、Unix/Linux 资深专家...[详细了解老师]

免费咨询上课流程 客服在线中

陈卫星-老师CUUG金牌讲师
陈老师 CUUG金牌讲师 精通Oracle管理、备份恢复、性能优化 11年Ora...[详细了解老师]

免费咨询上课流程 客服在线中

选学校如何选择适合自己的学校

CUUG -CHINA UNIX USER GROUP,是国际UNIX组织UNIFORUM的中国代表,是国内悠久的专业UNIX培训机构,被誉为中国UNIX 的摇篮。多年来,以提高教学质量为本,强调素质教育,积极引进、消化国外的新技术,有效的结合中国....[详情]

一站式服务(从入学到就业一帮到底)

入学

学习

就业

实操

食宿
地址:北京市海淀区北清路164号28-38号院
课程咨询:010-59426307 010-59426319 400-0909-964
企业服务:137 1818 8639(陈经理)
部分信息来源于网络,如有错误请联系指正!
版权所有@北京神脑资讯技术有限公司 (CUUG,中国UNIX用户协会) Copyright 2016 ALL Rights Reserved 京ICP备11008061号-1