hadoop2.7.2单机与伪分布式安装

大数据 waitig 625℃ 百度已收录 0评论
 

环境相关

系统:CentOS 6.8 64位
jdk:1.7.0_79
hadoop:hadoop 2.7.2

 

配置SSH免密码登录

#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  生成秘钥
#cd ~/.ssh/ 
id_dsa  id_dsa.pub  known_hosts
id_dsa 私钥(给自己用)  id_dsa.pub(给别人用)
把公钥文件追加到本地的认证文件中去
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
就可以免密码登录

 测试下ssh是否可用

ssh localhost

安装hadoop2

下载hadoop-2.7.2.tar.gz,放在opt目录下,解压

tar -zxvf hadoop-2.7.2.tar.gz

 配置Hadoop,路径/opt/hadoop-2.5.1/etc/hadoop

配置core-site.xml

<configuration>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/hadoop-2.5.1/tmp</value>
	<description>Abase for other temporary directories.</description>
</property>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://localhost:9000</value>
</property>

</configuration>

配置hdfs-site.xml

<configuration>

<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/opt/hadoop-2.5.1/dfs/name</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/opt/hadoop-2.5.1/dfs/data</value>
</property>

</configuration>

配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>
        <name>mapredure.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>


</configuration>

配置mapred-site.xml

<configuration>

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

</configuration>

配置hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.7.0

配置完成后,格式化NameNode

hadoop namenode -formate

  

成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。

接着开启 NaneNode 和 DataNode 守护进程

./sbin/start-dfs.sh

启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode(如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试)。如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。

2520 DataNode
2681 SecondaryNameNode
2439 NameNode
3290 Jps

启动YARN

[root@root hadoop-2.5.1]# start-yarn.sh

2520 DataNode
3414 NodeManager
2681 SecondaryNameNode
2439 NameNode
3518 Jps
2825 ResourceManager

  

 


本文由【waitig】发表在等英博客
本文固定链接:hadoop2.7.2单机与伪分布式安装
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)