太阳城娱乐2.5.0完全分布式环境搭建-Hadoop-@太阳城手机版资讯
你好,游客 登录
背景:
阅读新闻

太阳城娱乐2.5.0完全分布式环境搭建

[日期:2017-11-22] 来源:网络太阳城手机版  作者: [字体: ]
到这里基本上大功告成,然后启动进程,做一些基本的测试(例如:文件的上传,下载,读取等等操作),试试集群是否能够正常工作,下面介绍几个集群搭建出现的问题。
 

一.环境:

java: jdk1.7.0_80
Linux: CentOS6.5
太阳城娱乐: 太阳城娱乐-2.5.0

二.集群规划:

Hadoop01 Hadoop02 Hadoop03
namenode
datanode datanode datanode
nodemanager nodemanager nodemanager
resourcemanager
secondarynamenode

三.按如下步骤依次操作各个文件:

1.启动文件,修改这三个文件的JAVVA_HOEM变量:

太阳城娱乐-env.sh
yarn-env.sh
mapred-env.sh

2.修改core-site.xml文件,编辑内容如下:

<property>
<name>fs.defaultFS</name>
<value>hdfs://太阳城娱乐01:8020</value>
</property>
<property>
<name>太阳城娱乐.tmp.dir</name>
<value>/home/shiluo/softwares/太阳城娱乐-2.5.0/data/tmp</value>
</property>

#该参数代表从HDFS上删除的文件暂存的时间(60 * 24)

<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

3.修改hdfs-site.xml文件,编辑如下内容:

#配置secondarynamenode
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>太阳城娱乐03:50090</value>
</property>

4.修改slave文件,将集群需要部署datanode进程节点的hostname写入该文件

5.修改yarn-site.xml文件,编辑如下内容:

<property>
<name>yarn.resourcemanager.hostname</name>
<value>太阳城娱乐02</value>
</property>
#NodeManager上运行的附属服务,该参数是为了可以运行mapreduce程序
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
#nodemanager可使用的内存,默认是8G
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
#nodemanager可以使用的虚拟CPU个数
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
<property>
#添加日志聚集功能
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
#日志可以存放的时间
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>640800</value>
</property>

6.修改mapred-site.xml文件(改文件默认是不存在的,把mapred-site.xml.template文件修改即可),编辑如下内容:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>太阳城娱乐01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>太阳城娱乐01:19888</value>
</property>

7.至此,全部配置完成,在分发之前将share下面的doc目录删掉,增加分发的速度,使用如下命令进行分发任务

scp -r 太阳城娱乐-2.5.0 太阳城娱乐02:/home/shiluo/software/
scp -r 太阳城娱乐-2.5.0 太阳城娱乐03:/home/shiluo/software/

8.在Hadoop01这台机器上执行如下命令进行格式化:

bin/hdfs namenode -format

好,到这里基本上大功告成,然后启动进程,做一些基本的测试(例如:文件的上传,下载,读取等等操作),试试集群是否能够正常工作,下面介绍几个集群搭建出现的问题。

问题一:namenode进程不能正常启动?

解决办法:查看namenode的启动日志,

①.一般是namenode配置有问题,仔细核对core-site.xml和hdfs-site.xml文件

②.第二种情况是多次格式化namenode造成的,需要删除集群中每台节点/tmp目录下的所有东西,还有太阳城娱乐.tmp.dir目录下的东西,即可解决。

问题二:启动集群后,datanode没有正常启动?

解决办法:查看namenode的启动日志发现,出现了端口被占用的情况导致datanode没有正常启动,使用 netstat -anp | grep 端口号 命令查到进程号kill掉,在启动集群即可解决。

至此,集群搭建全部讲解完毕,预祝各位朋友可以搭建成功。

作者:z小赵





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款