博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
CDH的安装和设置
阅读量:6136 次
发布时间:2019-06-21

本文共 1728 字,大约阅读时间需要 5 分钟。

采用伪分布模式安装和设置CDH,前提是已经安装了Java和SSH。

1. 下载hadoop-2.6.0-cdh5.9.0,复制到/opt/下,再解压;

2. 进入/opt/hadoop-2.6.0-cdh5.9.0/etc/hadoop/,在hadoop-env.sh中添加:

export JAVA_HOME=/opt/jdk1.8.0_121export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.9.0

修改配置文件core-tite.xml:

hadoop.tmp.dir
/home/hadoop/tmp
fs.default.name
hdfs://192.168.1.104:9000

其中hadoop.tmp.dir最好自己设置,不要采用默认的设置,因为默认的设置是在/tmp/下面,机器重启以后会被删除掉,造成Hadoop不能运行,要再次格式化NameNode才能运行。

hdfs-site.xml:

dfs.replication
1
dfs.name.dir
/opt/hdfs/name
dfs.data.dir
/opt/hdfs/data
dfs.tmp.dir
/opt/hdfs/tmp

mapred-site.xml:

mapreduce.framework.name
yarn
mapred.job.tracker
hdfs://192.168.1.104:9001

3. 在/etc/profile后面加上:

export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.9.0export PATH=$PATH:$HADOOP_HOME/bin

并且输入命令:

source /etc/profile

使设置生效。

4. 输入命令:

hadoop namenode -format

格式化NameNode,如果结果提示Successful表明格式化成功。

5. 进入/opt/hadoop-2.6.0-cdh5.9.0/etc/hadoop/sbin,输入命令:

./start-all.sh

启动Hadoop。为了检验是否启动成功,输入命令:

jps

如果结果包含了以下几个进程,则表明启动成功:

也可以在浏览器里面输入地址http://localhost:50070,检验是否启动成功:

转载地址:http://yveua.baihongyu.com/

你可能感兴趣的文章
分享:动态库的链接和链接选项-L,-rpath-link,-rpath
查看>>
阿里云企业邮箱 在Foxmail 7.0上POP3/IMAP协议设置方法
查看>>
Javascript一些小细节
查看>>
canvas学习总结
查看>>
Javascript的if判断
查看>>
spring cloud gateway 源码解析(3)记录请求参数及返回的json
查看>>
阿里云ECS数据盘格式化与挂载图文教程
查看>>
Flexbox响应式网页布局 - W3Schools视频02
查看>>
【手牵手】搭建前端组件库(二)
查看>>
怎么给视频添加音频或配乐
查看>>
怎么转换音乐格式
查看>>
Leaflet-Develop-Guide
查看>>
每隔1s打印0-5
查看>>
Angular6错误 Service: No provider for Renderer2
查看>>
聊聊flink的BlobStoreService
查看>>
洗牌算法具体指的是什么?
查看>>
HBuilder打包手机app的方法
查看>>
解决Mac下SSH闲时自动中断的问题
查看>>
在JavaScript中理解策略模式
查看>>
ArchSummit 深圳 2017 成功举办,探索未来互联网架构
查看>>