Hadoop完全分布式环境搭建

2018年12月12日11:58:58 1 274 views

一. 基础环境

1、四台虚拟机的 IP 地址 及 主机名

2、HDFS角色分配:

节点Ip 主机名 HDFS角色
172.20.2.68 master datanode;namenode
172.20.2.134 slave1 datanode;
172.20.2.250 slave2 datanode;secondarynamenode
172.20.2.110 slave3 datanode;

3、YARN角色分配:

节点Ip 主机名 YARN角色
172.20.2.68 master  nodemanager;
172.20.2.134 slave1  nodemanager;
172.20.2.250 slave2  nodemanager;
172.20.2.110 slave3 nodemanager;resourcemanager

二. 基础配置

1、关闭防火墙 [ 所有节点执行 ]

2、安装 JDK 及环境变量配置 [ 所有节点执行 ]

3、创建 hadoop 用户并设置密码 [ 所有节点执行 ]

4、配置 hosts [ 所有节点执行 ]

5、配置 SSH 免密登录 [ 所有节点执行 ]

三. 安装 Hadoop

3.1 解压安装包

1、下载 [ Master节点执行 ]

2、使用hadoop用户,创建安装目录:/home/hadoop/apps,创建数据目录:/home/hadoop/data:[ Master节点执行 ]

3、在apps文件夹下解压安装包:[ Master节点执行 ]

3.2 Master节点配置

1、Master 节点配置

进入配置文件目录:/home/hadoop/apps/hadoop-2.9.1/etc/hadoop

2、配置core-site.xml

fs.defaultFS : 这个属性用来指定namenode的hdfs协议的文件系统通信地址,可以指定一个主机+端口,也可以指定为一个namenode服务(这个服务内部可以有多台namenode实现ha的namenode服务。

hadoop.tmp.dir : hadoop集群在工作的时候存储的一些临时文件的目录。

3、配置hdfs-site.xml

dfs.namenode.name.dir:namenode数据的存放地点。也就是namenode元数据存放的地方,记录了hdfs系统中文件的元数据。

dfs.datanode.data.dir: datanode数据的存放地点。也就是block块存放的目录了。

dfs.replication:hdfs的副本数设置。也就是上传一个文件,其分割为block块后,每个block的冗余副本个数,默认配置是3。

dfs.secondary.http.address:secondarynamenode 运行节点的信息,和 namenode 不同节点

 

4、配置mapred-site.xml

mapreduce.framework.name:指定mr框架为yarn方式,Hadoop二代MP也基于资源管理系统Yarn来运行 。

 

5、配置yarn-site.xml

yarn.resourcemanager.hostname:yarn总管理器的IPC通讯地址

yarn.nodemanager.aux-services:YARN 集群为 MapReduce 程序提供的服务(常指定为 shuffle )

 

6、配置 Slaves

3.3 slave节点配置 [ 所有slave节点执行 ]

每台服务器中的hadoop安装包的目录必须一致, 安装包的配置信息还必须保持一致

在slave1节点上,同样使用hadoop用户:

在master节点上:

3.4 Hadoop环境变量配置 [ 所有节点执行 ]

千万注意:

1、如果你使用root用户进行安装。 vi /etc/profile 即可 系统变量

2、如果你使用普通用户进行安装。 vi ~/.bashrc 用户变量(我是使用hadoop用户安装的)

四 初始化 Hadoop [ Master节点执行 ]

HDFS初始化只能在HDFS集群的主节点namenode上进行,本实验中即为master节点

五 启动 Hadoop

5.1 启动HDFS(HDFS集群的任何节点都可以)

5.2 启动YARN(在YARN主节点ResourceManager上执行)

只能在YARN的主节点resourcemanager中进行启动,也就是本集群的slave3。

六  查看4台服务器的进程

Hadoop完全分布式环境搭建

Hadoop完全分布式环境搭建

Hadoop完全分布式环境搭建

Hadoop完全分布式环境搭建

七 查看HDFS和YARN的Web管理界面

7.1 查看HDFS的Web管理界面

Hadoop完全分布式环境搭建

Hadoop完全分布式环境搭建

7.2 查看YARN的Web管理界面

访问:http://172.20.2.110:8088/cluster

Hadoop完全分布式环境搭建

Hadoop完全分布式环境搭建

 

 

  • 微信小程序
  • 关注微信小程序
  • weinxin
  • 微信公众号
  • 关注微信公众号
  • weinxin
Honest1y

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:1   其中:访客  1   博主  0

    • avatar 楚狂人博客 1

      技术派文章,收藏博客,备用