Ubuntu 14.04下Hadoop2.4.1集群安装配置教程

家庭一台笔记型计算机间接从
Ubuntu 10.10 晋级成
Ubuntu
12.04,进入系统后意识未有声音。本来以为未有进级成功,也懒得去查原因,后来径直从
Internet download ISO 镜像刻录成光盘直接设置,开采一律情况。就在 谷歌寻找化解格局,有找到多少个措施,经测验后发觉是 Alsa Mixer 程序 Master
Channel
声音被关掉,所以并未有声响。但在刚安装好系统下是平素不分界面能够修改,其修改章程如下:

Ubuntu 14.04下Hadoop2.4.1集群安装配置教程

本学科基于 Hadoop 2.4.1,但应当适用于全部 2.x 版本。作者在 Ubuntu
下往往设置过,遵照本课程一般都能够陈设成功。本学科只是基础的装置配置,更加多效果与利益、配置、本事就需求各位自行探求了。

在 Terminal (可以用 ctl+alt+t 键,飞快实行)下推行 alsamixer
程序后弹出上面画面

环境

  • 系统: Ubuntu 14.04 64bit
  • Hadoop版本: hadoop 2.4.1 (stable)
  • JDK版本: OpenJDK 7
  • 集群蒙受:
    两台主机,一台作为Master,局域网IP为192.168.1.121;另一台作为Slave,局域网IP为192.168.1.122.

欧洲杯竞猜平台 1

盘算干活

先依照教程Hadoop安装教程2.4.1单机/伪布满式配置(见
),在有着机器上配备hadoop用户、安装SSH
server、安装Java情形,在Master主机上设置Hadoop。

Hadoop的设置配备只须求在Master节点主机上海展览中心开,配置好后再复制到种种节点。

提议先依据上边的课程在Master主机上安装叁次单机景况的Hadoop,若是直白上手集群,在Master主机上安装Hadoop时,要记得修改hadoop文件的权力。

CentOS安装和配备Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop情况(单机形式+伪遍及情势)

Ubuntu下Hadoop情形的安插

单机版搭建Hadoop情状图像和文字教程详解

搭建Hadoop情形(在Winodws情形下用编造机虚构八个Ubuntu系统进行搭建)

采用键盘左、右键移动到 Master
Channel,在用上、下决定音量。调治完以往,按 esc 键离开此程序。

互联网布局

自己利用了两台主机搭建集群,主机名与IP地址对应如下:

Master 192.168.1.121
Slave1 192.168.1.122

率先选定哪台主机要作为Master(比方本身选取的是ip为 192.168.1.121
那台),然后在该主机的 /etc/hostname
中,修改机器名叫Master,将别的主机命令为Slave1、Slave2等。接着在
/etc/hosts 中,把富有集群的主机消息都写进去。

sudo vim /etc/hostname
sudo vim /etc/hosts

达成后,如下图所示(/etc/hosts
中不得不有一个127.0.0.1,对应该为localhost,不然会出错)。最棒重启一下,在极端中才拜会到机器名的变动。

欧洲杯竞猜平台 2Hadoop中的hosts设置

留神,该互联网安顿需求在享有主机上拓展

如上面讲的是 Master 主机的安顿,而在别的的 Slave 主机上,也要对
/etc/hostname(修改为 Slave1、Slave2等) 和 /etc/hosts(一般跟 Master
上的布局同样) 那三个公文举办相应的修改!

陈设好后方可在每种主机上进行ping Masterping Slave1测量检验一下,看是否互相ping得通。

欧洲杯竞猜平台 3ping

 

SSH无密码登入节点

以此操作是要让Master节点能够无密码SSH登录到Slave节点上。

率先生成 Master 的公匙,在 Master 节点终端中进行:

cd ~/.ssh                      # 如果没有该目录,先执行一次ssh localhost
ssh-keygen -t rsa              # 一直按回车就可以,生成的密钥保存为.ssh/id_rsa

Master 节点需能无密码 ssh 本机,这一步照旧在 Master 节点上施行:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

做到后能够使用 ssh Master 验证一下。接着将公匙传输到 Slave1 节点:

scp ~/.ssh/id_rsa.pub [email protected]:/home/hadoop/

scp时会需要输入Slave1上hadoop用户的密码(hadoop),输入完结后会提醒传输结束。

接着在 Slave1节点 中校ssh公匙保存到对应岗位,推行

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

假若有其他 Slave 节点,也要实行 将公匙传输到 Slave 节点、在 Slave
节点上步向授权 这两步。

最后在 Master 节点上就足以无密码SSH到Slave1节点了。

ssh Slave1

欧洲杯竞猜平台 4

安插集群/分布式处境

集群/分布式方式要求修改 etc/hadoop
中的5个布局文件,后多个文本可点击查阅官方私下认可设置值,这里仅设置了健康运营所不可不的设置项:
slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

1, 文件 slave

cd /usr/local/hadoop/etc/hadoop
vim slaves

将原来 localhost
删除,把全体Slave的主机名写上,每行一个。比方小编只有多个Slave节点,那么该文件中就唯有一行内容: Slave1。

2, 文件 core-site.xml ,将原先的如下内容:

<property>
</property>

改为下边包车型客车计划。前边的安插文件的改变类似。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>

3,
文件hdfs-site.xml,因为独有三个Slave,所以dfs.replication欧洲杯竞猜平台 ,的值设为1。

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Master:50090</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

4, 文件mapred-site.xml,这几个文件不设有,首先供给从沙盘中复制一份:

cp mapred-site.xml.template mapred-site.xml 

接下来配置修改如下:

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5, 文件yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

布署好后,将 Master 上的 Hadoop 文件复制到各样节点上(即便向来运用 scp
复制也得以准确运转,但会迥然区别,如符号链接 scp
过去后就有一些不均等了。所以先打包再复制比较安妥)。

cd /usr/local
sudo tar -zcf ./hadoop.tar.gz ./hadoop
scp ./hadoop.tar.gz Slave1:/home/hadoop

Slave1上执行:

sudo tar -zxf ~/hadoop.tar.gz -C /usr/local
sudo chown -R hadoop:hadoop /usr/local/hadoop

假诺在此以前有跑过伪布满式格局,提议切换来集群情势前先删除以前的有的时候文件:

rm -r /usr/local/hadoop/tmp

切换 Hadoop 方式应除去在此之前的有时文件

切换 Hadoop
的情势,不管是从集群切换成伪分布式,仍旧从伪布满式切换来集群,如若境遇不可能正常运行的事态,能够去除所提到节点的不时文件夹,那样就算此前的数量会被删掉,但能有限支撑集群正确运行。只怕可以为集群方式和伪布满式形式设置不一致的不时文件夹(未证实)。所以若是集群从前能开发银行,但新兴起步不了,特别是
DataNode 不可能起动,不要紧试着删除全体节点(包罗 Slave 节点)上的 tmp
文件夹,重新执行一遍 bin/hdfs namenode -format,再一次启航试试。

然后在Master节点上就足以运行hadoop了。

cd /usr/local/hadoop/
bin/hdfs namenode -format       # 首次运行需要执行初始化,后面不再需要
sbin/start-dfs.sh
sbin/start-yarn.sh

因此命令jps能够查看各种节点所运维的经过。

欧洲杯竞猜平台 5通过jps查看Master的Hadoop进程

能够见到Master节点运营了NameNodeSecondrryNameNodeResourceManager进程。

欧洲杯竞猜平台 6通过jps查看Slave的Hadoop进程

Slave节点则运行了DataNodeNodeManager进程。

别的也得以在Master节点上经过命令bin/hdfs dfsadmin -report翻看DataNode是还是不是正规运维。比方笔者那边一同有1个Datanodes。

欧洲杯竞猜平台 7通过dfsadmin查看DataNode的状态

透过翻看运维日志深入分析运行失败原因

偶尔Hadoop集群无法准确运行,如 Master 上的 NameNode
进程未有胜利运营,那时能够查阅运转日志来排查原因,可是新手或许须求留神几点:

  • 运维时会唤起 “Master: starting namenode, logging to
    /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out”,但实在运维日志音信是记录在
    /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.log 中;
  • 每贰回的运转日志都以扩大在日记文件从此,所以得拉到最前边看,这几个看下记录的时日就精通了。
  • 诚如出错的唤起在结尾面,也等于写着 Error 或然 Java 卓殊的地方。

也得以通过Web页面看到查看DataNode和NameNode的动静,

关闭Hadoop集群也是在Master节点上施行:

sbin/stop-dfs.sh
sbin/stop-yarn.sh

越多详细的情况见请继续阅读下一页的美丽内容:

  • 1
  • 2
  • 下一页

14.04下Hadoop2.4.1集群安装配置教程
本教程基于 Hadoop 2.4.1,但相应适用于具备 2.x 版本。作者在 Ubuntu
下屡屡装置过,依据本学科一般都可…

相关文章