Hadoop单节点集群环境搭建（hadoop启动单个节点）

【虚拟工具】

Oracle VM VirtualBox 5.1.20

【虚拟机】

CentOS 6.6 x86 64bit

【目录说明】

1、预装软件存储目录（用于存放预装软件的下载文件）：

/usr/local/SoftWare

2、系统环境目录（用于存储系统运行所搭载的环境设置）：

/usr/local/Env

【服务器环境搭建步骤】

[安装JDK]

[下载地址]http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

[JDK版本]1.7.0_79

[安装文件]jdk-7u79-linux-x64.tar.gz

[JDK安装步骤]

1、上传JDK安装文件（jdk-7u79-linux-x64.tar.gz）至/usr/local/SoftWare/文件夹

2、生成安装目录、解压文件：

cd /usr/local/Env

mkdir java

cd /usr/local

cp SoftWare/jdk-7u79-linux-x64.tar.gz Env/java/

cd /usr/local/Env/java

tar -zxvf jdk-7u79-linux-x64.tar.gz

3、设置环境变量：

vi /etc/profile

在文件末尾追加如下内容：

#JAVA SETTING START---------

export JAVA_HOME=/usr/local/Env/java/jdk1.7.0_79

export JRE_HOME=/usr/local/Env/java/jdk1.7.0_79/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

#JAVA SETTING STOP----------

source /etc/profile：让设置生效

4、验证JDK安装成功与否：java -version

注：若出现如下之类的错误：Error: dl failure on line 863

请执行：/usr/sbin/setenforce 0

再次验证时，显示如下正常信息：

java version "1.7.0_79"

Java(TM) SE Runtime Environment (build 1.7.0_79-b15)

Java HotSpot(TM) Client VM (build 24.79-b02, mixed mode)

【ssh无密码登录】

3）SSH无密码登录：

进入root用户所在用户目录：

cd /root

创建通讯私钥：

ssh-keygen -t rsa（后续一顿回车）

cd .ssh/

cat id_rsa.pub >> authorized_keys

【HDFS系统搭建】

[安装Hadoop]

[Hadoop版本]hadoop-2.6.0

[安装文件]hadoop-2.6.0.tar.gz

http://hadoop.apache.org/releases.html

[Hadoop安装步骤]

1、上传Hadoop安装文件（hadoop-2.6.5.tar.gz ）至/usr/local/SoftWare/文件夹

2、生成安装目录、解压文件：

mkdir /usr/local/Env/Hadoop

cp /usr/local/SoftWare/hadoop-2.6.5.tar.gz /usr/local/Env/Hadoop/

cd /usr/local/Env/Hadoop/

tar -zxvf hadoop-2.6.5.tar.gz

cd hadoop-2.6.5

3、设置环境变量：

vim /etc/profile

在文件尾追加如下语句：

#HADOOP SETTING START----------

export HADOOP_HOME=/usr/local/Env/Hadoop/hadoop-2.6.5

export PATH=$PATH:$HADOOP_HOME/bin

#HADOOP SETTING STOP-----------

完成添加后保存退出，并使之生效：source /etc/profile

4、生成Hadoop工作目录

mkdir /usr/local/Env/Hadoop/HDP_WorkShop

mkdir /usr/local/Env/Hadoop/HDP_WorkShop/tmp

mkdir /usr/local/Env/Hadoop/HDP_WorkShop/hdfs

mkdir /usr/local/Env/Hadoop/HDP_WorkShop/hdfs/data //创建datanode数据存储目录

mkdir /usr/local/Env/Hadoop/HDP_WorkShop/hdfs/name //创建namenode数据存储目录

将hadoop目录的所有者更改为hduser

chown hduser:hduser -R /usr/local/Env/Hadoop/hadoop-2.6.5

5、Hadoop设置：

cd /usr/local/Env/Hadoop/hadoop-2.6.5/etc/hadoop

1）hadoop-env.sh文件：

注释掉：export JAVA_HOME=${JAVA_HOME}

新添加：export JAVA_HOME=/usr/local/Env/java/jdk1.7.0_79

export HADOOP_SSH_OPTS="-p 16022" //此行操作适用于指定SSH的使用端口号，默认为22

2）yarn-env.sh文件：

注释掉：export JAVA_HOME=/home/y/libexec/jdk1.6.0/

新添加：export JAVA_HOME=/usr/local/Env/java/jdk1.7.0_79

3）core-site.xml文件：

在文件中的<configuration></configuration>标签中插入如下语句：

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

<description>The URI and Port of HDFS</description>

</property>

//hadoop.tmp.dir 是 hadoop文件系统依赖的基本配置，很多配置路径都依赖它，它的默认位置在/tmp/{$user}下面。

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/Env/Hadoop/HDP_WorkShop/tmp</value>

<description>The tmp folder of hadoop work shop</description>

</property>

</configuration>

6）yarn-site.xml文件：

在文件中的<configuration></configuration>标签中插入如下语句：

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

//默认是8088端口

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>${yarn.resourcemanager.hostname}:8099</value>

</property>

</configuration>

5）mapred-site.xml文件：

cp mapred-site.xml.template mapred-site.xml

在文件中的<configuration></configuration>标签中插入如下语句：

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

4）hdfs-site.xml文件

在文件中的<configuration></configuration>标签中插入如下语句：

<configuration>

<!—hdfs-site.xml-->

<property>

<name>dfs.replication</name>

<value>1</value>

<description>The default copy number of hdfs(Should less than 10)</description>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/usr/local/Env/Hadoop/HDP_WorkShop/hdfs/name</value>

<description>The path of namenode</description>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/usr/local/Env/Hadoop/HDP_WorkShop/hdfs/data</value>

<description>The path of datanode</description>

</property>

</configuration>

6、启动hadoop：

1）启动前检测：

命令行输入jps后，若只有JPS本身信息显示，则说明未启动，可以进行下步操作。

2）格式化namenode：

初次启动，记得格式化namenode，即在命令行输入：

cd $HADOOP_HOME/bin

hadoop namenode –format

待完成后进入下一步操作。

4）启动HDFS：启动NameNode 和 DataNode 守护进程

cd $HADOOP_HOME/sbin/

./start-dfs.sh

5）启动YARN：启动ResourceManager 和 NodeManager 守护进程

cd $HADOOP_HOME/sbin/

./start-yarn.sh

6）同时启动HDFS、YARN：./start-all.sh

备注：

问题：namenode启动不起来

查看日志：

tail -100f hadoop-root-namenode-hadoop.log

解决方案：

问题1：hadoop “util.NativeCodeLoader: Unable to load native-hadoop library for your platform”

跟系统位数有关系，我使用的是Centos 6.5 64位操作系统。

我用的是hadoop2.6，所以下载下面这个：

http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar

下载完以后，解压到hadoop的native目录下，覆盖原有文件即可

tar xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib/native/

问题2：jps发现有部分进程未启动成功，就是datanode启不来，

查看日志发现，是由于bogon这个访问地址没有配置，因此在/etc/hosts文件中加入如下语句：

127.0.0.1 bogon.localdomain bogon

再次启动，发现OK

启动成功的标示：（进程都在）

7116 SecondaryNameNode

6947 DataNode

7572 Jps

7372 NodeManager

6852 NameNode

7282 ResourceManager

HDFS：NameNode、SecondaryNameNode、DataNode

MapReduce2（YARN）：ResourceManager、NodeManager

界面：

1、Hadoop Resource-Manager Web界面

查看当前Hadoop的状态：node节点、应用程序、进程运行状态

通过

http://192.168.85.6:8099/cluster/nodes

进行访问出现界面即可。

2、namenode HDFS Web界面

检查当前HDFS与DataNode的运行情况

通过

http://192.168.85.6:50070

进行界面访问。