百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

阿里云使用Docker搭建Hadoop集群(docker hub 阿里云)

mhr18 2024-10-18 06:48 34 浏览 0 评论

摘要

吐血整理,搭建了两遍,亲测可用!!!
我买的是阿里云2C4G的服务器,使用的是CentOS 7.7版本。在搭建过程中踩了不少坑,本篇文章希望对大家有用

CentOS 7.7安装Docker

查看内核版本(使用root用户登陆)

uname -a

把yum包更新到最新

yum update

安装需要的软件包

yum install -y yum-utils device-mapper-persistent-data lvm2

设置yum源

sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

创建目录

cd /mnt
mkdir docker 
cd docker

可以查看所有仓库中所有docker版本,并选择特定版本安装

yum list docker-ce --showduplicates | sort -r

安装Docker,命令:yum install docker-ce-版本号

yum install docker-ce-18.06.3.ce

启动并加入开机启动

systemctl start docker
systemctl enable docker

验证安装是否成功(有client和service两部分表示docker安装启动都成功了)

docker version

Ubuntu 18.04 安装Docker

创建目录

cd /mnt
mkdir docker 
cd docker

下载

wget https://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd64/containerd.io_1.2.6-3_amd64.deb
wget https://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd64/docker-ce-cli_19.03.9~3-0~ubuntu-bionic_amd64.deb
wget https://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd64/docker-ce_19.03.9~3-0~ubuntu-bionic_amd64.deb

安装

sudo dpkg -i *.deb

启动

service docker start

生成服务器、Hadoop镜像

获取centos7镜像

docker pull centos

查看镜像列表

docker images

安装SSH

cd /mnt/docker
mkdir ssh
cd ssh
vi Dockerfile

内容

FROM centos
MAINTAINER dys

RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum  install -y openssh-clients

RUN echo "root:1234" | chpasswd
RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]

保存并退出

执行构建镜像的命令,新镜像命名为 centos7-ssh

docker build -t="centos7-ssh" .

基于 centos7-ssh 这个镜像启动三个容器

docker run -d --name=centos7.ssh centos7-ssh
docker run -d --name=centos7.ssh2 centos7-ssh
docker run -d --name=centos7.ssh3 centos7-ssh

构建Hadoop镜像

创建目录

cd /mnt/docker
mkdir hadoop
cd hadoop

下载jar包

//下载hadoop,构建镜像时使用
wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
//下载jdk,构建镜像时使用
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"

编辑DockerFile

vi Dockerfile

内容

FROM centos7-ssh
ADD jdk-8u141-linux-x64.tar.gz /usr/local/
RUN mv /usr/local/jdk1.8.0_141 /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH

ADD hadoop-2.9.2.tar.gz /usr/local
RUN mv /usr/local/hadoop-2.9.2 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

RUN yum install -y which sudo

保存并退出

执行构建命令

docker build -t="hadoop" .

运行容器

docker run --name hadoop0 --hostname hadoop0 -d -P -p 50070:50070 -p 8088:8088 hadoop
docker run --name hadoop1 --hostname hadoop1 -d -P hadoop
docker run --name hadoop2 --hostname hadoop2 -d -P hadoop

Hadoop 集群搭建

配置ll命令

vim ~/.bashrc

内容

增加下面的配置

alias ll='ls -l'

保存退出

重新加载

source ~/.bashrc

安装vim、net-tools

yum install net-tools
yum install vim

修改每台服务器的 /etc/hosts

使用ifconfig命令查看自己的IP,改为自己服务器的IP

172.18.0.5 hadoop0
172.18.0.6 hadoop1
172.18.0.7 hadoop2

修改时区

rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

SSH无密码登陆

在每台服务器上都执行以下命令,执行后会有多个输入提示,不用输入任何内容,全部直接回车即可

ssh-keygen 

输入下面命令时,需要用到上面设置的密码1234

ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop0 
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop1
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop2

安装配置 hadoop

在 master 中执行

cd /usr/local/hadoop
mkdir tmp hdfs
mkdir hdfs/data hdfs/name

配置core-site.xml

vim /usr/local/hadoop/etc/hadoop/core-site.xml

在 块儿中添加:

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop0:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
   <name>io.file.buffer.size</name>
   <value>131702</value>
</property>

配置hdfs-site.xml

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

在 块儿中添加:

    <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/hdfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop0:9001</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

配置mapred-site.xml

这个文件默认不存在,需要从 mapred-site.xml.template 复制过来

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

编辑文件

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

在 块儿中添加:

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop0:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop0:19888</value>
</property>

配置yarn-site.xml

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

在 块儿中添加:

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop0:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop0:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop0:8031</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>hadoop0:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>hadoop0:8088</value>
</property>

配置slaves

vim /usr/local/hadoop/etc/hadoop/slaves

删除已有内容,添加:

hadoop1
hadoop2

配置hadoop-env.sh

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh


找到 export JAVA_HOME=${JAVA_HOME},改为自己JAVA_HOME的绝对路径

export JAVA_HOME=/usr/local/jdk1.8

复制文件到 hadoop1,hadoop2

scp -r /usr/local/hadoop hadoop1:/usr/local
scp -r /usr/local/hadoop hadoop2:/usr/local

设置 hadoop 环境变量

在每台服务器上都执行:

vim ~/.bashrc

增加内容

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

保存退出,重新加载资源

source ~/.bashrc

启动 hadoop

在master启动hadoop,从节点会自动启动

初始化

hdfs namenode -format

启动

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

测试

如果您使用的也是阿里云服务器,那需要在阿里云客户端调整安全组,阿里云默认只开放22端口,所以需要把50070、8088都开通

浏览器中访问:

http://服务器IP:50070/
http://服务器IP:8088/

hdfs 操作

hdfs dfs -mkdir -p /usr/local/hadoop/input
hdfs dfs -put /usr/local/hadoop/etc/hadoop/kms*.xml /usr/local/hadoop/input

http://服务器IP:50070/,在文件浏览页面查看

mapreduce 操作

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep /usr/local/hadoop/input /usr/local/hadoop/output 'dfs[a-z.]+'

相关推荐

【预警通报】关于WebLogic存在远程代码执行高危漏洞的预警通报

近日,Oracle官方发布了2021年1月关键补丁更新公告CPU(CriticalPatchUpdate),共修复了包括CVE-2021-2109(WeblogicServer远程代码执行漏洞)...

医院信息系统突发应急演练记录(医院信息化应急演练)

信息系统突发事件应急预案演练记录演练内容信息系统突发事件应急预案演练参与人员信息科参与科室:全院各部门日期xxxx-xx-xx时间20:00至24:00地点信息科记录:xxx1、...

一文掌握怎么利用Shell+Python实现完美版的多数据源备份程序

简介:在当今数字化时代,无论是企业还是个人,数据的安全性和业务的连续性都是至关重要的。数据一旦丢失,可能会造成无法估量的损失。因此,如何有效地对分布在不同位置的数据进行备份,尤其是异地备份,成为了一个...

docker搭建系统环境(docker搭建centos)

Docker安装(CentOS7)1.卸载旧版Docker#检查已安装版本yumlistinstalled|grepdocker#卸载旧版本yumremove-ydocker.x...

基础篇:数据库 SQL 入门教程(sql数据库入门书籍推荐)

SQL介绍什么是SQLSQL指结构化查询语言,是用于访问和处理数据库的标准的计算机语言。它使我们有能力访问数据库,可与多种数据库程序协同工作,如MSAccess、DB2、Informix、M...

Java21杀手级新特性!3行代码性能翻倍

导语某券商系统用这招,交易延迟从12ms降到0.8ms!本文揭秘Oracle官方未公开的Record模式匹配+虚拟线程深度优化+向量API神操作,代码量直降70%!一、Record模式匹配(代码量↓8...

一文读懂JDK21的虚拟线程(java虚拟线程)

概述JDK21已于2023年9月19日发布,作为Oracle标准Java实现的一个LTS版本发布,发布了15想新特性,其中虚拟线程呼声较高。虚拟线程是JDK21中引入的一项重要特性,它是一种轻量级的...

效率!MacOS下超级好用的Linux虚拟工具:Lima

对于MacOS用户来说,搭建Linux虚拟环境一直是件让人头疼的事。无论是VirtualBox还是商业的VMware,都显得过于笨重且配置复杂。今天,我们要介绍一个轻巧方便的纯命令行Linux虚拟工具...

所谓SaaS(所谓三维目标一般都应包括)

2010年前后,一个科技媒体的主编写一些关于云计算的概念性问题,就可以作为头版头条了。那时候的云计算,更多的还停留在一些概念性的问题上。而基于云计算而生的SaaS更是“养在深闺人未识”,一度成为被IT...

ORA-00600 「25027」 「x」报错(报错0xc0000001)

问题现象:在用到LOB大对象的业务中,进行数据的插入,失败了,在报警文件中报错:ORA-00600:内部错误代码,参数:[25027],[10],[0],[],[],[],[],[...

安卓7源码编译(安卓源码编译环境lunch失败,uname命令找不到)

前面已经下载好源码了,接下来是下载手机对应的二进制驱动执行编译源码命令下载厂商驱动https://developers.google.com/android/drivers?hl=zh-cn搜索NGI...

编译安卓源码(编译安卓源码 电脑配置)

前面已经下载好源码了,接下来是下载手机对应的二进制驱动执行编译源码命令下载厂商驱动https://developers.google.com/android/drivers?hl=zh-cn搜索NGI...

360 Vulcan Team首战告捷 以17.5万美金强势领跑2019“天府杯“

2019年11月16日,由360集团、百度、腾讯、阿里巴巴、清华大学与中科院等多家企业和研究机构在成都联合主办了2019“天府杯”国际网络安全大赛暨2019天府国际网络安全高峰论坛。而开幕当日最激荡人...

Syslog 日志分析与异常检测技巧(syslog发送日志配置)

系统日志包含有助于分析网络设备整体运行状况的重要信息。然而,理解并从中提取有效数据往往颇具挑战。本文将详解从基础命令行工具到专业日志管理软件的全流程分析技巧,助你高效挖掘Syslog日志价值。Gr...

从Oracle演进看数据库技术的发展(从oracle演进看数据库技术的发展的过程)

数据库技术发展本质上是应用需求驱动与基础架构演进的双向奔赴,如何分析其技术发展的脉络和方向?考虑到oracle数据库仍然是这个领域的王者,以其为例,管中窥豹,对其从Oracle8i到23ai版本的核...

取消回复欢迎 发表评论: