百度360必应搜狗淘宝本站头条
php redisredis 命令oracle位图索引redis 锁redis 主从
当前位置：网站首页 > 技术教程 > 正文

Hadoop集群的部署(避坑版)（hadoop集群部署方式）

mhr18 2024-09-23 09:47 38 浏览 0 评论

本文是以centos7.9版本的为例，进行Hadoop集群安装。

提前需要准备3台机器，本文以3台机器为例，进行讲解。

JDK安装

首先需要在这3台机器上安装JDK

  1. 确保系统不存在其他JDK版本，


2.卸载系统自带JDK

#rpm -qa | grep java #查看系统上存在的jdk文件

卸载这些java文件　（java开头的文件）　

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64

rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64

3.确认是否还存在jdk文件

  1. 使用以下命令安装Oracle JDK.（每台机器）

# rpm -ivh jdk-8u291-linux-x64.rpm

# echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

CDH集群安装

  1. 挂载系统安装光盘，配置本地软件仓库(所有节点) (红色部分根据实际情况修改)

首先查看系统版本，ISO需要和这个版本对应

cat /etc/redhat-release

根据系统版本找对应的ISO文件

mkdir /iso

mount -o loop /home/CentOS-7-x86_64-DVD-2009.iso /iso

rm -f /etc/yum.repos.d/*.repo

vi /etc/yum.repos.d/iso.repo

[Base]

name=Base

baseurl=file:///iso

gpgcheck=0

2.主机名解析(所有节点)(红色部分根据实际情况修改)

# vi /etc/hosts

192.168.1.127 node-1

192.168.1.128 node-2

192.168.1.129 node-3

备注：如果机器的hostname修改不成功，可以用以下命令修改：

# hostnamectl set-hostname node211

# hostnamectl

3.关闭防火墙和selinux(所有节点)

# systemctl disable firewalld

# systemctl stop firewalld

# setenforce 0

# vi /etc/selinux/config

原值：SELINUX=enforcing

修改为：SELINUX=disabled

4.修改内核参数(所有节点)

# vi /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo 10 > /proc/sys/vm/swappiness

# chmod +x /etc/rc.d/rc.local

# /etc/rc.d/rc.local

  1. 安装时间同步服务(所有节点)

# yum install chrony -y

配置时间同步服务(主节点)

# vi /etc/chrony.conf

local stratum 10

allow all

server localhost iburst

rtcsync

makestep 10 3

systemctl enable chronyd

systemctl restart chronyd

6.配置时间同步服务(成员节点) (红色部分根据实际情况修改)

# vi /etc/chrony.conf

server node-1 iburst

rtcsync

makestep 10 3

# systemctl enable chronyd && systemctl restart chronyd

7.安装mysql(主节点) (红色部分根据实际情况修改)

# yum install mariadb-server -y

# systemctl enable mariadb

# systemctl start mariadb

# mysql

CREATE USER 'root'@'%' IDENTIFIED BY '12345678';

SET PASSWORD FOR 'root'@'localhost' = PASSWORD('12345678');

GRANT GRANT OPTION ON *.* TO 'root'@'%';

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;

flush privileges;

exit;

8.安装Cloduera Manager Server(主节点)

# yum localinstall --nogpgcheck cloudera-manager-daemons*.rpm cloudera-manager-server*.rpm cloudera-manager-agent*.rpm

9.配置Cloduera Manager服务数据存储(主节点) (红色部分根据实际情况修改)

mkdir -p /usr/share/java/

cp mysql-connector-java-8.0.13.jar /usr/share/java/

cd /usr/share/java

# ln -s mysql-connector-java-8.0.13.jar mysql-connector-java.jar

# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p12345678 --scm-host localhost scm scm scm

10.配置Cloduera Manager(离线包)(主节点)

# cp Parcels/* /opt/cloudera/parcel-repo

如 cp /home/install/02.CDH/Parcels/CDH6/* /opt/cloudera/parcel-repo

这里注意，需要复制的内容如下（如果路径不对，需要修改）：

cp Parcels/CDH5/* /opt/cloudera/parcel-repo

11.启动Cloduera Manager Server(主节点)

systemctl enable cloudera-scm-server

systemctl restart cloudera-scm-server

12.安装Cloduera Manager Agent(其它节点)---主节点已经安装过了

# yum localinstall --nogpgcheck cloudera-manager-agent*.rpm cloudera-manager-daemons*.rpm

13.配置Cloduera Manager Agent服务(所有节点) (红色部分根据实际情况修改)

# vi /etc/cloudera-scm-agent/config.ini

原值：server_host=localhost

修改为：server_host=node-1

14.启动Cloduera Manager Agent(所有节点)

systemctl enable cloudera-scm-agent

systemctl restart cloudera-scm-agent

15.使用浏览器访问http://主节点IP:7180 使用向导完成安装。

这里选择hbase、kafka、hdfs、Zookeeper4个服务类型

相关推荐

甲骨文签署多项大型云协议，其一未来可贡献超300亿美元年收入

IT之家7月1日消息，根据甲骨文Oracle当地时间6月30日向美国证券交易委员会(SEC)递交的FORM8-K文件，该企业在始于2025年6月1日的202...

甲骨文获TEMU巨额合同，后者大部分基础设施将迁移至Oracle云

IT之家6月23日消息，Oracle甲骨文创始人、董事长兼首席技术官LarryEllison（拉里埃里森）在本月早些时候的2025财年第四财季和全财年财报电话会议上表示，Oracle...

Spring Boot 自定义数据源设置，这些坑你踩过吗?

你在使用SpringBoot进行后端开发的过程中，是不是也遇到过这样的问题：项目上线后，数据库连接总是不稳定，偶尔还会出现数据读取缓慢的情况，严重影响了用户体验。经过排查，发现很大一部分原因竟然...

一个开箱即用的代码生成器（一个开箱即用的代码生成器是什么）

今天给大家推荐一个好用的代码生成器，名为renren-generator，该项目附带前端页面，可以很方便的选择我们所需要生成代码的表。首先我们通过git工具克隆下来代码（地址见文末），导入idea。...

低代码建模平台-数据挖掘平台（低代码平台的实现方式）

现在来看一下数据连接。·这里是管理数据连接的空间，点击这里可以新增一个数据连接。·输入连接名称，然后输入url，是通过gdbc的方式去连接的数据库，目前是支持mysql、oracle以及国产数据库达梦...

navicat 17.2.7连接oracle数据库提示加载oracle库失败

系统：macOS15.5navicat版本：navicatpremiumlite17.2.7连接oracle测试报错：加载oracle库失败【解决办法】：放达里面找到程序，显示简介里面勾选“使...

开源“Windows”ReactOS更新：支持全屏应用

IT之家6月17日消息，ReactOS团队昨日（6月16日）在X平台发布系列推文，公布了该系统的最新进展，包括升级Explorer组件，支持全屏应用，从Wine项目引入了...

SSL 推出采用全模拟内置混音技术的模拟调音台Oracle

英国调音台传奇品牌SolidStateLogic宣布推出Oracle——一款采用全模拟内置混音技术的调音台，在紧凑的AWS尺寸机箱内集成了大型调音台的功能。该调音台提供24输入和...

47道网络工程师常见面试题，看看有没有你不会的!

你们好，我的网工朋友。网络工程师面试的时候，都会被问到什么？这个问题其实很泛，一般来说，你肯定要先看明白岗位需求写的是什么。基本上都是围绕公司需要的业务去问的。但不可否认的是，那些最基础的概念，多少也...

汉得信息:发布EBS系统安装启用JWS的高效解决方案

e公司讯，从汉得信息获悉，近日，微软官方宣布InternetExplorer桌面应用程序将于2022年6月15日正式停用。目前大部分客户都是使用IE浏览器打开EBS的Form界面，IE停用后，只能使...

36.9K star ! 推荐一个酷炫低代码开发平台!功能太强!

前言最近在逛github，看看能不能搜罗到一些对自己有帮助的开源软件。不经意间看到一个高star的java开源项目：jeecg-boot。进入在线演示版一看，感叹实在是太牛了！此开源项目不管是给来学习...

Linux新手入门系列:Linux下jdk安装配置

本系列文章是把作者刚接触和学习Linux时候的实操记录分享出来，内容主要包括Linux入门的一些理论概念知识、Web程序、mysql数据库的简单安装部署，希望能够帮到一些初学者，少走一些弯路。注意：L...

手把手教你在嵌入式设备中使用SQLite3

摘要：数据库是用来存储和管理数据的专用软件，使得管理数据更加安全，方便和高效。数据库对数据的管理的基本单位是表(table)，在嵌入式linux中有时候它也需要用到数据库，听起来好难，其实就是几个函数...

JAVA语言基础（java语言基础知识）

一、计算机的基本概念什么是计算机？计算机（Computer)全称：电子计算机，俗称电脑。是一种能够按照程序运行、自动高速处理海量数据的现代化智能电子设备。由硬件和软件组成、没有安装过任何软件的计算机称...

再见 Navicat!一款开源的 Web 数据库管理工具!

大家好，我是Java陈序员。在日常的开发工作中，常常需要与各种数据库打交道。而为了提高工作效率，常常会使用一些可视化工具进行操作数据库。今天，给大家介绍一款开源的数据库管理工具，无需下载安装软件，基...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表