1.大数据系列之Hadoop安装（hadoop大数据实战权威指南）
mhr18 2024-10-14 11:09 22 浏览 0 评论
Hadoop学习路上的那些事儿，很有必要分享出来
（图片来自网络）
什么是Hadoop
从广义上讲呢，是一个大数据生态，从狭义上讲呢，主要包含了分布式文件系统（HDFS）、资源管理（YARN）、批处理（MapReduce）。
一言不合上官网。http://hadoop.apache.org/
实验过程
实验准备：
1. 云主机一台，此实验采用的是移动云云主机。（相当于虚拟机）
2. JDK安装包，版本jdk1.8.0_181
3. Hadoop安装包，版本hadoop-2.10.1
步骤一：安装JDK，并配置环境变量
下载合适的JDK安装包，为了后续实验，建议版本1.8以上。由于在Oracle官网上下载比较麻烦（需要注册和登录），索性在网上找了一个，下载到本地后上传到云主机里，并且解压。
配置环境变量，/etc/profile
## JAVA_HOME
export JAVA_HOME=/root/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin使用source /etc/profile命令，让环境变量马上生效，然后再用java -version命令验证安装结果。如果能正确打印JDK版本信息，说明安装成功。
步骤二：安装Hadoop，并配置环境变量
在Hadoop官网下载对应的版本，并上传到云主机中，完成解压后配置环境变量。
配置环境变量，/etc/profile
## HADOOP_HOME
export HADOOP_HOME=/root/hadoop-2.10.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin同样使用source /etc/profile命令，让环境变量马上生效，然后再用hadoop version命令验证安装结果。如果能正确打印版本信息，说明安装成功。
步骤三：简单验证hadoop工作原理
官网其实提供了详细的操作命令，概况来讲，就是从一个input输入文件中读取数据，然后通过hadoop安装包里的example程序，对输入数据进行处理，然后输出结果。因为是测试，数据量小，看不出效果，如果是超级多的数据，大数据的处理效果就会很明显。
mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+'
cat output/*实验总结
1）hadoop实验环境搭建比较简单，如果是采用云主机，注意配置安全组策略，确保远程端口和IP地址放通。
2）JDK版本一定要安装正确，环境变量也要真确配置，否则hadoop会报错。
相关推荐
- 【预警通报】关于WebLogic存在远程代码执行高危漏洞的预警通报
-
近日，Oracle官方发布了2021年1月关键补丁更新公告CPU（CriticalPatchUpdate），共修复了包括CVE-2021-2109（WeblogicServer远程代码执行漏洞）...
- 医院信息系统突发应急演练记录（医院信息化应急演练）
-
信息系统突发事件应急预案演练记录演练内容信息系统突发事件应急预案演练参与人员信息科参与科室：全院各部门日期xxxx-xx-xx时间20:00至24:00地点信息科记录：xxx1、...
- 一文掌握怎么利用Shell+Python实现完美版的多数据源备份程序
-
简介：在当今数字化时代，无论是企业还是个人，数据的安全性和业务的连续性都是至关重要的。数据一旦丢失，可能会造成无法估量的损失。因此，如何有效地对分布在不同位置的数据进行备份，尤其是异地备份，成为了一个...
- docker搭建系统环境（docker搭建centos）
-
Docker安装（CentOS7）1.卸载旧版Docker#检查已安装版本yumlistinstalled|grepdocker#卸载旧版本yumremove-ydocker.x...
- 基础篇:数据库 SQL 入门教程（sql数据库入门书籍推荐）
-
SQL介绍什么是SQLSQL指结构化查询语言，是用于访问和处理数据库的标准的计算机语言。它使我们有能力访问数据库，可与多种数据库程序协同工作，如MSAccess、DB2、Informix、M...
- Java21杀手级新特性!3行代码性能翻倍
-
导语某券商系统用这招，交易延迟从12ms降到0.8ms！本文揭秘Oracle官方未公开的Record模式匹配+虚拟线程深度优化+向量API神操作，代码量直降70%！一、Record模式匹配（代码量↓8...
- 一文读懂JDK21的虚拟线程（java虚拟线程）
-
概述JDK21已于2023年9月19日发布，作为Oracle标准Java实现的一个LTS版本发布，发布了15想新特性，其中虚拟线程呼声较高。虚拟线程是JDK21中引入的一项重要特性，它是一种轻量级的...
- 效率!MacOS下超级好用的Linux虚拟工具:Lima
-
对于MacOS用户来说，搭建Linux虚拟环境一直是件让人头疼的事。无论是VirtualBox还是商业的VMware，都显得过于笨重且配置复杂。今天，我们要介绍一个轻巧方便的纯命令行Linux虚拟工具...
- 所谓SaaS（所谓三维目标一般都应包括）
-
2010年前后，一个科技媒体的主编写一些关于云计算的概念性问题，就可以作为头版头条了。那时候的云计算，更多的还停留在一些概念性的问题上。而基于云计算而生的SaaS更是“养在深闺人未识”，一度成为被IT...
- ORA-00600 「25027」 「x」报错（报错0xc0000001）
-
问题现象：在用到LOB大对象的业务中，进行数据的插入，失败了，在报警文件中报错：ORA-00600:内部错误代码,参数:[25027],[10],[0],[],[],[],[],[...
- 安卓7源码编译（安卓源码编译环境lunch失败,uname命令找不到）
-
前面已经下载好源码了，接下来是下载手机对应的二进制驱动执行编译源码命令下载厂商驱动https://developers.google.com/android/drivers?hl=zh-cn搜索NGI...
- 编译安卓源码（编译安卓源码 电脑配置）
-
前面已经下载好源码了，接下来是下载手机对应的二进制驱动执行编译源码命令下载厂商驱动https://developers.google.com/android/drivers?hl=zh-cn搜索NGI...
- 360 Vulcan Team首战告捷 以17.5万美金强势领跑2019“天府杯“
-
2019年11月16日，由360集团、百度、腾讯、阿里巴巴、清华大学与中科院等多家企业和研究机构在成都联合主办了2019“天府杯”国际网络安全大赛暨2019天府国际网络安全高峰论坛。而开幕当日最激荡人...
- Syslog 日志分析与异常检测技巧（syslog发送日志配置）
-
系统日志包含有助于分析网络设备整体运行状况的重要信息。然而，理解并从中提取有效数据往往颇具挑战。本文将详解从基础命令行工具到专业日志管理软件的全流程分析技巧，助你高效挖掘Syslog日志价值。Gr...
- 从Oracle演进看数据库技术的发展（从oracle演进看数据库技术的发展的过程）
-
数据库技术发展本质上是应用需求驱动与基础架构演进的双向奔赴，如何分析其技术发展的脉络和方向？考虑到oracle数据库仍然是这个领域的王者，以其为例，管中窥豹，对其从Oracle8i到23ai版本的核...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle基目录 (50)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (53)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)