这一讲绝了，秒会Linux下Kafka环境搭建及基本使用，还能学点英文

一、kafka单节点单broker环境搭建

系统环境：centos 64位 mini

虚拟机：Virtual Box

如果你不熟悉virtual box的使用，不知道如何安装centos系统，可以参考之前发布的文章：

快速掌握基于Virtualbox最小化安装centos6及远程工具xshell使用

快速掌握virtualbox虚拟机搭建centos系统集群

如果你不想用virtual box，也可以使用docker，之前发布的文章也有介绍，请进入头条号查看

1、Windows下搭建单节点kafka环境

请参考之前发布在头条号上的文章，已经详细介绍了

1）JDK环境搭建

快速搭建Java（JDK）Tomcat基础开发环境

2）zookeeper环境搭建

Windows下安装zookeeper

3）kafka环境搭建

Windows下安装Kafka及简单使用

2、Linux下搭建

1）JDK环境搭建

下载：http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

解压：

cd /usr/local/src
tar -zxvf jdk-8u181-linux-x64.tar.gz
mv jdk1.8.0_181 ../

配置：

cd /usr/local/jdk1.8.0_181
vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

验证：java -version

2）zookeeper环境搭建

• 下载

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

• 解压

cd /usr/local/src
tar -zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 ../

• 配置环境变量

cd /usr/local/zookeeper-3.4.12
vim /etc/profile

export ZK_HOME=/usr/local/zookeeper-3.4.12 
export PATH=$ZK_HOME/bin:$PATH

source /etc/profile

• 修改zoo.cfg

cp conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg
dataDir=/usr/local/zookeeper-3.4.12/data

• 启动测试

zkServer.sh start

[root@jikeh zookeeper-3.4.12]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

• 查看启动进程信息

[root@jikeh local]# jps
3829 QuorumPeerMain
3848 Jps
?
[root@jikeh local]# jps -m
3858 Jps -m
3829 QuorumPeerMain /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg

注释：zookeeper启动后，会多一个进程QuorumPeerMain

3）kafka环境搭建

• 下载：

cd /usr/local/src
wget https://archive.apache.org/dist/kafka/1.0.2/kafka_2.12-1.0.2.tgz

注释：我们使用的版本是0.11

• 解压：

tar -zxvf kafka_2.12-1.0.2.tgz
mv kafka_2.12-1.0.2 ../

• 配置环境变量：

vim /etc/profile

export KAFKA_HOME=/usr/local/kafka_2.12-1.0.2
export PATH=$KAFKA_HOME/bin:$PATH

使得环境变量立即生效：source /etc/profile

• 配置server.properties

cd /usr/local/kafka_2.12-1.0.2
vim conf/server.properties

server.properties重要参数说明：

broker.id=0//This must be set to a unique integer for each broker
advertised.listeners=PLAINTEXT://192.168.0.108:9092：远程连接需要配置下
log.dirs=/usr/local/kafka_2.12-1.0.2/kafka-logs//默认的是不会持久化存储的，这里必须更改下
zookeeper.connect=//zookeeper的连接地址：根据实际进行配置

3）启动测试

配置你的hosts：

127.0.0.1 jikeh

启动zookeeper：

cd /usr/local/zookeeper-3.4.12

bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka：

cd /usr/local/kafka_2.12-1.0.2

bin/kafka-server-start.sh config/server.properties

注释：一个server.properties其实，就可以当做一个broker

jps:查看当前运行的进程

jps -m:查看当前运行进程的详细信息

二、kafka基本使用

1、创建Topic

1）新建topic

查看命令的帮助信息：直接输入bin/kafka-topics.sh，然后enter，就可以查看所有的参数信息

bin/kafka-topics.sh --create --zookeeper 192.168.0.108:2181 --replication-factor 1 --partitions 1 --topic test

注释：参数说明

• replication-factor：设置副本数
• partitions：设置分区数

2）查看当前所有的topic列表

bin/kafka-topics.sh --list --zookeeper 192.168.0.108:2181

3）看下topic的详情信息

查看所有topic：

bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181

查看指定topic：

bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181 --topic test

2、发送消息

bin/kafka-console-producer.sh --broker-list 192.168.0.108:9092 --topic test

3、消费消息

bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

[root@jikeh kafka_2.12-1.0.2]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].

上面的警告信息，表示：这是个废弃的用法，建议使用新的用法[bootstrap-server]

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test

注释：

• --from-beginning参数的作用：重新开始消费消息，不管是否已经被消费了
• 对于低版本的kafka需要这样连接：

bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

4、疑惑点

通过以上命令，很多人就有疑问了，到底什么时候跟zookeeper打交道，什么时候跟broker打交道呢，这很容易让人糊涂

创建topic我是跟zookeeper打交道，而生产、消费消息却与broker打交道，但是低版本的kafka，消费者还是与zookeeper进行打交道的

注意：

低版本的kafka：需要这样消费

bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

高版本的kafka：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test --from-beginning

注释：官网上的文档，其实是按高版本的kafka来更新文档的

为什么会有这种区别呢？

Kafka consumers在早先的版本中，offset默认存储在ZooKeeper中。

三、kafka客户端远程连接测试

如果你理解上有困难，欢迎留言，或者参考视频教程：

带你看官网学习Kafka，掌握Linux下Kafka环境搭建及基本使用