二进制方式安装logstash + redis + elasticsearch + kibana

一：架构图

二：最小组合

shipper: 1台

redis: 1台

indexer:1台

es:1台

web:1台

三:logstash 安装

a.jdk 1.7 安装

1.安装jdk

linux 自带的opensdk7 也最好不要使用

Elasticsearch依赖Java 7。推荐使用Oracle JDK 1.7.0_55版本

http://download.oracle.com/otn-pub/java/jdk/7u55-b13/jdk-7u55-linux-x64.rpm

http://download.oracle.com/otn-pub/java/jdk/7u55-b13/jdk-7u55-linux-x64.tar.gz

2.上传服务器

cd /usr/local/src

3.建立java目录

mkdir /usr/java

4.安装jdk

rpm -ivh jdk-7u55-linux-x64.rpm

5.配置环境变量

vi ~/.bash_profile

#set java environment

JAVA_HOME=/usr/java/jdk1.7.0_55

JAVA_BIN=/usr/java/jdk1.7.0_55/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_BIN:$PATH

export PATH JAVA_HOME CLASSPATH

初始化变量

source ~/.bash_profile

6.检测Java环境

java -version

java version "1.7.0_55"

Java(TM) SE Runtime Environment (build 1.7.0_55-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)

b.logstash 安装

1.关闭iptables

/etc/init.d/iptables stop

2.版本

/usr/local/logstash-1.4.2.tar.gz

https://download.elastic.co/logstash/logstash/logstash-2.1.1.tar.gz

3.解压

tar zxvf logstash-1.4.2.tar.gz

4.复制文件

cp -rf logstash-1.4.2 /usr/local/

4.建立配置目录

cd /usr/local/logstash-1.4.2

mkdir conf

5.编辑配置文件（收集日志文件)

vi conf/collector.conf

input{

file{

type=>"msg"

path=>["/var/log/messages"]

}

}

output{

redis{

host=>["192.168.211.128"]

port=>"6379"

data_type=>"list"

key=>"logstash"

}

}

6.建立日志目录

cd /usr/local/logstash-1.4.2

mkdir logs

7.启动logstash shipper

bin/logstash -f conf/collector.conf --log logs/collector.log &

二.redis 安装

1.版本

redis-3.0.0.tar.gz

2.进入目录

cd /usr/local/src

3.解压文件

tar zxvf redis-3.0.0.tar.gz

4.进入目录

cd /usr/local/src/redis-3.0.0

5.安装依赖

yum -y install tcl*

6.编译

make

make install

make test

7.启动服务

redis-server &

8.登录

redis-cli

三:logstatsh push 安装

见 logstash shipper 安装方法

#push 配置文件

#index.conf

input {

redis {

host =>["192.168.211.128"]

port => "6379"

data_type => "list"

key => "logstash"

type =>"msg"

codec => "json"

}

}

output {

elasticsearch {

codec => "json"

hosts =>"10.0.0.86"

#host =>"10.0.0.86"

#port =>9300

#cluster => "lrek"

}

}

启动inder：

bin/logstash -f conf/index.conf --log logs/index.log &

四: elasticsearch 安装

1.安装jdk环境

2.下载文件

https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.5.0.tar.gz

2.1 版本：不能用root 用户运行

cd /usr/local/src

tar zxvf elasticsearch-1.5.0.tar.gz

cp -rf

elasticsearch-1.5.0 /usr/local/

elasticsearch-1.5.0

cd elasticsearch-1.5.0/config

vim elasticsearch.yml

node.name: "hk_es"

index.number_of_shards: 10

index.number_of_replicas: 2

network.host: 10.0.0.86

启动es

cd /usr/local/elasticsearch-1.5.0/bin

./elasticsearch -d

8.安装 head UI管理界面

https://github.com/mobz/elasticsearch-head/archive/master.zip

cd /usr/local/src/

unzip elasticsearch-head-master.zip

mkdir -p

/usr/local/elasticsearch-1.5.0/plugins/head/_site

cp -rf /usr/local/src/elasticsearch-head-master/* /usr/local/elasticsearch-1.5.0/plugins/head/_site

访问：

http://192.168.211.142:9200/_plugin/head/

测试是否成功：

curl -XPUT 'http://localhost:9200/dept/employee/32' -d '{ "empname": "emp32"}'

{"_index":"dept","_type":"employee","_id":"32","_version":1,"created":true}

dept是一个索引并且索引类型是雇员，此时我们正在输入这个索引类型的第31个id。

再加值：

curl -XPUT 'http://localhost:9200/dept/employee/1' -d '{ "empname": "emp1"}'

脚本批量添加：

add_es.sh

#!/bin/bash

#i=8

#curl -XPUT "http://localhost:9200/dept1/employee/$i" -d "{ \"empname\": \"emp$i\"}"

#exit 1

for i in `seq 1 10`

do

echo $i

curl -XPUT "http://localhost:9200/dept$i/employee/$i" -d "{\"empname$i\": \"emp$i\"}"

done

删除文档：

curl -XDELETE "http://localhost:9200/dept$i" -d "{\"empname$i\": \"emp$i\"}"

3.bigdesk 安装

https://github.com/lukas-vlcek/bigdesk/archive/master.zip

http://192.168.211.142:9200/_plugin/bigdesk

源码安装：

cp-rf /usr/local/src/bigdesk-master /usr/local/elasticsearch-1.5.0/plugins/bigdesk/_site

五：kibana 安装

1.安装依赖：

yum -y install ruby rubygems

用 rubygems 来安装bundler

/usr/bin/gem install bundler

2.解压文件

cd /usr/local/src

tar zxvf kibana-4.0.2-linux-x64.tar.gz

3.复制文件

cp -rf kibana-4.0.2-linux-x64 /usr/local/kibana-4.0.2

4.修改配置文件

#/usr/local/kibana-4.0.2/config/kibana.yml

#elasticsearch_url: "http://localhost:9200"

修改为具体的 ES 地址

5.启动kibana

cd /usr/local/kibana-4.0.2/bin

./kibana &

6.访问kibana ,默认为：5601

如：192.168.211.141:5601