百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Linux部署rsyslog日志服务器

mhr18 2024-12-23 11:10 38 浏览 0 评论

一、简介

rsyslog是一个快速处理收集系统日志的开源程序,提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版,它将多种来源输入输出转换结果到目的地。

rsyslog是一个开源工具,被广泛用于Linux系统以通过TCP/UDP协议转发或接收日志消息。rsyslog守护进程可以被配置成两种环境,一种是配置成日志收集服务器,rsyslog进程可以从网络中收集其它主机上的日志数据,这些主机会将日志配置为发送到另外的远程服务器。rsyslog的另外一个用法,就是可以配置为客户端,用来过滤和发送内部日志消息到本地文件夹(如/var/log)或一台可以路由到的远程rsyslog服务器上。

虽然它基于常规的 syslogd,但 rsyslog 已经演变成了一个强大的工具,可用于:

  • 接收来自各种来源的输入
  • 转换它们
  • 将结果输出到不同的目的地

与之前的syslog日志系统相比,具有以下优点:

  • 支持多线程
  • 支持TCP、SSL、TLS、RELP等协议
  • 强大的过滤器,可实现过滤日志信息中的任意部分
  • 支持自定义输出格式
  • 适用于企业级别日志记录需求
  • 模块化

除此之外,它还支持按需磁盘缓冲,基于TCP,SSL,TLS和RELP的可靠syslog,写入数据库(MySQL,PostgreSQL,Oracle等),电子邮件警报,完全可配置的输出格式(包括高精度时间戳),能够对syslog消息的任何部分进行过滤,在线消息压缩以及将文本文件转换为syslog的能力。 它是syslogd的直接替代品,并且可以使用相同的配置文件语法。


二、环境说明

OS:CentOS7.8 x64 内核:3.10.0-1160.15.2.el7.x86_64

Server IP:192.168.168.100

Client IP:192.168.168.103

Server服务器关闭SELinux,防止Client服务器日志无法写入指定目录。


三、Server服务端配置

1.安装rsyslog

## CentOS7系统默认是安装rsyslog,再执行安装命令会如下图所示。

yum -y install rsyslog

## 查看rsyslog版本信息

2.修改配置文件

日志的传输有udp和tcp两种方式。本文中启用udp模块进行传输,自定义Client服务器日志保存目录,方便管理查看。

## 创建日志目录,用于保存Client服务器日志

mkdir -p /data/logs/syslog/

## 备份rsyslog配置文件

cp /etc/rsyslog.conf /etc/rsyslog.conf.bak

## 修改配置文件

vi /etc/rsyslog.conf

//启用udp传输

# Provides UDP syslog reception     #启用UDP进行传输,取消下面两行的注释
$ModLoad imudp
$UDPServerRun 514

# Provides TCP syslog reception     #若启用TCP进行传输,则取消下面两行的注释
#$ModLoad imtcp
#$InputTCPServerRun 514

//在$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat 这一行下添加如下配置

$template myFormat,"%timestamp% %fromhost-ip% %syslogtag% %msg%\n"
$ActionFileDefaultTemplate myFormat

# This one is the template to generate the log filename dynamically, depending on the client's IP address. 
# 根据客户端的IP单独存放主机日志在不同目录,设置远程日志存放路径及文件名格式 
$template Remote,"/data/logs/syslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
# Log all messages to the dynamically formed file.
# 排除本地主机IP日志记录,只记录远程主机日志
:fromhost-ip, !isequal, "127.0.0.1" ?Remote
# 注意此规则需要在其它规则之前,否则配置没有意义,远程主机的日志也会记录到Server的日志文件中
# 忽略之前所有的日志,远程主机日志记录完之后不再继续往下记录
& ~

//修改完成如下图所示。

备注:为尽量避免修改主配置文件,可在/etc/rsyslog.d/中新建conf配置文件。


3.重启rsyslog服务

systemctl restart rsyslog
netstat -anp|grep 514

备注:Server端服务器防火墙开启的状态下需要放开UDP514端口,或者关闭防火墙。


四、Client客户端配置

## CentOS7系统默认是安装rsyslog,若无请参考Server服务端的步骤。

1.修改配置文件

## 备份rsyslog配置文件

cp /etc/rsyslog.conf /etc/rsyslog.conf.bak

## 修改配置文件

vi /etc/rsyslog.conf

//添加自定义日志模板,在$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat 这一行下添加如下配置

## 自定义日志格式
$template myFormat,"%timestamp% %fromhost-ip% %msg%\n"

//修改远程rsyslog服务器信息,在配置文件末尾添加如下配置

## 将系统上定义传输的各种日志消息路由到远程rsyslog服务器(192.168.168.100)的UDP端口514。‘@’表示通过udp传输。注:‘@@’表示通过tcp传输。
*.*  @192.168.168.100:514


2.重启rsyslog服务

systemctl restart rsyslog


五、验证

1.在服务端查看是否在日志目录里正常生成客户端日志

2.在客户端生成日志,是否日志同步

## 客户端日志

## 服务端日志

## 由上面两张截图可以看出,日志服务端和客户端日志已同步。

相关推荐

IM群聊消息如此复杂,如何保证不丢不重?

群聊是多人社交的基本诉求,不管是QQ群,还是微信群,一个群友在群内发了一条消息:(1)在线的群友能第一时间收到消息(2)离线的群友能在登陆后收到消息群消息的复杂度要远高于单对单消息。群消息的实时性,可...

Python 网络爬虫实战:从零到部署的完整流程

适用人群:初-中级Python开发者、数据分析师、运维/测试自动化工程师工具栈:Python3.11+requests+BeautifulSoup/lxml+pandas+(...

用上Kiro之后,完全没理由为Cursor续费了

替Cursor续费前最后一秒,免费IDEKiro把钱包按死在屏幕前五位数年费的AI编程助手,被一匹黑马零元秒杀。用过Kiro的人,开note第一件事就是删掉Cursor的自动续费,动作快到连...

分布式微服务中的搜索引擎:架构与实战盘点

01、为什么微服务需要分布式搜索?在单体应用时代,我们通常使用单一数据库的全文检索功能(如MySQL的LIKE语句)或简单的搜索引擎(如早期的Lucene)。但随着业务规模扩大,这种架构暴露出诸多问题...

产品列表获取API接口详解

在现代软件开发中,API(应用程序编程接口)是获取产品列表的核心工具,它允许开发者从远程服务器高效地检索数据。本文将逐步介绍如何设计和使用产品列表获取API接口,包括核心概念、实现步骤、代码示例以及最...

企业和个人基于业务知识和代码库增强的大模型生成代码实践

作者:京东零售杨亚龙1.源起李明是今年刚加入某互联网公司的研发新人,满怀期待地开始了他的职业生涯。然而,短短两周后,他的热情就被现实浇了一盆冷水。第一周:当他第一次接手需求时,mentor只是简单...

从零到一:独立运行若依框架系统并进行本地二次开发

####一、环境准备1.**基础环境**:-JDK1.8+(推荐JDK17)-Maven3.6+-MySQL5.7+(推荐8.0)-Redis5.0+-Node.js16...

一文教你高效优化在Spring Boot3中遇到深度分页查询性能难题?

你有没有这样的经历?在使用SpringBoot3开发项目时,深度分页查询操作让程序运行得越来越慢,页面加载时间变得难以忍受,不仅影响用户体验,还可能导致项目进度受阻。明明代码逻辑看起来没问题,可...

JAVA面试|如何优化limit分页

我们来详细通俗地聊聊如何优化LIMIToffset,size分页。核心问题在于OFFSET的值很大时,性能会急剧下降。想象一下数据库的工作方式,你就明白为什么了。一、为什么OFFSET大时慢?假...

MySQL(143)如何优化分页查询?

优化分页查询是提升数据库性能和用户体验的重要手段。特别是在处理大数据集时,分页查询的效率对系统性能有显著影响。以下是优化分页查询的详细步骤和代码示例。一、传统分页查询传统的分页查询使用OFFSET...

Seata概述

什么是SeataSeata是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务也是SpringCloudAlibaba提供的组件Seata官方文档https...

Docmost:一款开源的Wiki和文档协作软件

是一款开源的团队协作Wiki与文档管理工具,定位为Confluence和Notion的开源替代品,专注于提供高效、安全且可定制的知识库解决方案。Docmost的核心优势在于开源免...

B端系统管理「字典管理」模块实战指南

字典管理听起来像“后端杂务”,其实是B端系统配置能力的关键支点。本指南将从真实业务场景出发,系统拆解该模块的设计逻辑、关键字段与典型坑位,让你一文读懂如何搭建一个能跑得久、配得稳的字典模块。一、字典管...

Spring Boot 整合 Redis BitMap 实现 签到与统计

要在SpringBoot中实现RedisBitMap来进行签到和统计,您需要按照以下步骤进行操作:添加Redis依赖:在pom.xml文件中添加Redis依赖:<dependen...

周期性清除Spark Streaming流状态的方法

在SparkStreaming程序中,我们经常需要使用有状态的流来统计一些累积性的指标,比如各个商品的PV。简单的代码描述如下,使用mapWithState()算子:valproductPvSt...

取消回复欢迎 发表评论: