百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

redis管理平台repoll之Redis单机启动附源码实现

mhr18 2024-11-06 11:02 41 浏览 0 评论


前言

repoll目前还在功能开发阶段repoll是使用django编写的redis一站式运维管理平台,为Redis标准化运维而生。目前支持Standalone、Sentinel以及Cluster的自动部署、提供服务器资源池管理、监控、运维功能,减少运维成本和误操作,提高机器的利用率,提供灵活的伸缩性。

传送门:https://github.com/NaNShaner/repoll

前文介绍了如何进行Redis资源的申请、审批,如有疑问可以看之前的文档,这篇来介绍平台中如何来进行单机实例的配置上线,以及代码逻辑的实现。

*全文阅读预计耗时15分钟*


Redis资源配置上线

  • 配置上线
  1. 查看待上线实例列表

点击Redis上线配置,查看当前已通过审批但未配置上线的实例列表,该视图主要服务于DBA或者运维Redis平台的运维人员。


  1. 操作配置,完成上线部署

配置规则

点击实例名称进入配置页面,针对实例配置的规则如下图所示,本文重点介绍单机版的Redis实例如何完成上线配置。standalone类型具体规则如下:

masterIp:masterPort:memSize(M) (例如:192.168.1.2:6379:2048,意思是在192.168.1.2这台资源池的机器上启动一个6379端口的redis实例,该实例的最大内存上线为2048M)



只能在资源池的机器中新建实例

如在配置中使用了资源池以外的机器,报错如下图所示,这里是因为所选机器没有事先在资源池服务器列表中进行配置:



代码实现

  1. 先看前端的实现:

前端实现了如下3个核心功能,展示审批后的Redis实例列表,配置实例的逻辑规则以及配置过程中的异常校验提示。


关于实例列表

django 提供了几乎完美的admin后台,repoll只是拿来主义的践行者,完整代码在这里 https://github.com/NaNShaner/repoll/blob/master/polls/admin.py

class RedisApprovalAdmin(admin.ModelAdmin):

    def has_add_permission(self, request):

        """

        禁用添加按钮

        :param request:

        :return:

        """

        return False

    def has_delete_permission(self, request, obj=None):

        """

        禁用删除按钮

        :param request:

        :param obj:

        :return:

        """

        return False

    def get_actions(self, request):

        """

        在actions中去掉‘删除’操作

        :param request:

        :return:

        """

        actions = super(RedisApprovalAdmin, self).get_actions(request)

        if request.user.username[0].upper() != 'J':

            if 'delete_selected' in actions:

                del actions['delete_selected']

        return actions

    def get_queryset(self, request):

        """函数作用:使当前登录的用户只能看到自己负责的实例"""

        qs = super(RedisApprovalAdmin, self).get_queryset(request)

        if request.user.is_superuser:

            return qs

        return qs.filter(create_user=RedisApply.objects.filter(create_user=request.user))

    def get_form(self, request, obj=None, **args):

        """审批拒绝的实例,DBA无法进行配置上线,填写配置的文本框不可见"""

        defaults = {}

        if obj.ins_status == 4:    # 如实例审批状态为已拒绝则不关联配置文本框

            self.inlines = []

        else:

            self.inlines = [ChoiceInline]

        defaults.update(args)

        return super(RedisApprovalAdmin, self).get_form(request, obj, **defaults)

    list_display = ['id', 'redis_ins_name', 'ins_disc', 'redis_type',

                    'redis_mem', 'sys_author', 'area',

                    'pub_date', 'approval_user', 'ins_status', 'on_line_status'

                    # 'show_all_ip', 'ins_status_color'

                    ]

    list_filter = ['redis_type']

    search_fields = ['area', 'ins_status']

    actions = ['apply_selected_new_redis', 'deny_selected_new_redis']

    list_per_page = 15

    readonly_fields = ['redis_ins_name', 'ins_disc', 'redis_version', 'redis_type',

                       'redis_mem', 'sys_author', 'area', 'pub_date', 'approval_user',

                       'ins_status', 'on_line_status']

    list_display_links = ('id', 'redis_ins_name')

    fieldsets = [

        ('所属系统', {'fields': ['redis_ins_name', 'ins_disc', 'area']}),

        ('Redis实例详情', {'fields': ['redis_version', 'redis_type', 'redis_mem']}),

        ('Redis申请信息', {'fields': ['approval_user', 'sys_author', 'ins_status', 'pub_date']}),

    ]

    # 审核项有且只能有一条记录

    ChoiceInline.max_num = 1

这里详细讲解一下代码中get_form函数的实现如审批拒绝在配置的界面是无法看到配置规则的文本框的,该功能的实现完全依赖django框架实现,不需要前端的知识(笔者前端属于文盲。。。)

函数作用

该函数实现中在前端表单显示样式上根据函数逻辑来判断具体显示的字段,即重写表单样式。

功能详解


:request: 当前wsgi的request对象

:obj: 当前类的models对象,在这里指代RedisIns model

:args: bools类型,是否重写样式,默认为true

代码实现

def get_form(self, request, obj=None, **args):

        defaults = {}	# 默认前端展示的字段信息

        if obj.ins_status == 4:    # 如实例审批状态为已拒绝则不关联配置文本框,这里的obj对象是modules中的RedisIns,ins_status为moduls里定义的Redis实例的审批状态,状态共有5种,0,已上线、1,已下线、2,未审批、3,已审批、4,已拒绝,这里的4指的是已拒绝的状态

            self.inlines = []		# 已拒绝状态,不设置内联样式

        else:

            self.inlines = [ChoiceInline]   # 如果实例审批是通过的,则设置内联样式即在前端显示审批文本框,这里的ChoiceInline是在 class ChoiceInline(admin.StackedInline):定义的

        defaults.update(args)

        return super(RedisApprovalAdmin, self).get_form(request, obj, **defaults)	#调用父函数指定样式重写操作

关于审批文本框的实现

废话不多这里如下代码是审批文本的数据库表结构,当DBA或者运维对一个经过审批并通过的实例配置上线时,将通过django实现对数据库中ApplyRedisText这张表进行入库。

此时借用django的信号功能实现在目标服务器上启动一个单机的Redis实例。关于django信号功能可参阅刘江老师博客(https://www.liujiangblog.com/course/django/170)

class ApplyRedisText(models.Model):

    """用于DBA配置已审批通过的Redis实例"""

    redis_ins = models.ForeignKey(RedisIns, to_field="redis_ins_name", on_delete=models.CASCADE)

    apply_text = models.TextField(max_length=250, verbose_name="实例详情",

                                  blank=True, null=True, help_text="具体规则如下: </br>"

                                                                   "1. standalone类型:</br>"

                                                                   "masterIp:masterPort:memSize(M)(例如:10.10.xx.xx:2048)</br>"

                                                                   "2. sentinel类型:</br>"

                                                                   "masterIp:masterPort:memSize(M):masterName:slaveIp:slavePort</br>"

                                                                   "sentinelIp1:sentinelPort1</br>"

                                                                   "sentinelIp2:sentinelPort2</br>"

                                                                   "sentinelIp3:sentinelPort3</br>"

                                                                   "3. Cluster类型:(集群各实例端口不建议大于50000)</br>"

                                                                   "master1Ip:master1Port:memSize(M):slave1Ip:slave1Port</br>" 

                                                                   "master2Ip:master2Port:memSize(M):slave2Ip:slave2Port</br>" 

                                                                   "master3Ip:master3Port:memSize(M):slave3Ip:slave3Port</br>",

                                  error_messages={'required': "不能为空"},

                                  validators=[redis_apply_text])

    who_apply_ins = models.CharField(max_length=50, default="", verbose_name="审批人")

    apply_time = models.DateTimeField(verbose_name="审批时间", default=timezone.now)

关于对审批文本的逻辑校验

完整代码在这里(https://github.com/NaNShaner/repoll/blob/master/polls/tools.py),这里tools模块实现了对审批文本的3层校验,代码有些长有兴趣的朋友可以看看模块中的redis_apply_text函数的实现。



启动单机版Redis实例

完整代码在这里(https://github.com/NaNShaner/repoll/blob/master/polls/handlers.py),主要的实现在apply_redis_text_handler函数中,单机Redis的实现主要实现如下

if redis_ins_type == 'Redis-Standalone':	# 判断Redis的模式

        redis_ip = redis_apply_text_split['redis_ip']		# 获取前端输入的目标服务器IP

        redis_port = redis_apply_text_split['redis_port']	# 获取前端输入的Redis的端口

        a = RedisStandalone(redis_ins=redis_ins_obj,	# 实例化启动单机Redis的类

                            redis_ins_name=redis_ins_obj_name,

                            redis_ins_type=redis_ins_type,

                            redis_ins_mem=redis_apply_text_split['redis_mem'],

                            redis_ip=redis_ip,

                            redis_port=redis_port)

        a.saved_redis_running_ins()	# 入库单机Redis实例的信息

        if a.create_redis_conf_file():	# 根据平台的配置,创建单机Redis实例的配置文件,并将配置文件下发到目标服务器的指定目录下

            redis_start = RedisStartClass(host=redis_ip,	# 实例化启动Redis的工具类

                                          redis_server_ctl="/opt/repoll/redis/src/redis-server /opt/repoll/conf/" + str(redis_port) + ".conf")

            if redis_start.start_server():		# 执行启动Redis的命令

                logger.info("Redis 单实例启动成功,服务器IP:{0}, 启动端口为:{1}".format(redis_ip, redis_port))

            else:

                logging.info("Redis 单实例启动失败,服务器IP:{0}, 启动端口为:{1}".format(redis_ip, redis_port))

                raise ValidationError("redis 单实例启动失败")


总结

这里总结一下调用逻辑。

models提供了平台数据模型,定义了单机的Redis模型、审批模版的模型;

admin中定义了前端的展示,并实现了审批的逻辑,通过的进行配置上线,不通过的前端不可见;

handers里使用了信号的触发器,在前端完成配置上线后触发后端执行Redis的配置文件的生成、下发以及Redis的实例的启动;

tools里提供了以及工具函数,实现了配置文本的一些校验逻辑;

相关推荐

B站收藏视频失效?mybili 收藏夹备份神器完整部署指南

本内容来源于@什么值得买APP,观点仅代表作者本人|作者:羊刀仙很多B站用户都有过类似经历:自己精心收藏的视频突然“消失”,点开一看不是“已被删除”,就是“因UP主设置不可见”。而B站并不会主动通知...

中间件推荐初始化配置

Redis推荐初始化配置bind0.0.0.0protected-modeyesport6379tcp-backlog511timeout300tcp-keepalive300...

Redis中缓存穿透问题与解决方法

缓存穿透问题概述在Redis作为缓存使用时,缓存穿透是常见问题。正常查询流程是先从Redis缓存获取数据,若有则直接使用;若没有则去数据库查询,查到后存入缓存。但当请求的数据在缓存和数据库中都...

后端开发必看!Redis 哨兵机制如何保障系统高可用?

你是否曾在项目中遇到过Redis主服务器突然宕机,导致整个业务系统出现数据读取异常、响应延迟甚至服务中断的情况?面对这样的突发状况,作为互联网大厂的后端开发人员,如何快速恢复服务、保障系统的高可用...

Redis合集-大Key处理建议

以下是Redis大Key问题的全流程解决方案,涵盖检测、处理、优化及预防策略,结合代码示例和最佳实践:一、大Key的定义与风险1.大Key判定标准数据类型大Key阈值风险场景S...

深入解析跳跃表:Redis里的&quot;老六&quot;数据结构,专治各种不服

大家好,我是你们的码农段子手,今天要给大家讲一个Redis世界里最会"跳科目三"的数据结构——跳跃表(SkipList)。这货表面上是个青铜,实际上是个王者,连红黑树见了都要喊声大哥。...

Redis 中 AOF 持久化技术原理全解析,看完你就懂了!

你在使用Redis的过程中,有没有担心过数据丢失的问题?尤其是在服务器突然宕机、意外断电等情况发生时,那些还没来得及持久化的数据,是不是让你夜不能寐?别担心,Redis的AOF持久化技术就是...

Redis合集-必备的几款运维工具

Redis在应用Redis时,经常会面临的运维工作,包括Redis的运行状态监控,数据迁移,主从集群、切片集群的部署和运维。接下来,从这三个方面,介绍一些工具。先来学习下监控Redis实时...

别再纠结线程池大小 + 线程数量了,没有固定公式的!

我们在百度上能很轻易地搜索到以下线程池设置大小的理论:在一台服务器上我们按照以下设置CPU密集型的程序-核心数+1I/O密集型的程序-核心数*2你不会真的按照这个理论来设置线程池的...

网络编程—IO多路复用详解

假如你想了解IO多路复用,那本文或许可以帮助你本文的最大目的就是想要把select、epoll在执行过程中干了什么叙述出来,所以具体的代码不会涉及,毕竟不同语言的接口有所区别。基础知识IO多路复用涉及...

5分钟学会C/C++多线程编程进程和线程

前言对线程有基本的理解简单的C++面向过程编程能力创造单个简单的线程。创造单个带参数的线程。如何等待线程结束。创造多个线程,并使用互斥量来防止资源抢占。会使用之后,直接跳到“汇总”,复制模板来用就行...

尽情阅读,技术进阶,详解mmap的原理

1.一句话概括mmapmmap的作用,在应用这一层,是让你把文件的某一段,当作内存一样来访问。将文件映射到物理内存,将进程虚拟空间映射到那块内存。这样,进程不仅能像访问内存一样读写文件,多个进程...

C++11多线程知识点总结

一、多线程的基本概念1、进程与线程的区别和联系进程:进程是一个动态的过程,是一个活动的实体。简单来说,一个应用程序的运行就可以被看做是一个进程;线程:是运行中的实际的任务执行者。可以说,进程中包含了多...

微服务高可用的2个关键技巧,你一定用得上

概述上一篇文章讲了一个朋友公司使用SpringCloud架构遇到问题的一个真实案例,虽然不是什么大的技术问题,但如果对一些东西理解的不深刻,还真会犯一些错误。这篇文章我们来聊聊在微服务架构中,到底如...

Java线程间如何共享与传递数据

1、背景在日常SpringBoot应用或者Java应用开发中,使用多线程编程有很多好处,比如可以同时处理多个任务,提高程序的并发性;可以充分利用计算机的多核处理器,使得程序能够更好地利用计算机的资源,...

取消回复欢迎 发表评论: