百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

redis管理平台repoll之Redis单机启动附源码实现

mhr18 2024-11-06 11:02 51 浏览 0 评论


前言

repoll目前还在功能开发阶段repoll是使用django编写的redis一站式运维管理平台,为Redis标准化运维而生。目前支持Standalone、Sentinel以及Cluster的自动部署、提供服务器资源池管理、监控、运维功能,减少运维成本和误操作,提高机器的利用率,提供灵活的伸缩性。

传送门:https://github.com/NaNShaner/repoll

前文介绍了如何进行Redis资源的申请、审批,如有疑问可以看之前的文档,这篇来介绍平台中如何来进行单机实例的配置上线,以及代码逻辑的实现。

*全文阅读预计耗时15分钟*


Redis资源配置上线

  • 配置上线
  1. 查看待上线实例列表

点击Redis上线配置,查看当前已通过审批但未配置上线的实例列表,该视图主要服务于DBA或者运维Redis平台的运维人员。


  1. 操作配置,完成上线部署

配置规则

点击实例名称进入配置页面,针对实例配置的规则如下图所示,本文重点介绍单机版的Redis实例如何完成上线配置。standalone类型具体规则如下:

masterIp:masterPort:memSize(M) (例如:192.168.1.2:6379:2048,意思是在192.168.1.2这台资源池的机器上启动一个6379端口的redis实例,该实例的最大内存上线为2048M)



只能在资源池的机器中新建实例

如在配置中使用了资源池以外的机器,报错如下图所示,这里是因为所选机器没有事先在资源池服务器列表中进行配置:



代码实现

  1. 先看前端的实现:

前端实现了如下3个核心功能,展示审批后的Redis实例列表,配置实例的逻辑规则以及配置过程中的异常校验提示。


关于实例列表

django 提供了几乎完美的admin后台,repoll只是拿来主义的践行者,完整代码在这里 https://github.com/NaNShaner/repoll/blob/master/polls/admin.py

class RedisApprovalAdmin(admin.ModelAdmin):

    def has_add_permission(self, request):

        """

        禁用添加按钮

        :param request:

        :return:

        """

        return False

    def has_delete_permission(self, request, obj=None):

        """

        禁用删除按钮

        :param request:

        :param obj:

        :return:

        """

        return False

    def get_actions(self, request):

        """

        在actions中去掉‘删除’操作

        :param request:

        :return:

        """

        actions = super(RedisApprovalAdmin, self).get_actions(request)

        if request.user.username[0].upper() != 'J':

            if 'delete_selected' in actions:

                del actions['delete_selected']

        return actions

    def get_queryset(self, request):

        """函数作用:使当前登录的用户只能看到自己负责的实例"""

        qs = super(RedisApprovalAdmin, self).get_queryset(request)

        if request.user.is_superuser:

            return qs

        return qs.filter(create_user=RedisApply.objects.filter(create_user=request.user))

    def get_form(self, request, obj=None, **args):

        """审批拒绝的实例,DBA无法进行配置上线,填写配置的文本框不可见"""

        defaults = {}

        if obj.ins_status == 4:    # 如实例审批状态为已拒绝则不关联配置文本框

            self.inlines = []

        else:

            self.inlines = [ChoiceInline]

        defaults.update(args)

        return super(RedisApprovalAdmin, self).get_form(request, obj, **defaults)

    list_display = ['id', 'redis_ins_name', 'ins_disc', 'redis_type',

                    'redis_mem', 'sys_author', 'area',

                    'pub_date', 'approval_user', 'ins_status', 'on_line_status'

                    # 'show_all_ip', 'ins_status_color'

                    ]

    list_filter = ['redis_type']

    search_fields = ['area', 'ins_status']

    actions = ['apply_selected_new_redis', 'deny_selected_new_redis']

    list_per_page = 15

    readonly_fields = ['redis_ins_name', 'ins_disc', 'redis_version', 'redis_type',

                       'redis_mem', 'sys_author', 'area', 'pub_date', 'approval_user',

                       'ins_status', 'on_line_status']

    list_display_links = ('id', 'redis_ins_name')

    fieldsets = [

        ('所属系统', {'fields': ['redis_ins_name', 'ins_disc', 'area']}),

        ('Redis实例详情', {'fields': ['redis_version', 'redis_type', 'redis_mem']}),

        ('Redis申请信息', {'fields': ['approval_user', 'sys_author', 'ins_status', 'pub_date']}),

    ]

    # 审核项有且只能有一条记录

    ChoiceInline.max_num = 1

这里详细讲解一下代码中get_form函数的实现如审批拒绝在配置的界面是无法看到配置规则的文本框的,该功能的实现完全依赖django框架实现,不需要前端的知识(笔者前端属于文盲。。。)

函数作用

该函数实现中在前端表单显示样式上根据函数逻辑来判断具体显示的字段,即重写表单样式。

功能详解


:request: 当前wsgi的request对象

:obj: 当前类的models对象,在这里指代RedisIns model

:args: bools类型,是否重写样式,默认为true

代码实现

def get_form(self, request, obj=None, **args):

        defaults = {}	# 默认前端展示的字段信息

        if obj.ins_status == 4:    # 如实例审批状态为已拒绝则不关联配置文本框,这里的obj对象是modules中的RedisIns,ins_status为moduls里定义的Redis实例的审批状态,状态共有5种,0,已上线、1,已下线、2,未审批、3,已审批、4,已拒绝,这里的4指的是已拒绝的状态

            self.inlines = []		# 已拒绝状态,不设置内联样式

        else:

            self.inlines = [ChoiceInline]   # 如果实例审批是通过的,则设置内联样式即在前端显示审批文本框,这里的ChoiceInline是在 class ChoiceInline(admin.StackedInline):定义的

        defaults.update(args)

        return super(RedisApprovalAdmin, self).get_form(request, obj, **defaults)	#调用父函数指定样式重写操作

关于审批文本框的实现

废话不多这里如下代码是审批文本的数据库表结构,当DBA或者运维对一个经过审批并通过的实例配置上线时,将通过django实现对数据库中ApplyRedisText这张表进行入库。

此时借用django的信号功能实现在目标服务器上启动一个单机的Redis实例。关于django信号功能可参阅刘江老师博客(https://www.liujiangblog.com/course/django/170)

class ApplyRedisText(models.Model):

    """用于DBA配置已审批通过的Redis实例"""

    redis_ins = models.ForeignKey(RedisIns, to_field="redis_ins_name", on_delete=models.CASCADE)

    apply_text = models.TextField(max_length=250, verbose_name="实例详情",

                                  blank=True, null=True, help_text="具体规则如下: </br>"

                                                                   "1. standalone类型:</br>"

                                                                   "masterIp:masterPort:memSize(M)(例如:10.10.xx.xx:2048)</br>"

                                                                   "2. sentinel类型:</br>"

                                                                   "masterIp:masterPort:memSize(M):masterName:slaveIp:slavePort</br>"

                                                                   "sentinelIp1:sentinelPort1</br>"

                                                                   "sentinelIp2:sentinelPort2</br>"

                                                                   "sentinelIp3:sentinelPort3</br>"

                                                                   "3. Cluster类型:(集群各实例端口不建议大于50000)</br>"

                                                                   "master1Ip:master1Port:memSize(M):slave1Ip:slave1Port</br>" 

                                                                   "master2Ip:master2Port:memSize(M):slave2Ip:slave2Port</br>" 

                                                                   "master3Ip:master3Port:memSize(M):slave3Ip:slave3Port</br>",

                                  error_messages={'required': "不能为空"},

                                  validators=[redis_apply_text])

    who_apply_ins = models.CharField(max_length=50, default="", verbose_name="审批人")

    apply_time = models.DateTimeField(verbose_name="审批时间", default=timezone.now)

关于对审批文本的逻辑校验

完整代码在这里(https://github.com/NaNShaner/repoll/blob/master/polls/tools.py),这里tools模块实现了对审批文本的3层校验,代码有些长有兴趣的朋友可以看看模块中的redis_apply_text函数的实现。



启动单机版Redis实例

完整代码在这里(https://github.com/NaNShaner/repoll/blob/master/polls/handlers.py),主要的实现在apply_redis_text_handler函数中,单机Redis的实现主要实现如下

if redis_ins_type == 'Redis-Standalone':	# 判断Redis的模式

        redis_ip = redis_apply_text_split['redis_ip']		# 获取前端输入的目标服务器IP

        redis_port = redis_apply_text_split['redis_port']	# 获取前端输入的Redis的端口

        a = RedisStandalone(redis_ins=redis_ins_obj,	# 实例化启动单机Redis的类

                            redis_ins_name=redis_ins_obj_name,

                            redis_ins_type=redis_ins_type,

                            redis_ins_mem=redis_apply_text_split['redis_mem'],

                            redis_ip=redis_ip,

                            redis_port=redis_port)

        a.saved_redis_running_ins()	# 入库单机Redis实例的信息

        if a.create_redis_conf_file():	# 根据平台的配置,创建单机Redis实例的配置文件,并将配置文件下发到目标服务器的指定目录下

            redis_start = RedisStartClass(host=redis_ip,	# 实例化启动Redis的工具类

                                          redis_server_ctl="/opt/repoll/redis/src/redis-server /opt/repoll/conf/" + str(redis_port) + ".conf")

            if redis_start.start_server():		# 执行启动Redis的命令

                logger.info("Redis 单实例启动成功,服务器IP:{0}, 启动端口为:{1}".format(redis_ip, redis_port))

            else:

                logging.info("Redis 单实例启动失败,服务器IP:{0}, 启动端口为:{1}".format(redis_ip, redis_port))

                raise ValidationError("redis 单实例启动失败")


总结

这里总结一下调用逻辑。

models提供了平台数据模型,定义了单机的Redis模型、审批模版的模型;

admin中定义了前端的展示,并实现了审批的逻辑,通过的进行配置上线,不通过的前端不可见;

handers里使用了信号的触发器,在前端完成配置上线后触发后端执行Redis的配置文件的生成、下发以及Redis的实例的启动;

tools里提供了以及工具函数,实现了配置文本的一些校验逻辑;

相关推荐

如何检查 Linux 服务器是物理服务器还是虚拟服务器?

在企业级运维、故障排查和性能调优过程中,准确了解服务器的运行环境至关重要。无论是物理机还是虚拟机,都存在各自的优势与限制。在很多场景下,尤其是当你继承一台服务器而不清楚底层硬件细节时,如何快速辨识它是...

第四节 Windows 系统 Docker 安装全指南

一、Docker在Windows上的运行原理(一)架构限制说明Docker本质上依赖Linux内核特性(如Namespaces、Cgroups等),因此在Windows系统上无法直...

C++ std:shared_ptr自定义allocator引入内存池

当C++项目里做了大量的动态内存分配与释放,可能会导致内存碎片,使系统性能降低。当动态内存分配的开销变得不容忽视时,一种解决办法是一次从操作系统分配一块大的静态内存作为内存池进行手动管理,堆对象内存分...

Activiti 8.0.0 发布,业务流程管理与工作流系统

Activiti8.0.0现已发布。Activiti是一个业务流程管理(BPM)和工作流系统,适用于开发人员和系统管理员。其核心是超快速、稳定的BPMN2流程引擎。Activiti可以...

MyBatis动态SQL的5种高级玩法,90%的人只用过3种

MyBatis动态SQL在日常开发中频繁使用,但大多数开发者仅掌握基础标签。本文将介绍五种高阶技巧,助你解锁更灵活的SQL控制能力。一、智能修剪(Trim标签)应用场景:动态处理字段更新,替代<...

Springboot数据访问(整合Mybatis Plus)

Springboot整合MybatisPlus1、创建数据表2、引入maven依赖mybatis-plus-boot-starter主要引入这个依赖,其他相关的依赖在这里就不写了。3、项目结构目录h...

盘点金州勇士在奥克兰13年的13大球星 满满的全是...

见证了两个月前勇士与猛龙那个史诗般的系列赛后,甲骨文球馆正式成为了历史。那个大大的红色标志被一个字母一个字母地移除,在周四,一切都成为了过去式。然而这座,别名为“Roaracle”(译注:Roar怒吼...

Mybatis入门看这一篇就够了(mybatis快速入门)

什么是MyBatisMyBatis本是apache的一个开源项目iBatis,2010年这个项目由apachesoftwarefoundation迁移到了googlecode,并且改名为M...

Springboot数据访问(整合druid数据源)

Springboot整合druid数据源基本概念SpringBoot默认的数据源是:2.0之前:org.apache.tomcat.jdbc.pool.DataSource2.0及之后:com.z...

Linux 中的 &quot;/etc/profile.d&quot; 目录有什么作用 ?

什么是/etc/profile.d/目录?/etc/profile.d/目录是Linux系统不可或缺的一部分保留配置脚本。它与/etc/profile文件相关联,这是一个启动脚本,该脚...

企业数据库安全管理规范(企业数据库安全管理规范最新版)

1.目的为规范数据库系统安全使用活动,降低因使用不当而带来的安全风险,保障数据库系统及相关应用系统的安全,特制定本数据库安全管理规范。2.适用范围本规范中所定义的数据管理内容,特指存放在信息系统数据库...

Oracle 伪列!这些隐藏用法你都知道吗?

在Oracle数据库中,有几位特殊的“成员”——伪列,它们虽然不是表中真实存在的物理列,但却能在数据查询、处理过程中发挥出意想不到的强大作用。今天给大家分享Oracle伪列的使用技巧,无论...

Oracle 高效处理数据的隐藏神器:临时表妙用

各位数据库搬砖人,在Oracle的代码世界里闯荡,处理复杂业务时,是不是总被数据“搅得头大”?今天给大家安利一个超实用的隐藏神器——临时表!当你需要临时存储中间计算结果,又不想污染正式数据表...

Oracle 数据库查询:多表查询(oracle多表关联查询)

一、多表查询基础1.JOIN操作-INNERJOIN:返回两个表中满足连接条件的匹配行,不保留未匹配数据。SELECTa.emp_id,b.dept_nameFROMempl...

一文掌握怎么利用Shell+Python实现多数据源的异地备份程序

简介:在信息化时代,数据安全和业务连续性已成为企业和个人用户关注的焦点。无论是网站数据、数据库、日志文件,还是用户上传的文档、图片等,数据一旦丢失,损失难以估量。尤其是当数据分布在多个不同的目录、服务...

取消回复欢迎 发表评论: