百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

尽可能通用的运维CMDB的设计与实践

mhr18 2024-12-13 13:01 36 浏览 0 评论

CMDB是配置管理数据库的简称,本文所阐述的CMDB只专注于存储运维相关的资源数据,有别于应用系统的配置管理。实际上企业一般都是自己内部的运维团队按照公司的运维场景需求设计和构建的CMDB,因为很少能有开源产品能满足他们的需求,或者是个性化的需求二次开发比较难易实现,所以他们都选择了自主研发,而不是使用开源!

因此,要实现一个尽可能通用、灵活、可扩展的运维资源数据的配置和管理系统,系统必须要满足:

1. 运维人员能根据企业的应用场景和需求,自己去构建存储的数据模型,以及模型之间的关系

2. 提供丰富的API,尤其是在数据和关系检索要做到通用,便于二次开发

3. 用户可以方便的订阅自己关心的数据

基于上述理念,设计并实现了一个CMDB,并开源出来,希望能得到大家的积极反馈,系统将持续不断的改进,UI上还有大量工作需要去完成。

源码: https://github.com/pycook/cmdb

具体安装和使用见README

总体架构

如图1,CMDB自下而上被划分为4层: 存储层、数据层、API、UI,图中的CIType可以理解为数据模型,例如物理机、虚拟机、应用、网卡、软件等。CI是配置项,即CIType的实例, 例如具体的1台物理机就是1个CI。下面概要介绍一下这4层。

存储层:主要用来存储CIType和CI,以及它们之间的关系。

· Mysql: 所有数据的持久化存储

· Redis: 数据缓存,主要是用户、属性、CIType、权限等的数据缓存,减少Mysql访问压力,提升API的响应速度

· Elasticsearch: 主要存储CI的实例数据,用来检索CI。实际上ES是一个可选的方案,CI数据的检索默认是通过Mysql+Redis来实现的,当然CI的实例数若超过一定数量级,考虑到查询效率,建议使用ES。

数据层:描述了模型数据和实例数据,以及它们之间的关系。在这一层首先需要运维按照具体的应用场景来完成模型的构建。模型包括属性,属性有不同的值的类型,且有一些检验规则,比如唯一、必须等的校验,在系统层面避免脏数据的录入。总结下来,运维CMDB实际上主要包括下面4种类型的数据:

1. 硬件数据:物理机、宿主机、机柜、网络设备、网卡、硬盘、内存等等

2. 软件数据:docker、mysql、redis、tomcat等等

3. 业务数据:应用、产品线、事业部等等

4. 关系数据:上面3种类型数据之间的关系

当然,每个公司的运维场景各异,用户都可以按照自己的需求来设计数据模型。

API层: 对UI提供一套统一、透明的调用接口,对下层各数据模块实行接口抽象与封装。要尽可能实现通用,要求CI和CI relation的查询API必须做到通用和灵活,要考虑到用户各种各样的查询需求,本系统实现了对应的2个API,基本上满足了前端对数据查询的所有需求。

UI层: 实际上就是web portal,用户直接访问CMDB的门户。核心功能主要包括:模型配置、资源视图、关系视图、树形视图和权限管理这5个核心模块。下面将对这5个功能模块进行阐述。

模型配置


除非是大型的成熟的企业,否则很难在开始就完全能够定义清楚运维的数据模型。因为企业在不断成长和发展的过程中,运维的场景和需求也是在不断的变化的,所以,通用的CMDB一定要能够让管理员方便对CIType进行动态的修改。如图2所示, 要完成动态建模,至少要能增删改CIType,给CIType定义属性,也可以从属性库直接复用已存在的属性,属性可以有校验规则,以便尽可能保证数据的准确性。属性值的类型支持以下5种:

1)整数类型

2)浮点数

3)日期类型: date, datetime, time

4)文本类型

5)json类型

此外,还可以构建CIType之间的关系,比如事业部包含产品线,产品线包含应用,应用部署在物理机,应用部署在docker上。


上图3和图4分别是对CIType的增删改和CIType的属性进行定义。下图5则是对关系视图进行定义,比如构建服务树,这个将在下面关系视图进行详细的阐述。

资源视图

资源视图即CI数据的检索。为了保证系统的通用、灵活,CI数据检索的API要能按照CI的属性进行各种条件过滤查询,而且这个API要尽可能覆盖用户不同的查询需求。CI的通用查询API实现了搜索表达式的查询,表达式支持AND、OR、NOT、IN、RANGE、COMPARISON的组合查询,如图6所示。具体的CI查询API使用说明见:

https://github.com/pycook/cmdb/blob/master/docs/cmdb_query_api.md

如图7,用户能够订阅自己关心的资源视图,比如物理机、应用等。图8则是用户订阅的资源视图的数据展示,我们可以根据属性字段查询,另外也提供了批量修改、下载、删除等操作,也可以查看CI的生命周期,以及它的关联CI。


树形视图

树形视图实际上是资源视图按照树形目录的方式来进行展示。 用户可以订阅某一个CIType按照不同属性分level来展示,比如物理机,我们可以定义: IDC -> 环境 -> 状态 3个属性分层的视图,如图9所示,用树形展示。这样方便了不同角色的用户可以按需来设计资源的统计展示方式,树形视图是单类CI实例数据的展示,不涉及到CI之间关系。

关系视图

关系视图是CI之间的关系,并用树形的方式来进行呈现。同样为了保证系统的通用性,CI关系查询和CI实例的查询API一样要灵活且通用,本系统实现的CI关系查询API是使用方法类似于上文提到的CI的查询API,只不过多了2个参数:root_id 搜索的根节点的ci_id和level搜索的层级,也就是说可以从某一个CI出发,去查询离该CI任一level的CI,如图10所示。从根节点root出发可以搜索level=1的关系节点,也可以直接搜索level=2或者n的任一一层节点。具体的API使用说明见:

https://github.com/pycook/cmdb/blob/master/docs/cmdb_query_api.md


关系视图是由管理员根据需求来进行定义,然后授权给不同的角色来使用。举个例子: 事业部 -> 产品线 -> 应用 定义这样的一个关系视图,我们命名为服务树, 树的节点是这3层CI, 具体的数据展示是应用下面的所有资源,可以是物理机,也可以是docker,如图11所示。

权限管理

权限管理:系统提供了基于角色的访问权限控制,支持角色继承,其设计也是比较灵活,可以按需实现比较细粒度的权限控制,目前可以按照CIType和关系视图来进行权限控制,主要包括增、删、改、查的权限控制。

相关推荐

保持SSH隧道活跃:一个实用的Bash监控脚本

引言如果您正在使用AWSDocumentDB或任何位于堡垒主机后面的云托管服务等远程资源,您可能正在使用SSH隧道来安全地访问它们。虽然设置SSH隧道很简单,但保持其活跃状态并监控其状态可能会有些棘...

京东大佬问我,为什么说连接池是微服务的关键,你是如何理解的?

京东大佬问我,为什么说连接池是微服务的关键,你是如何理解的?我应该如何理解。首先,我需要回忆一下连接池和微服务的基本概念,然后思考它们在微服务架构中的作用和重要性。连接池,数据库连接池,用来管理数据库...

OOM 血案:5 小时绝地求生,MAT+Arthas 终极排查指南

一、血案现场:线上服务突然暴毙2025年4月12日凌晨3点15分,服务突发大规模OOM,三个Pod在10分钟内连续崩溃,Prometheus告警显示JVM堆内存使用率...

记Tomcat优化方案

Tomcat服务吞吐量评估方案问题:评估方案在一台8核16G的linux服务器上,使用tomcat容器部署服务。在正常情况下如何评估这个tomcat服务可处理的连接数,即服务的吞吐量,请在正常情况下考...

Java高级面试,常见数据结构的实现原理详细说明及面试总结

一、List接口实现类1.ArrayList底层结构:动态数组(Object[]数组)。核心原理:o动态扩容:初始容量为10(JDK1.8),当元素超过容量时,新容量为原容量的1.5倍(old...

SpringBoot敏感配置项加密与解密实战

一、为什么要加密配置?先说说SpringBoot的配置加载机制。我们知道,SpringBoot支持多种配置加载方式,优先级从高到低大概是:命令行参数环境变量application-{profile}....

【面试题】nacos 配置管理类型-主配置、共享配置、扩展配置

nacos配置管理类型-主配置、共享配置、扩展配置Nacos的配置管理支持多种类型,其中共享配置及其扩展机制(如shared-configs和extension-configs)是微服...

Spring Boot 的 RedisAutoConfiguration 配置:自动装配到自定义扩展

在SpringBoot开发中,Redis作为高性能缓存和分布式数据存储方案被广泛使用。而RedisAutoConfiguration作为SpringBoot自动装配体系的重要组成部分,能...

Docker图像处理:扩展您的优化工作流程

随着应用程序的增长和图像处理需求的增加,传统的优化方法遇到了扩展瓶颈。内存限制、环境不一致和处理瓶颈将图像优化从一个已解决的问题变成了生产环境的噩梦。Docker改变了游戏规则。通过容器化图像处理工作...

掌握 Spring 框架这 10 个扩展点,让你的能力更上一层楼

当我们提到Spring时,或许首先映入脑海的是IOC(控制反转)和AOP(面向切面编程)。它们可以被视为Spring的基石。正是凭借其出色的设计,Spring才能在众多优秀框架中脱颖而出...

简简单单在线文件浏览的功能搞起来很头疼

您的系统支持在线预览文件吗?一个小小的问题,背后是无数程序员的爆肝研究,有人说了,我平时打开个文件不是很容易吗?其实不然。文件格式代表着软件行业的底层、高端产出,也代表着经久不衰的使用场景,也是我国底...

没硬盘、网盘也能看片自由!NAS一键部署MoonTV,随时随地爽看。

本内容来源于@什么值得买APP,观点仅代表作者本人|作者:羊刀仙有没有一个应用服务,能满足既没有足够预算购置硬盘,也不想依托网盘的朋友的家庭观影需求?之前我介绍过LibreTV,本篇再来看看另一个更...

阿里云ECS代理商:如何使用ECS部署Node.js应用?

Node.js作为一种高性能、事件驱动的JavaScript运行环境,广泛用于构建实时通信、微服务接口、后台管理系统等现代Web应用。而阿里云ECS服务器以高可用性、灵活配置、安全稳定等优势,为部署N...

阿里云数据库代理商:如何提高数据库的查询效率?

在现代企业应用中,数据库查询效率对整体系统性能的影响巨大。特别是随着数据量的不断增加,如何提升数据库查询的响应速度,成为了数据库优化的关键任务。阿里云提供了一系列工具和策略,帮助用户提升数据库的查询效...

阿里云代理商:阿里云G6ne实例如何承载1.4亿QPS?

一、阿里云G6ne实例概述1.1G6ne实例的背景与定位阿里云G6ne实例是基于阿里云自主研发的“飞天”架构设计的高性能云服务器实例,专为大规模、需要高IOPS和低延迟的业务场景设计。它采用了更强大的...

取消回复欢迎 发表评论: