百度360必应搜狗淘宝本站头条
php redisredis 命令oracle位图索引redis 锁redis 主从
当前位置：网站首页 > 技术教程 > 正文

高计算性能redis集群方案（redis高性能的主要原因）

mhr18 2024-10-28 16:23 20 浏览 0 评论

高计算性能redis集群方案

背景

为更好的支撑数据对账功能的实现，复用redis的数据集合diff功能，对redis集群进行如下调整和优化。

节点变化

采用redis-cluster模式搭建六个主节点的集群(三台虚拟机，每台共64G内存)，每个节点分配内存20 G，集群总内存120G，CPU XX 核。由于该集群只用于数据的计算，对于读写分离的需求可忽略不计，所以不需要建设从节点。

参数调整

  1. appendonly：yes # 开启AOF持久化
  2. Appendsync：no#调用 fsync 函数，将缓冲区里面的命令写入到硬盘。
  3. # save 3600 1
  4. # save 300 100
  5. # save 60 10000
  6. save ""

如果集群发生异常，只需要程序重新写入即可，无需要恢复原有数据等内容，为了保证集群使用率最高，将持久化的AOF和RDF模式均改为关闭状态。如此一来，原单个redis节点最多使用内存为该机器的50%即可忽略，理论上可以提高到该机器的95%内存使用率。

代码编写

对两个集合进行差异化对比操作，传统的代码编写方式为

  1. redisTemplate.opsForValue().set(“list1”,“list2”);
  2. redisTemplate.opsForValue().differenceAndStore(“list1”,“list2”,”list3”);
  3. Set result =redisTemplate.opsForValue().members(“list3);

对于上述操作，可以将助lua脚本上传到redis服务器，让它在redis服务器上执行。因为脚本读写数据都是在服务器的本地内存，所以执行很高效。使用lua脚本来执行redis命令，有两个好处，也可以说是使用它的出发点：

高效。由于lua在服务器本地执行，省去了数据在网络上传输的开销。例如，将两个set求交集后的结果保存到新的set。

原子性。整个lua脚本和普通的单个redis命令一样，具有原子性。如果逻辑比较复杂，需要使用多条redis命令完成，而且又需要保证整个逻辑的原子性。lua脚本是不二选择。（与数据库事务的原子性不同，lua脚本不会回滚出错之前的写入）

参照：https://zhuanlan.zhihu.com/p/630484173

相关推荐

如何检查 Linux 服务器是物理服务器还是虚拟服务器?

在企业级运维、故障排查和性能调优过程中，准确了解服务器的运行环境至关重要。无论是物理机还是虚拟机，都存在各自的优势与限制。在很多场景下，尤其是当你继承一台服务器而不清楚底层硬件细节时，如何快速辨识它是...

第四节 Windows 系统 Docker 安装全指南

一、Docker在Windows上的运行原理（一）架构限制说明Docker本质上依赖Linux内核特性（如Namespaces、Cgroups等），因此在Windows系统上无法直...

C++ std:shared_ptr自定义allocator引入内存池

当C++项目里做了大量的动态内存分配与释放，可能会导致内存碎片，使系统性能降低。当动态内存分配的开销变得不容忽视时，一种解决办法是一次从操作系统分配一块大的静态内存作为内存池进行手动管理，堆对象内存分...

Activiti 8.0.0 发布，业务流程管理与工作流系统

Activiti8.0.0现已发布。Activiti是一个业务流程管理(BPM)和工作流系统，适用于开发人员和系统管理员。其核心是超快速、稳定的BPMN2流程引擎。Activiti可以...

MyBatis动态SQL的5种高级玩法，90%的人只用过3种

MyBatis动态SQL在日常开发中频繁使用，但大多数开发者仅掌握基础标签。本文将介绍五种高阶技巧，助你解锁更灵活的SQL控制能力。一、智能修剪（Trim标签）应用场景：动态处理字段更新，替代<...

Springboot数据访问(整合Mybatis Plus)

Springboot整合MybatisPlus1、创建数据表2、引入maven依赖mybatis-plus-boot-starter主要引入这个依赖，其他相关的依赖在这里就不写了。3、项目结构目录h...

盘点金州勇士在奥克兰13年的13大球星 满满的全是...

见证了两个月前勇士与猛龙那个史诗般的系列赛后，甲骨文球馆正式成为了历史。那个大大的红色标志被一个字母一个字母地移除，在周四，一切都成为了过去式。然而这座，别名为“Roaracle”（译注：Roar怒吼...

Mybatis入门看这一篇就够了（mybatis快速入门）

什么是MyBatisMyBatis本是apache的一个开源项目iBatis,2010年这个项目由apachesoftwarefoundation迁移到了googlecode，并且改名为M...

Springboot数据访问(整合druid数据源)

Springboot整合druid数据源基本概念SpringBoot默认的数据源是：2.0之前：org.apache.tomcat.jdbc.pool.DataSource2.0及之后:com.z...

Linux 中的 &quot;/etc/profile.d&quot; 目录有什么作用 ?

什么是/etc/profile.d/目录？/etc/profile.d/目录是Linux系统不可或缺的一部分保留配置脚本。它与/etc/profile文件相关联，这是一个启动脚本，该脚...

企业数据库安全管理规范（企业数据库安全管理规范最新版）

1.目的为规范数据库系统安全使用活动，降低因使用不当而带来的安全风险，保障数据库系统及相关应用系统的安全，特制定本数据库安全管理规范。2.适用范围本规范中所定义的数据管理内容，特指存放在信息系统数据库...

Oracle 伪列!这些隐藏用法你都知道吗?

在Oracle数据库中，有几位特殊的“成员”——伪列，它们虽然不是表中真实存在的物理列，但却能在数据查询、处理过程中发挥出意想不到的强大作用。今天给大家分享Oracle伪列的使用技巧，无论...

Oracle 高效处理数据的隐藏神器:临时表妙用

各位数据库搬砖人，在Oracle的代码世界里闯荡，处理复杂业务时，是不是总被数据“搅得头大”？今天给大家安利一个超实用的隐藏神器——临时表！当你需要临时存储中间计算结果，又不想污染正式数据表...

Oracle 数据库查询:多表查询（oracle多表关联查询）

一、多表查询基础1.JOIN操作-INNERJOIN：返回两个表中满足连接条件的匹配行，不保留未匹配数据。SELECTa.emp_id,b.dept_nameFROMempl...

一文掌握怎么利用Shell+Python实现多数据源的异地备份程序

简介：在信息化时代，数据安全和业务连续性已成为企业和个人用户关注的焦点。无论是网站数据、数据库、日志文件，还是用户上传的文档、图片等，数据一旦丢失，损失难以估量。尤其是当数据分布在多个不同的目录、服务...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表