Redis的各种数据结构以及合理使用
mhr18 2024-11-10 09:46 15 浏览 0 评论
Redis的底层数据结构
- 简单动态字符串sds(Simple Dynamic String)
- 双端链表(LinkedList)
- 字典(Map)
- 跳跃表(SkipList)
redis各种数据类型使用的数据结构
- String, SDS(simple dynamic string) 简单动态字符串, 包含len(字符串长度), free(空闲的字节数量), buf(字节数组,存储数据)
- List, 使用压缩列表(数据集比较少的时候, 列表中单个数据小于64字节或者列表中数据个数少于512个)和双向循环链表, 包含pre, next, value
- hash, 使用压缩列表(键和值的大小小于64字节, 列表中键值对个数小于512个)和散列表
- Set, 有序数组(个数不超过512)和散列表
- Zset, 压缩列表(数据小于64字节或者个数小于128个)和跳跃表
用ziplist代替key-value减少80%内存占用的案例
背景: 因业务原因, 需要大量存储key-value数据, key和value都为string, 如果存储1千万条数据，占用了redis共计1.17G的内存. 当数据量变成1个亿时，实测大约占用8个G. 但是修改为key(int), value 为ziplist时, 内存占用为123M, 减少了85%.
步骤:
- 要将1千万个键值对, 放到N个bucket中, 但是为了防止ziplist变为hashtable, 每个bucket不能超过512个键值对, 1千万 / 512 = 19531. 将所有key hash到所有bucket中, 但由于hash函数的不确定性, 可能出现不均等分配, 可以分配25000个bucket, 或者30000个bucket.
- 选用hash算法, 决定将key放到哪个bucket. 这里我们采用高效而且均衡的知名算法crc32. 通过获取原有md5(key)的crc32后, 再对bucket的数量进行取余.
- 第2步确定了外层的key, 内部的field我们选用bkdr哈希算法. public static int BKDRHash(String str) {
int seed = 131;
int hash = 0;
for (int i = 0; i < str.length; i++) {
hash = (hash * seed) + str.charAt(i);
}
return (hash & 0X7FFFFFFF);
} - 测试装入1000万条数据, 内存降低了85%; 查询测试, 查100万条数据, 对比查询速度: key-value耗时：10653、10790、11318、9900、11270、11029毫秒 hash-field耗时：12042、11349、11126、11355、11168毫秒
相关推荐
- Docker安装详细步骤及相关环境安装配置
-
最近自己在虚拟机上搭建一个docker,将项目运行在虚拟机中。需要提前准备的工具，FinallShell(远程链接工具)，VM（虚拟机-配置网络）、CentOS7(Linux操作系统-在虚拟机上安装)...
- Linux下安装常用软件都有哪些?做了一个汇总列表，你看还缺啥?
-
1.安装列表MySQL5.7.11Java1.8ApacheMaven3.6+tomcat8.5gitRedisNginxpythondocker2.安装mysql1.拷贝mysql安装文件到...
- Nginx安装和使用指南详细讲解（nginx1.20安装）
-
Nginx安装和使用指南安装1.检查并安装所需的依赖软件1).gcc:nginx编译依赖gcc环境安装命令：yuminstallgcc-c++2).pcre:(PerlCompatibleRe...
- docker之安装部署Harbor（docker安装hacs）
-
在现代软件开发和部署环境中，Harbor作为一个企业级的容器镜像仓库，提供了高效、安全的镜像管理解决方案。通过Docker部署Harbor，可以轻松构建私有镜像仓库，满足企业对镜像存储、管理和安全性...
- 成功安装 Magento2.4.3最新版教程「技术干货」
-
外贸独立站设计公司xingbell.com经过多次的反复实验，最新版的magento2.4.3在oneinstack的环境下的详细安装教程如下：一.vps系统：LinuxCentOS7.7.19...
- 【Linux】——从0到1的学习，让你熟练掌握，带你玩转Linu
-
学习Linux并掌握Java环境配置及SpringBoot项目部署是一个系统化的过程，以下是从零开始的详细指南，帮助你逐步掌握这些技能。一、Linux基础入门1.安装Linux系统选择发行版：推荐...
- cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务
-
cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务(yum选择的,时间不同,版本不同)如果对运维课程感兴趣，可以在b站上搜索我的账号：运维实战课程，可以关注我，学习更多免费的运...
- 时隔三月，参加2020秋招散招，终拿字节跳动后端开发意向书.
-
3个月前头条正式批笔试4道编程题只AC了2道，然后被刷了做了200多道还是太菜了，本来对字节不抱太大希望，毕竟后台竞争太大，而且字节招客户端开发比较多。后来看到有散招免笔试，抱着试一试的心态投了，然而...
- Redisson:Java程序员手中的“魔法锁”
-
Redisson：Java程序员手中的“魔法锁”在这个万物互联的时代，分布式系统已经成为主流。然而，随着系统的扩展，共享资源的争夺成为了一个棘手的问题。就比如你想在淘宝“秒杀”一款商品，却发现抢的人太...
- 【线上故障复盘】RPC 线程池被打满，1024个线程居然不够用?
-
1.故障背景昨天晚上，我刚到家里打开公司群，就看见群里有人讨论：线上环境出现大量RPC请求报错，异常原因：被线程池拒绝。虽然异常量很大，但是异常服务非核心服务，属于系统旁路，服务于数据核对任务，即使...
- 小红书取消大小周，有人不高兴了!
-
小红书宣布五一节假日之后，取消大小周，恢复为正常的双休，乍一看工作时长变少，按道理来说大家应该都会很开心，毕竟上班时间缩短了，但是还是有一些小红书的朋友高兴不起来，心情很复杂。因为没有了大小周，以前...
- 延迟任务的多种实现方案（延迟机制）
-
场景订单超时自动取消：延迟任务典型的使用场景是订单超时自动取消。功能精确的时间控制：延时任务的时间控制要尽量准确。可靠性：延时任务的处理要是可靠的，确保所有任务最终都能被执行。这通常要求延时任务的方案...
- 百度java面试真题（java面试题下载）
-
1、SpingBoot也有定时任务？是什么注解？在SpringBoot中使用定时任务主要有两种不同的方式，一个就是使用Spring中的@Scheduled注解，另一个则是使用第三方框架Q...
- 回归基础:访问 Kubernetes Pod（concurrent.futures访问数据库）
-
Kubernetes是一头巨大的野兽。在它开始有用之前，您需要了解许多概念。在这里，学习几种访问集群外pod的方法。Kubernetes是一头巨大的野兽。在它开始有用之前，您需要了解许多不同的...
- Spring 缓存神器 @Cacheable:3 分钟学会优化高频数据访问
-
在互联网应用中，高频数据查询（如商品详情、用户信息）往往成为性能瓶颈。每次请求都触发数据库查询，不仅增加服务器压力，还会导致响应延迟。Spring框架提供的@Cacheable注解，就像给方法加了一...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- Docker安装详细步骤及相关环境安装配置
- Linux下安装常用软件都有哪些?做了一个汇总列表，你看还缺啥?
- Nginx安装和使用指南详细讲解（nginx1.20安装）
- docker之安装部署Harbor（docker安装hacs）
- 成功安装 Magento2.4.3最新版教程「技术干货」
- 【Linux】——从0到1的学习，让你熟练掌握，带你玩转Linu
- cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务
- 时隔三月，参加2020秋招散招，终拿字节跳动后端开发意向书.
- Redisson:Java程序员手中的“魔法锁”
- 【线上故障复盘】RPC 线程池被打满，1024个线程居然不够用?
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)