百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

十分钟掌握高性能哈希算法MurmurHash

mhr18 2024-11-14 16:26 27 浏览 0 评论

算法简介

Murmur哈希算法是一种非加密型哈希算法,适用于一般的哈希检索操作,由Austin Appleby创建于2008年。

之所以说是非加密型,与追求安全的MD5算法不同,它不是专门设计为不可逆转破解,而是追求高性能与低碰撞率。这两个特性会在下文做具体代码验证。

算法解读

Murmur哈希算法名称由来就是它的计算过程:Multiply and Rotate,且在哈希的过程中需要经历多次Multiply and Rotate,因此取名叫Murmur,核心思路就是下面这几行代码(Guava中的算法实现):

可以看到是一个while循环,每次处理4个字符,对这四个字符做:

其中mixK1方法如下:

将计算到的k1旋转rotateLeft方法:

再根据算出来的k1执行mixH1方法:

大家要记住几个关键变量或常量:C1、C2、h1、k1。

k1怎么来的?

int k1 = c0 | (c1 << 8) | (c2 << 16) | (c3 << 24);

h1就是seed,随机数种子,可以自己生成或使用默认的。

其中的C1和C2常量如下:

为什么是这个值呢?其实都是Austin Appleby经过大量实验计算得出来的一个最优数字。

这个算法核心思想就是不断的“k1 *= C1; k1 = rotateLeft(k1, r);”,所以取名叫murmurhash,这样是不是就好记住一点,或者叫陌陌哈希,陌陌总能记住了吧?

实际应用

Murmur算法在Java中有很多具体的实现:

Guava的Hashing:

https://github.com/google/guava/blob/master/guava/src/com/google/common/hash/Murmur3_32HashFunction.java

Jedis中的MurmurHash:

https://github.com/xetorthio/jedis/blob/master/src/main/java/redis/clients/util/MurmurHash.java

Cassandra中的MurmurHash:

https://github.com/apache/cassandra/blob/aa7c7362a94dd3da81ff521589cd2e6f998ae4c1/src/java/org/apache/cassandra/utils/MurmurHash.java

性能测试

比较常用的MD5算法和Murmurhash算法对字符串加密的性能,先写对应的两个方法:

对随机字符串10w次加密随机生成的100位字符串测试耗时:

测试结果:

MD5总耗时:897ms

Murmurhash总耗时:294ms

低碰撞率

Murmurhash的哈希剧烈度要比Java自带的HashCode()要高,高剧烈度即代表着低碰撞率,Hash表的低碰撞率代表着更高的性能。

代码验证一下Murmurhash和jdk自带的hashcode的散列值:

输出如下:

可以看到,对于两个相近的字符串,hashcode的值只相差1位数,而Murmurhash却相差十万八千里。了解hash数据结构的相信大家已经知道意味着什么了。

拓展阅读

相关推荐

Redis教程——数据类型(字符串、列表)

上篇文章我们学习了Redis教程——Redis入门,这篇文章我们学习Redis教程——数据类型(字符串、列表)。Redis数据类型有:字符串、列表、哈希表、集合、有序集合、地理空间、基数统计、位图、位...

说说Redis的数据类型(redis数据类型详解)

一句话总结Redis核心数据类型包括:String:存储文本、数字或二进制数据。List:双向链表,支持队列和栈操作。Hash:字段-值映射,适合存储对象。Set:无序唯一集合,支持交并差运算。Sor...

Redis主从复制(Redis主从复制复制文件)

介绍Redis有两种不同的持久化方式,Redis服务器通过持久化,把Redis内存中持久化到硬盘当中,当Redis宕机时,我们重启Redis服务器时,可以由RDB文件或AOF文件恢复内存中的数据。不过...

深入解析 Redis 集群的主从复制实现方式

在互联网大厂的后端开发领域,Redis作为一款高性能的内存数据库,被广泛应用于缓存、消息队列等场景。而Redis集群中的主从复制机制,更是保障数据安全、实现读写分离以及提升系统性能的关键所在。今...

Redis + MQ:高并发秒杀的技术方案与实现

大家好,我是一安~前言在电商秒杀场景中,瞬间爆发的海量请求往往成为系统的生死考验。当并发量达到数万甚至数十万QPS时,传统数据库单表架构难以支撑,而Redis与消息队...

Redis面试题2025(redis面试题及答案2024)

Redis基础什么是Redis?它的主要特点是什么?Redis和Memcached有什么区别?Redis支持哪些数据类型?Redis的字符串类型最大能存储多少数据?Redis的列表类型和集合类型有什么...

Redis学习笔记:过期键管理与EXPIRE命令详解(第七章)

在Redis中,过期键(ExpireKey)机制是实现缓存自动失效、临时数据管理的核心功能。EXPIRE命令作为设置键过期时间的基础工具,其工作原理与使用细节直接影响系统的内存效率和数据一致性。本章...

Redis传送术:几分钟内将生产数据迁移到本地

在生产环境中使用Redis就像一把双刃剑。它快速、强大,存储了大量实时数据——但当你想要在本地调试问题或使用真实数据进行测试时,事情就变得棘手了。我们要做什么?我们想要从生产环境Redis实例中导出键...

使用redis bitmap计算日活跃用户数

Metrics(指标)在允许延迟的情况下,通常通过job任务定时执行(如按小时、每天等频率),而基于Redis的Bitmap使我们能够实时完成此类计算,且极其节省空间。以亿级用户计算“日活跃用户...

大部分.NET开发者都不知道的Redis性能优化神技!

你还在为Redis存储空间不够而发愁吗?还在为Json数据太大导致网络传输缓慢而头疼吗?今天我要告诉你一个让Redis性能飙升300%的秘密武器!这个技巧简单到让你怀疑人生,但效果却强大到让你的老板对...

Redis学习笔记:内存优化实战指南(第六章)

Redis作为内存数据库,内存使用效率直接影响系统性能与成本。对于处理大规模数据的场景,合理的内存优化能显著降低资源消耗,提升服务稳定性。本章将基于Redis的内存管理特性,详解实用的优化技巧与最佳实...

大数据-47 Redis 内存控制、Key 过期与数据...

点一下关注吧!!!非常感谢!!持续更新!!!AI篇持续更新中!(长期更新)AI炼丹日志-30-新发布【1T万亿】参数量大模型!Kimi-K2开源大模型解读与实践,持续打造实用AI工具指南!...

Redis学习笔记:内存优化进阶与实战技巧(第六章·续)

上一节我们介绍了Redis内存优化的基础策略,本节将深入更多实战技巧,包括数据结构的精细化选择、过期键的内存回收机制,以及大规模场景下的内存管理方案,帮助你在高并发场景下进一步提升内存利用率。七、数据...

低配服务器(2核3G)宝塔面板的Redis优化指南:512MB内存高效运行

在2核3G内存的低配服务器上部署Redis服务时,资源分配不当极易导致服务器崩溃。本文针对宝塔面板环境(PHP8.2+MariaDB10.6+Nginx),提供经过实战验证的Redis优化...

Redis:为什么您应该多缓存少查询(为什么使用redis做缓存而不是其他的消息队列入kafka)

还在一次又一次地调用相同的API吗?这不仅效率低下——而且成本高昂。性能缓慢、成本更高,用户体验更差。让我们停止这种做法——从这篇文章开始。:D首先您需要了解Redis,简单来说,它是一个超快速的内存...

取消回复欢迎 发表评论: