百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

memcached 是怎么工作的?与 redis 的区别?最大的优势是什么?

mhr18 2024-11-03 13:44 50 浏览 0 评论

Memcached 的神奇来自两阶段哈希(two-stage hash)。Memcached 就像一个巨大的、存储了很多对的哈希表。通过 key,可以存储或查询任意的数据。

客户端可以把数据存储在多台 memcached 上。当查询数据时,客户端首先参考节点列表计算出 key 的哈希值(阶段一哈希),进而选中一个节点;客户端将请求发送给选中的节点,然后 memcached 节点通过一个内部的哈希算法(阶段二哈希),查找真正的数据(item)。

Memcached与Redis在多个方面存在显著的区别。

首先,从数据操作和支持的数据结构来看,Redis相比Memcached支持更丰富的数据类型和操作。Memcached主要支持简单的key-value存储,不支持枚举、持久化和复制等功能。而Redis支持多种数据结构,包括list、set、sorted set、hash等,并提供了持久化和复制等功能。在Memcached中,用户通常需要将数据拿到客户端进行修改后再存回,这增加了网络IO的次数和数据体积。而Redis则能在服务器端进行这些复杂的操作,与一般的GET/SET操作一样高效。

其次,两者的内存管理机制也有所不同。在Redis中,并非所有数据都一直存储在内存中,它采用了一种更复杂的内存管理机制。而Memcached则采用Slab Allocation分配机制,预先分配适量的内存块,根据缓存对象的大小来找到合适大小的内存块进行存储。

再者,两者的主要用途和适用场景也有差异。Memcached主要作为一个高性能的分布式内存对象缓存系统,通过降低对数据库的访问来加速动态Web应用程序。它特别适合用于缓存数据库查询结果,减少数据库访问次数,提高动态Web应用的速度和可扩展性。而Redis则是一个开源的内存数据库,常用于缓存、消息队列、会话存储、实时分析等方面。它提供了更多的功能和特性,如发布订阅功能、Lua脚本支持、事务功能等,使得它在处理更复杂的业务逻辑和实时数据分析等场景中具有优势。

1、Redis 不仅仅支持简单的 k/v 类型的数据,同时还提供 list,set,zset,hash等数据结构的存储。而memcache 只支持简单数据类型,需要客户端自己处理复杂对象

2、Redis 支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用(PS:持久化在 rdb、aof)。

3、由于 Memcache 没有持久化机制,因此宕机所有缓存数据失效。Redis 配置为持久化,宕机重启后,将自动加载宕机时刻的数据到缓存系统中。具有更好的灾备机制。

4、Memcache 可以使用 Magent 在客户端进行一致性 hash 做分布式。Redis 支持在服务器端做分布式(PS:Twemproxy/Codis/Redis-cluster 多种分布式实现方式)

5、Memcached 的简单限制就是键(key)和 Value 的限制。最大键长为 250 个字符。可以接受的储存数据不能超过 1MB(可修改配置文件变大),因为这是典型 slab 的最大值,不适合虚拟机使用。而 Redis 的 Key 长度支持到 512k。

6、Redis 使用的是单线程模型,保证了数据按顺序提交。Memcache 需要使用cas 保证数据一致性。CAS(Check and Set)是一个确保并发一致性的机制,属于“乐观锁”范畴;原理很简单:拿版本号,操作,对比版本号,如果一致就操作,不一致就放弃任何操作cpu 利用。由于 Redis 只使用单核,而 Memcached 可以使用多核,所以平均每一个核上 Redis 在存储小数据时比 Memcached 性能更 高。而在 100k 以上的数据中,Memcached 性能要高于 Redis 。

7、memcache 内存管理:使用 Slab Allocation。原理相当简单,预先分配一系列大小固定的组,然后根据数据大小选择最合适的块存储。避免了内存碎片。(缺点:不能变长,浪费了一定空间)memcached 默认情况下下一个 slab 的最大值为前一个的 1.25 倍。

8、redis 内存管理: Redis 通过定义一个数组来记录所有的内存分配情况, Redis采用的是包装的 malloc/free,相较于 Memcached 的内存 管理方法来说,要简单很多。由于 malloc 首先以链表的方式搜索已管理的内存中可用的空间分配,导致内存碎片比较多


Memcached最大的优势主要体现在以下几个方面:

  1. 高性能:Memcached的设计使其具有极高的读写性能,能够处理大量的并发请求。它采用了内存存储的方式,使得数据的访问速度非常快,远远超过了传统的磁盘存储方式。这种高性能特性使得Memcached在处理大量、频繁的数据访问时表现出色。
  2. 分布式缓存:Memcached支持分布式部署,可以在多台服务器上运行,并通过一定的策略实现数据的均衡负载。这种分布式特性使得Memcached能够处理更大规模的数据量,提高了系统的可扩展性和可靠性。
  3. 简单易用:Memcached的API设计简洁明了,易于理解和使用。同时,它也提供了丰富的配置选项,可以根据实际需求进行灵活调整。这使得开发人员能够快速地将Memcached集成到现有的系统中,提升系统的性能表现。
  4. 内存管理:Memcached采用了LRU(Least Recently Used)算法进行内存管理,能够自动地根据数据的访问频率和时间来淘汰不常用的数据,从而确保缓存中的数据始终是最新的、最热门的。这种智能的内存管理策略使得Memcached能够更有效地利用有限的内存资源。
  5. 开源与免费:Memcached是一个开源项目,可以免费使用和修改。这使得开发者无需支付额外的费用即可享受到高性能的缓存服务,降低了系统的总体成本。

综上所述,Memcached的高性能、分布式缓存、简单易用、智能内存管理以及开源免费等优势使其在众多应用场景中脱颖而出,成为了一种广受欢迎的缓存解决方案。Memcached 最大的好处就是它带来了极佳的水平可扩展性,特别是在一个巨大的系统中。由于客户端自己做了一次哈希,那么我们很容易增加大量 memcached到集群中。memcached 之间没有相互通信,因此不会增加 memcached 的负载;

没有多播协议,不会网络通信量爆炸(implode)。memcached 的集群很好用。

内存不够了?增加几台 memcached 吧;CPU 不够用了?再增加几台吧;有多余的内存?在增加几台吧,不要浪费了。

基于 memcached 的基本原则,可以相当轻松地构建出不同类型的缓存架构。除了这篇 FAQ,在其他地方很容易找到详细资料的。


相关推荐

Java面试题及答案总结(2025版)

大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Redis、Linux、SpringBoot、Spring、MySQ...

Java面试题及答案最全总结(2025春招版)

大家好,我是Java面试分享最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Spring...

Java面试题及答案最全总结(2025版持续更新)

大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...

蚂蚁金服面试题(附答案)建议收藏:经典面试题解析

前言最近编程讨论群有位小伙伴去蚂蚁金服面试了,以下是面试的真题,跟大家一起来讨论怎么回答。点击上方“捡田螺的小男孩”,选择“设为星标”,干货不断满满1.用到分布式事务嘛?为什么用这种方案,有其他方案...

测试工程师面试必问的十道题目!全答上来的直接免试

最近参加运维工程师岗位的面试,笔者把自己遇到的和网友分享的一些常见的面试问答收集整理出来了,希望能对自己和对正在准备面试的同学提供一些参考。一、Mongodb熟悉吗,一般部署几台?部署过,没有深入研究...

10次面试9次被刷?吃透这500道大厂Java高频面试题后,怒斩offer

很多Java工程师的技术不错,但是一面试就头疼,10次面试9次都是被刷,过的那次还是去了家不知名的小公司。问题就在于:面试有技巧,而你不会把自己的能力表达给面试官。应届生:你该如何准备简历,面试项目和...

java高频面试题整理

【高频常见问题】1、事务的特性原子性:即不可分割性,事务要么全部被执行,要么就全部不被执行。一致性或可串性:事务的执行使得数据库从一种正确状态转换成另一种正确状态隔离性:在事务正确提交之前,不允许把该...

2025 年最全 Java 面试题,京东后端面试面经合集,答案整理

最近京东搞了个TGT计划,针对顶尖青年技术天才,直接宣布不设薪资上限。TGT计划面向范围包括2023年10月1日到2026年9月30日毕业的海内外本硕博毕业生。时间范围还...

idGenerator测评

工作中遇到需要生成随机数的需求,看了一个个人开发的基于雪花算法的工具,今天进行了一下测评(测试)。idGenerator项目地址见:https://github.com/yitter/IdGenera...

2024年开发者必备:MacBook Pro M1 Max深度体验与高效工作流

工作机器我使用的是一台16英寸的MacBookProM1Max。这台电脑的表现堪称惊人!它是我用过的最好的MacBook,短期内我不打算更换它。性能依然出色,即使在执行任务时也几乎听不到风扇的...

StackOverflow 2022 年度调查报告

一个月前,StackOverflow开启了2022年度开发者调查,历时一个半月,在6月22日,StackOverflow正式发布了2022年度开发者调查报告。本次报告StackO...

这可能是最全面的SpringDataMongoDB开发笔记

MongoDB数据库,在最近使用越来越广泛,在这里和Java的开发者一起分享一下在Java中使用Mongodb的相关笔记。希望大家喜欢。关于MongoDB查询指令,请看我的上一篇文章。SpringD...

Mac M2 本地部署ragflow

修改配置文件Dockerfile文件ARGNEED_MIRROR=1//开启国内镜像代理docker/.envREDIS_PORT=6380//本地redis端口冲突RAGFLOW_IMA...

别再傻傻分不清!localhost、127.0.0.1、本机IP,原来大有讲究!

调试接口死活连不上?部署服务队友访问不了?八成是localhost、127.0.0.1、本机IP用混了!这三个看似都指向“自己”的东西,差之毫厘谬以千里。搞不清它们,轻则调试抓狂,重则服务裸奔。loc...

我把 Mac mini 托管到机房了:一套打败云服务器的终极方案

我把我积灰的Macmini托管到机房了,有图有真相。没想到吧?一台在家吃灰的苹果电脑,帮我省了大钱!对,就是控制了自己的服务器,省了租用云服务器的钱,重要数据还全捏在自己手里,这感觉真爽。你可...

取消回复欢迎 发表评论: