百度360必应搜狗淘宝本站头条
php redisredis 命令redis 锁redis 主从redis 删除
当前位置：网站首页 > 技术教程 > 正文

面试官:在使用mysql数据库时，遇到重复数据怎么处理?

mhr18 2024-10-04 17:28 25 浏览 0 评论

前言

前段时间，很多人问我能不能写一些数据库的文章，正好自己在测试mysql数据库性能的时候，出现了一个问题，也就是出现了很多重复的数据，想起来自己long long ago写过一篇类似的，仅此就拿来总结了一下。如果你在使用mysql的时候也遇到了这个问题，希望能对你有所帮助。

注意：

这篇文章不是数据库系列的正式文章，有关mysql、MongoDB、redis、oracle等数据库系列的文章正在整理中。

其实解决能否插入重复数据的问题，一般情况下是有两个思路，就像治水一样，第一个就是从源头，第二个就是在水流经的路上。我们带着这两种思路继续往下看：

问题

在我们的mysql数据库中，经常会出现一些重复的数据，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。 我们如何去处理呢？

方法一：防止出现重复数据

也就是说我们再设计表的时候，就应该对这些数据设置一个UNIQUE 索引，在插入的时候就可以保证其唯一性，也就不存在有重复的数据了。当然你也可以直接设置为PRIMARY KEY（主键）。效果也是一样的。 我们看一个案例：下表中无索引及主键，所以该表允许出现多条重复记录。

目前first_name，last_name是可以重复的，如果不想重复这里有两个解决办法：

1、设置双主键模式

现在就无法插入重复数据了。

2、添加unique索引

这两种看起来形式好像有一点区别，但是能起到相同的作用。此时我们可以插入两条重复的数据，会发现报错。

当然我们还可以在数据库中去验证一下：

在这里我们统计的是 first_name 和 last_name的重复记录数，上面已经用两种方法设置了，这里肯定就是0了。

方法二：在插入时指定能否插入重复数据

在这里我们使用的是Insert ignore into 与Insert into指令。

（1）Insert ignore into会忽略数据库中已经存在的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据。这样就可以保留数据库中已经存在数据，达到在间隙中插入数据的目的。

（2）Insert into则直接相反，会直接插入数据，不管数据库里面是否含有重复数据。

我们还是举例说明：

现在我们看出来了吧，也就是说在执行第一条插入操作的时候，看到数据库没有，则直接插入一条新纪录，因此一行记录受到影响，但是在第二次插入的时候，数据库已经有一条一样的了，因此便不会插入了，0行受到影响。 当然了还有一个指令也可以完成类似于insert ignore into相似的功能，那就是replace into。他表示的是如果存在primary 或 unique相同的记录，则先删除掉。再插入新记录。

方法三：过滤重复数据

如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

你也可以使用 GROUP BY 来读取数据表中不重复的数据：

方法四：删除重复数据

这种情况其实就相当于，在水的终点处去解决。看下面sql语句：

当然你也可以在数据表中添加 INDEX（索引） 和 PRIMAY KEY（主键）这种简单的方法来删除表中的重复记录。方法如下：

OK，解决办法这么多，相信能解决你的问题。

相关推荐

C++开发必知的内存问题及常用的解决方法-经典文章

1.内存管理功能问题由于C++语言对内存有主动控制权，内存使用灵活和效率高，但代价是不小心使用就会导致以下内存错误：omemoryoverrun：写内存越界odoublefree：同一块内...

缓存用不好，系统崩得早!10条军规让你成为缓存高手

凌晨三点，我被电话惊醒：“苏工！首页崩了！”监控显示：缓存命中率0%，数据库QPS10万+，线程阻塞2000+。根本原因竟是同事没加缓存！不会用缓存的程序员，就像不会刹车的赛车手——...

彻底搞清楚内存泄漏的原因，如何避免内存泄漏，如何定位内存泄漏

作为C/C++开发人员，内存泄漏是最容易遇到的问题之一，这是由C/C++语言的特性引起的。C/C++语言与其他语言不同，需要开发者去申请和释放内存，即需要开发者去管理内存，如果内存使用不当，就容易造成...

Java中间件-Memcached（Java中间件大全）

一、知识结构及面试题目分析缓存技术的大规模使用是互联网架构区别于传统IT技术最大的地方，是整体高并发高性能架构设计中是重中之重的关键一笔，也是互联网公司比较偏好的面试题目。按照在软件系统中所处位置...

linux内存碎片防治技术（linux内存碎片整理）

推荐视频：90分钟了解Linux内存架构，numa的优势，slab的实现，vmalloc原理剖析Linux内核内存分配与回收Linuxkernel组织管理物理内存的方式是buddysystem（伙...

Redis主从架构详解（redis主从配置详细过程）

Redis主从架构搭建Redis主节点配置创建主节点目录（/opt/redis-master），复制redis.conf到该目录下，redis.conf配置项修改#后台启动daemonizeyes...

揭开CXL内存的神秘面纱（内存c1）

摘要：现代数据中心对内存容量的高需求促进了内存扩展和分解方面的多条创新线，其中一项获得极大关注的工作是基于ComputeeXpressLink（CXL）的内存扩展。为了更好地利用CXL，研究人员建...

一文彻底弄懂 TPS RPS QPS（tps cps）

以下是关于RPS、QPS、TPS的核心区别与关联的总结，结合实际场景和优化建议：一、核心定义与区别RPS：RequestsPerSecond每秒请求数客户端到服务器的完整请求数量Web服务...

用Redis的“集合”找出你和朋友的“共同关注”

你是不是在刷抖音、微博、小红书的时候，常常会看到这样的提示：“你和XXX有共同关注的博主/朋友”？或者当你关注了一个新的明星，系统会推荐“你的朋友YYY也关注了这位明星”？这个看似简单的功能背后，其实...

WOT2016彭哲夫:科班出身开发者对运维人员的期许

“运维与开发”是老生常谈的话题，前几天和一个运维人聊天，TA说一些公司运维岗位都不公开招聘了，这让众多运维人员情何以堪？是运维的岗位真的饱和了？是找到合适的运维人才难？还是有这样那样的因素？带着这些疑...

Java程序员最常用的20%技术总结（java程序员要掌握什么）

我听说编程语言，经常使用的是其中20％的技术。在Java这门语言中，这20％包括哪些内容？找到一份Java初级程序员的工作，有哪些是必须掌握的，有哪些是可以现学现卖的？一个完整的Javaweb项目，有...

秒杀系统实战(四)| 缓存与数据库双写一致性实战

前言微笑挖坑，努力填坑。————已经拥有黑眼圈，但还没学会小猪老师时间管理学的蛮三刀同学本文是秒杀系统的第四篇，我们来讨论秒杀系统中「缓存热点数据」的问题，进一步延伸到数据库和缓存的...

头条评论精灵翻牌子（头条评论精灵翻牌子怎么弄）

关于“头条评论精灵翻牌子”功能，这通常是指平台通过算法或运营手段，将用户的优质评论随机或定向推送到更显眼的位置（如信息流顶部、独立曝光位等），以提升互动率和用户参与感。以下是详细解析和建议：一、功能理...

15个程序员们都应该知道的大模型高级提示词指令模板和示例

作为程序员你如何写大模型指令？你写的指令是不是更专业呢？下面是15个程序员使用的专业的大模型指令，如果早知道可以能节省你很多时间。这些指令可以用在chatgpt,deepseek等大模型。1.一键...

MyBatis-Plus内置的主键生成策略有大坑，要注意!

昨天小伙伴使用Mybaits-Plus开发的项目线上（集群、K8S）出现了主键重复问题，其报错如下：Mybatis-Plus启动时会通过com.baomidou.mybatisplus.core.to...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表