redis 导入数据

Python Redis数据库新玩法:从零到高手掌握操作技巧

介绍Redis（RemoteDictionaryServer）是一种高性能的开源内存数据库，它支持多种数据结构，如字符串、哈希、列表、集合、有序集合等，并提供了丰富的操作命令。Redis具有快速、可靠和灵活的特点，广泛应用于缓存、消息队列、会话存储、计数器等场景。本文将从入门到精通地介绍Pyth...

Linux桌面应用之MySQL客户端DBeaver

简介在Windows上，有很多的MySQL客户端，但是在Linux上的好用的、兼容性好的可不多。官方的mysql-bench是一个不错的选择，但是依赖太多了。我使用Manjaro就是因为它的简介，不喜欢安装太多的东西。后面发现DBeaver，非常强大易用的数据库管理和开发工具。用了好几年了，一直都没...

阿里终面:10亿数据如何快速插入MySQL?

最快的速度把10亿条数据导入到数据库，首先需要和面试官明确一下，10亿条数据什么形式存在哪里，每条数据多大，是否有序导入，是否不能重复，数据库是否是MySQL？假设和面试官明确后，有如下约束10亿条数据，每条数据1Kb数据内容是非结构化的用户访问日志，需要解析后写入到数据库数据存放在Hdfs或...

滴滴分布式KV离线数据导入

导读：滴滴自成立以来，有海量的数据存储在离线平台，离线数据虽然存储便宜，压缩比高，但不适用于线上使用。为此，我们提供了一键式DTS平台——FastLoad，帮助业务往在线存储系统搬运离线数据，目前主要针对滴滴自研分布式存储Fusion，Fusion以RocksDB为存储引擎，服务线上集群500+，承...

redis 缓存层的异地多活原理详解

前言互联网后台服务的常用经典架构中，整个后台服务框架一般可以分四层：接入层，一般用于请求的安全校验、频率和流量控制逻辑层，用于用户数据的请求和返回逻辑控制缓存层，为了加快访问性能，cache用户数据，常见的redis、memcache等存储层，落地了用户各种数据，比如mysql、leveldb等关于...

Python解决滑块验证，Scarpy框架采集数据到redis数据库!

目录架构介绍安装创建和启动配置文件目录介绍爬取数据，并解析数据持久化保存到文件保存到redis动作链，控制滑动的验证码架构介绍Scrapy一个开源和协作的框架，其最初是为了页面抓取(更确切来说,网络抓取)所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的...

SpringBoot使用Redis进行数据缓存的方法

SpringBoot默认使用的缓存框架是Simple，如果需要可以更换为使用Redis进行数据缓存。导入Redis依赖spring-boot-starter-cache：SpringBoot缓存相关的jar包spring-boot-starter-data-redis：Redis相关的额jar包&...

redis专题系列18 -- redis-trib.rb常用命令详解

上一篇文章教大家手动搭建了一个Cluster集群，并演示了故障转移的过程，本文接着讲Cluster集群的动态扩展，简单来讲就是如何在Cluster模式下实现节点的新增和废弃节点的删除以及如何重新分配slot来达到集群的高可用，实现集群的动态扩展，而这一切都基于redis-trib.rb脚本，首先，我...

EXCEL导入—设计与思考

作者:京东物流叶方伟EXCEL导入—设计与思考一、案例信息与设计1.1、案例需求与背景B2BTC同城二期有一个Excel导入的功能，单次数据量小于一千，使用频次不高。但涉及到多个字段组成唯一约束，即每条数据操作时要根据唯一性组合字段来操作，要确保数据表中的数据不违反唯一性。每条数据涉及到多次查询其...