Redis实现布隆过滤器（下）

Redis4.0通过模块化的形式集成了布隆过滤器，后续通过下面的命令就可以操作布隆过滤器，路径https://redis.io/commands/?group=bf

那么我们怎么通过Java代码去操作布隆过滤器呢？

RedisBloom官网提出了三种直接操作Redis布隆过滤器模块的方式，相关资料参考https://github.com/RedisBloom/RedisBloom，其中JreBloom已经弃用暂不讨论。

注意：远程连接时redis.conf配置文件中需要关闭受保护模式protected-mode no。

Jedis支持布隆过滤器

jedis是专门为Redis设计的简单易用性客户端，同时最新版本也支持模块化服务如布隆过滤器

引入依赖

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>4.2.0</version>
</dependency>

测试代码

public class JedisDemo {
    public static void main(String[] args) throws URISyntaxException {
        // 建立连接
        BloomFilterCommands bloomFilterCommands = new JedisPooled(new URI("redis://47.99.147.139:6379"),1000000);
        // 构建布隆过滤器参数
        BFReserveParams bfReserveParams = new BFReserveParams();
        bfReserveParams.expansion(2);
        // 创建一个过滤器
        String test = bloomFilterCommands.bfReserve("test", 0.1, 100, bfReserveParams);
        // 向过滤器中添加元素
        bloomFilterCommands.bfAdd("test",String.valueOf(1));
        // 判断元素是否存在
        boolean isExist = bloomFilterCommands.bfExists("test", "1");
        System.out.println(isExist);
    }
}

其余功能性API可以通过官方文档查阅https://www.javadoc.io/doc/redis.clients/jedis/latest/index.html。

redis-modules支持布隆过滤器

redis-modules是基于Java的客户端，依赖于redisson，所以也需要引入redisson依赖。

引入依赖

<!-- 引入redisson依赖 -->
<dependency>
   <groupId>org.redisson</groupId>
   <artifactId>redisson</artifactId>
   <version>3.17.1</version>
</dependency>  
<!-- release  这里是引入所有支持的module-->
<dependency>
    <groupId>io.github.dengliming.redismodule</groupId>
    <artifactId>all</artifactId>
    <version>2.0.0</version>
</dependency>
<!-- 也可以只引入单一的module：如布隆过滤器，两者选其一即可 -->
<dependency>
    <groupId>io.github.dengliming.redismodule</groupId>
    <artifactId>redisbloom</artifactId>
    <version>2.0.0</version>
</dependency>

测试代码

public static void main(String[] args) {
    // redisson创建连接一样的写法，需要引入redisson依赖
    Config config = new Config();
    config.useSingleServer().setAddress("redis://127.0.0.1:6379");
    RedisBloomClient redisBloomClient = new RedisBloomClient(config);
    // 得到指定名字的布隆过滤器对象
    BloomFilter bloomFilter = redisBloomClient.getRBloomFilter("bf");
    // 指定布隆过滤器错误率和容量
    bloomFilter.create(0.1d, 100);
    // 向布隆过滤器中添加元素
    bloomFilter.madd(new String[] {"a", "b", "c"});
    // 批量判断元素是否存在类似BF.MEXISTS
    List<Boolean> booleans = bloomFilter.existsMulti("a", "b", "d");
    System.out.println(booleans);
    // 关闭客户端
    redisBloomClient.shutdown();
}

redis布隆过滤器命令和Java代码对应可以参考官方在线链接https://github.com/dengliming/redis-modules-java/tree/master/redisbloom

上面提到的jedis和redis-modules支持布隆过滤器，存储到redis中也是布隆过滤器的形式

但除了这种形式外，还有其它的方法去实现布隆过滤器，如redisson不需要采用redis集成的redis-bloom就可以实现布隆过滤器。

Redisson支持布隆过滤器

引入依赖

<dependency>
   <groupId>org.redisson</groupId>
   <artifactId>redisson</artifactId>
   <version>3.17.1</version>
</dependency>  

测试连接代码

public static void main(String[] args) {
    // 1. Create config object
    Config config = new Config();
    /** 根据redis实例模式选择对于实例化方法
       * 集群模式：useClusterServers
       * 单实例模式：useSingleServer
       * Sentinel 模式：useSentinelServers
       * 主从模式：useMasterSlaveServers
       */
    config.useSingleServer().setAddress("redis://47.99.147.139:6379");
    // 2. Create Redisson instance
    RedissonClient redisson = Redisson.create(config);
    RBloomFilter bloomFilter = redisson.getBloomFilter("sample");
    // initialize bloom filter with 在使用前必须使用tryInit初始化
    // expectedInsertions = 55000000 期望值
    // falseProbability = 0.03 错误率
    bloomFilter.tryInit(10, 0.03);
    bloomFilter.add("1001");
    System.out.println(bloomFilter.contains("1002"));
    redisson.shutdown();
}

执行完上述代码后我们可以查看redis中存储的数据

### redisson执行bloomFilter.tryInit，并且成功，
### 不往布隆过滤器中添加元素那么redis只有一个值{**}:config
127.0.0.1:6379> keys *
1) "{sample}:config"
### 查看存入值的类型
127.0.0.1:6379> type "{sample}:config"
hash
127.0.0.1:6379> HKEYS "{sample}:config"
1) "size" ### 二进制bit数组长度 
2) "hashIterations" ### 哈希函数的个数
3) "expectedInsertions" ### 容量
4) "falseProbability" ### 错误率
127.0.0.1:6379> hget "{sample}:config" "size"
"72"
127.0.0.1:6379> hget "{sample}:config" "hashIterations"
"5"
127.0.0.1:6379> hget "{sample}:config" "expectedInsertions"
"10"
127.0.0.1:6379> hget "{sample}:config" "falseProbability"
"0.03"
#### 存放真正值
127.0.0.1:6379> type sample
string

redisson会生成两个键值{sample}:config和sample，其中{sample}:config是哈希类型，用于存储用户配置的布隆过滤器配置，sample为string类型，用于存储真实的bit数组。

那么除了依赖redis还有没有办法去实现布隆过滤器呢？当然Google就开源出了guava工具类就可以实现布隆过滤器。

Guava实现布隆过滤器

guava是谷歌开源工具类，其中就有能直接实现布隆过滤器的方法，不需要重复造轮子。

引入依赖

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>31.1-jre</version>
</dependency>

测试代码

public static void main(String[] args) {
    int num = 100000;
    // 创建布隆过滤器对象，误判率默认0.03，可以指定
    // num表示布隆过滤器的容量
    BloomFilter bloomFilter = BloomFilter.create(Funnels.integerFunnel(),num,0.01);
    // 往布隆过滤器中添加数据
    for (int i = 0; i <num ; i++) {
        bloomFilter.put(i);
    }
    // 判断刚添加进去的值误判情况
    for (int i = 0; i <num ; i++) {
        // mightContain 判断布隆过滤器是否包含对象
        if (!bloomFilter.mightContain(i)){
            System.out.println("出现误判了~，值："+i+"==是存在的");
        }
    }
    int count = 0;
    // 判断没有在布隆过滤器中的值是否有误判情况
    for (int i = num; i <num+num ; i++) {
        if (bloomFilter.mightContain(i)){
            count += 1;
        }
    }
    System.out.println("不存在布隆过滤器中的元素误判数量："+count);
}

结果展示，存在误判情况，符合预设置的误差范围

其它命令可以参考guava官网API文档https://guava.dev/releases/snapshot-jre/api/docs/com/google/common/hash/BloomFilter.html

布隆过滤器配置参考

我们可以通过github上开源工具，输入布隆过滤器大小以及可以接受的误差率，计算布隆过滤器的最佳配置，计算工具参考https://krisives.github.io/bloom-calculator/

错误率和哈希函数以及内存容量有关，当错误率越低，那么需要的哈希函数个数就得越多，内存容量就得越大，所以布隆过滤器的设置需要根据实际业务确定，这是在准确率和性能上做了取舍。

布隆过滤器的应用场景

布隆过滤器虽然存在误判率和删除困难的缺点，但其能快速判断对象是否存在的特性依旧应用广泛，常见用于

• 防止Redis缓存穿透。
• 爬虫过滤，已抓取的url不再抓取。
• 垃圾邮件过滤等。