当前位置: 首页 > article >正文

Redis高阶5-布隆过滤器

Redis布隆过滤器

​ 由一个初始值都为零的bit数组和多个哈希函数构成,用来快速判断集合中是否存在某个元素

请添加图片描述

目的减少内存占用
方式不保存数据信息,只是在内存中做一个是否存在的标记flag

布隆过滤器(英语:Bloom Filter)是 1970 年由布隆提出的。

它实际上是一个很长的二进制数组(00000000)+一系列随机hash算法映射函数,主要用于判断一个元素是否在集合中。

通常我们会遇到很多要判断一个元素是否在某个集合中的业务场景,一般想到的是将集合中所有元素保存起来,然后通过比较确定。

链表、树、哈希表等等数据结构都是这种思路。但是随着集合中元素的增加,我们需要的存储空间也会呈现线性增长,最终达到瓶颈。同时检索速度也越来越慢,上述三种结构的检索时间复杂度分别为O(n),O(logn),O(1)。这个时候,布隆过滤器(Bloom Filter)就应运而生
在这里插入图片描述

特点

  • 高效的插入和查询,占用空间少,返回的结果是不确定性+不完美的
  • 一个元素如果判断结果:存在时,元素不一定存在;不存在,则一定不存在
  • 布隆过滤器可以添加元素,但是不能删除元素,由于涉及hashcode判断依据,删掉元素会导致误判率增加

原理

布隆过滤器(Bloom Filter) 是一种专门用来解决去重问题的高级数据结构。

实质就是一个大型***位数组***和几个不同的无偏hash函数(无偏表示分布均匀)。由一个初值都为零的bit数组和多个个哈希函数构成,用来快速判断某个数据是否存在。但是跟 HyperLogLog 一样,它也一样有那么一点点不精确,也存在一定的误判概率

添加key时

使用多个hash函数对key进行hash运算得到一个整数索引值,对位数组长度进行取模运算得到一个位置,

每个hash函数都会得到一个不同的位置,将这几个位置都置1就完成了add操作。

查询key时

只要有其中一位是零就表示这个key不存在,但如果都是1,则不一定存在对应的key。

***结论:***有,是可能有 无,是肯定无

hash冲突导致数据不准确

当有变量被加入集合时,通过N个映射函数将这个变量映射成位图中的N个点,

把它们置为 1(假定有两个变量都通过 3 个映射函数)。

请添加图片描述

hash函数

哈希函数的概念是:将任意大小的输入数据转换成特定大小的输出数据的函数,转换后的数据称为哈希值或哈希编码,也叫散列值

请添加图片描述

如果两个散列值是不相同的(根据同一函数)那么这两个散列值的原始输入也是不相同的。

这个特性是散列函数具有确定性的结果,具有这种性质的散列函数称为单向散列函数。

散列函数的输入和输出不是唯一对应关系的,如果两个散列值相同,两个输入值很可能是相同的,但也可能不同,

这种情况称为“散列碰撞(collision)”。

用 hash表存储大数据量时,空间效率还是很低,当只有一个 hash 函数时,还很容易发生哈希碰撞。

代码实现

Set<Integer> hashCodeSet = new HashSet<>();

        for (int i = 0; i <200000; i++) {
            int hashCode = new Object().hashCode();
            if(hashCodeSet.contains(hashCode)) {
                System.out.println("出现了重复的hashcode: "+hashCode+"\t 运行到"+i);
                break;
            }
            hashCodeSet.add(hashCode);
        }



        System.out.println("Aa".hashCode());
        System.out.println("BB".hashCode());
        System.out.println("柳柴".hashCode());
        System.out.println("柴柕".hashCode());

使用3步骤

  1. 初始化bitmap

    布隆过滤器 本质上 是由长度为 m 的位向量或位列表(仅包含 0 或 1 位值的列表)组成,最初所有的值均设置为 0

  2. 添加占坑位

    当我们向布隆过滤器中添加数据时,为了尽量地址不冲突,会使用多个 hash 函数对 key 进行运算,算得一个下标索引值,然后对位数组长度进行取模运算得到一个位置,每个 hash 函数都会算得一个不同的位置。再把位数组的这几个位置都置为 1 就完成了 add 操作。

    例如,我们添加一个字符串wmyskxz,对字符串进行多次hash(key) → 取模运行→ 得到坑位

    请添加图片描述

  3. 判断是否存在

    向布隆过滤器查询某个key是否存在时,先把这个 key 通过相同的多个 hash 函数进行运算,查看对应的位置是否都为 1,

    只要有一个位为零,那么说明布隆过滤器中这个 key 不存在;

    如果这几个位置全都是 1,那么说明极有可能存在;

    因为这些位置的 1 可能是因为其他的 key 存在导致的,也就是前面说过的hash冲突。。。。。

    就比如我们在 add 了字符串wmyskxz数据之后,很明显下面1/3/5 这几个位置的 1 是因为第一次添加的 wmyskxz 而导致的;

    此时我们查询一个没添加过的不存在的字符串inexistent-key,它有可能计算后坑位也是1/3/5 ,这就是误判了

请添加图片描述

使用场景

  1. 解决缓存穿透的问题,和redis结合bitmap使用

    *缓存穿透是什么*

    一般情况下,先查询缓存redis是否有该条数据,缓存中没有时,再查询数据库。

    当数据库也不存在该条数据时,每次查询都要访问数据库,这就是缓存穿透。

    缓存透带来的问题是,当有大量请求查询数据库不存在的数据时,就会给数据库带来压力,甚至会拖垮数据库。

    可以使用布隆过滤器解决缓存穿透的问题

    把已存在数据的key存在布隆过滤器中,相当于redis前面挡着一个布隆过滤器。

    当有新的请求时,先到布隆过滤器中查询是否存在:

    如果布隆过滤器中不存在该条数据则直接返回;

    如果布隆过滤器中已存在,才去查询缓存redis,如果redis里没查询到则再查询Mysql数据库

    请添加图片描述

  2. 黑名单校验,识别垃圾邮件

    发现存在黑名单中的,就执行特定操作。比如:识别垃圾邮件,只要是邮箱在黑名单中的邮件,就识别为垃圾邮件。

    假设黑名单的数量是数以亿计的,存放起来就是非常耗费存储空间的,布隆过滤器则是一个较好的解决方案。

    把所有黑名单都放在布隆过滤器中,在收到邮件时,判断邮件地址是否在布隆过滤器中即可。

  3. 安全连接网址,全球上10亿的网址判断

案例

  1. 整体架构

    请添加图片描述

  2. springboot+redis+mybatis整合

    Mybatis通用Mapper4

    • t_customer用户表SQL

      CREATE TABLE `t_customer` (
      
        `id` int(20) NOT NULL AUTO_INCREMENT,
      
        `cname` varchar(50) NOT NULL,
      
        `age` int(10) NOT NULL,
      
        `phone` varchar(20) NOT NULL,
      
        `sex` tinyint(4) NOT NULL,
      
        `birth` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
      
        PRIMARY KEY (`id`),
      
        KEY `idx_cname` (`cname`)
      
      ) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8mb4
      
    • 建springboot的Module

    • 改POM

      <?xml version="1.0" encoding="UTF-8"?>
      <project xmlns="http://maven.apache.org/POM/4.0.0"
               xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
               xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
          <modelVersion>4.0.0</modelVersion>
      
          <groupId>com.zhg</groupId>
          <artifactId>SpringBootRedis7Demo1</artifactId>
          <version>1.0-SNAPSHOT</version>
      
          <parent>
              <groupId>org.springframework.boot</groupId>
              <artifactId>spring-boot-starter-parent</artifactId>
              <version>2.6.10</version>
              <relativePath/>
          </parent>
      
      
          <properties>
              <!--  依赖版本号 -->
              <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
              <maven.compiler.source>1.8</maven.compiler.source>
              <maven.compiler.target>1.8</maven.compiler.target>
              <java.version>1.8</java.version>
              <hutool.version>5.5.8</hutool.version>
              <druid.version>1.1.18</druid.version>
              <mapper.version>4.1.5</mapper.version>
              <pagehelper.version>5.1.4</pagehelper.version>
              <mysql.version>8.0.18</mysql.version>
              <swagger2.version>2.9.2</swagger2.version>
              <swagger-ui.version>2.9.2</swagger-ui.version>
              <mybatis.spring.version>2.1.3</mybatis.spring.version>
          </properties>
      
      
          <dependencies>
              <dependency>
                  <groupId>org.springframework.boot</groupId>
                  <artifactId>spring-boot-starter-web</artifactId>
              </dependency>
      
              <!--Mybatis 通用mapper tk单独使用,自己带着版本号-->
              <dependency>
                  <groupId>org.mybatis</groupId>
                  <artifactId>mybatis</artifactId>
                  <version>3.4.6</version>
              </dependency>
              <!--mybatis-spring-->
              <dependency>
                  <groupId>org.mybatis.spring.boot</groupId>
                  <artifactId>mybatis-spring-boot-starter</artifactId>
                  <version>${mybatis.spring.version}</version>
              </dependency>
              <!-- Mybatis Generator -->
              <dependency>
                  <groupId>org.mybatis.generator</groupId>
                  <artifactId>mybatis-generator-core</artifactId>
                  <version>1.4.0</version>
                  <scope>compile</scope>
                  <optional>true</optional>
              </dependency>
              <!--通用Mapper-->
              <dependency>
                  <groupId>tk.mybatis</groupId>
                  <artifactId>mapper</artifactId>
                  <version>${mapper.version}</version>
              </dependency>
              <!--persistence-->
              <dependency>
                  <groupId>javax.persistence</groupId>
                  <artifactId>persistence-api</artifactId>
                  <version>1.0.2</version>
              </dependency>
      
              <dependency>
                  <groupId>org.projectlombok</groupId>
                  <artifactId>lombok</artifactId>
                  <optional>true</optional>
              </dependency>
              <dependency>
                  <groupId>org.springframework.boot</groupId>
                  <artifactId>spring-boot-starter-test</artifactId>
                  <scope>test</scope>
                  <exclusions>
                      <exclusion>
                          <groupId>org.junit.vintage</groupId>
                          <artifactId>junit-vintage-engine</artifactId>
                      </exclusion>
                  </exclusions>
              </dependency>
          </dependencies>
      
          <build>
              <resources>
                  <resource>
                      <directory>${basedir}/src/main/java</directory>
                      <includes>
                          <include>**/*.xml</include>
                      </includes>
                  </resource>
                  <resource>
                      <directory>${basedir}/src/main/resources</directory>
                  </resource>
              </resources>
              <plugins>
                  <plugin>
                      <groupId>org.springframework.boot</groupId>
                      <artifactId>spring-boot-maven-plugin</artifactId>
                      <configuration>
                          <excludes>
                              <exclude>
                                  <groupId>org.projectlombok</groupId>
                                  <artifactId>lombok</artifactId>
                              </exclude>
                          </excludes>
                      </configuration>
                  </plugin>
                  <plugin>
                      <groupId>org.mybatis.generator</groupId>
                      <artifactId>mybatis-generator-maven-plugin</artifactId>
                      <version>1.3.6</version>
                      <configuration>
                          <configurationFile>${basedir}/src/main/resources/generatorConfig.xml</configurationFile>
                          <overwrite>true</overwrite>
                          <verbose>true</verbose>
                      </configuration>
                      <dependencies>
                          <dependency>
                              <groupId>mysql</groupId>
                              <artifactId>mysql-connector-java</artifactId>
                              <version>${mysql.version}</version>
                          </dependency>
                          <dependency>
                              <groupId>tk.mybatis</groupId>
                              <artifactId>mapper</artifactId>
                              <version>${mapper.version}</version>
                          </dependency>
                      </dependencies>
                  </plugin>
              </plugins>
          </build>
      </project>
      
    • mgb配置相关src\main\resources路径下新建

      config.properties

      #t_customer表包名
      package.name=com.zhg.redis7
      
      jdbc.driverClass = com.mysql.jdbc.Driver
      jdbc.url = jdbc:mysql://localhost:3306/bigdata
      jdbc.user = root
      jdbc.password =123456
      

      generatorConfig.xml

      <?xml version="1.0" encoding="UTF-8"?>
      <!DOCTYPE generatorConfiguration
              PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN"
              "http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd">
      
      <generatorConfiguration>
          <properties resource="config.properties"/>
      
          <context id="Mysql" targetRuntime="MyBatis3Simple" defaultModelType="flat">
              <property name="beginningDelimiter" value="`"/>
              <property name="endingDelimiter" value="`"/>
      
              <plugin type="tk.mybatis.mapper.generator.MapperPlugin">
                  <property name="mappers" value="tk.mybatis.mapper.common.Mapper"/>
                  <property name="caseSensitive" value="true"/>
              </plugin>
      
              <jdbcConnection driverClass="${jdbc.driverClass}"
                              connectionURL="${jdbc.url}"
                              userId="${jdbc.user}"
                              password="${jdbc.password}">
              </jdbcConnection>
      
              <javaModelGenerator targetPackage="${package.name}.entities" targetProject="src/main/java"/>
      
              <sqlMapGenerator targetPackage="${package.name}.mapper" targetProject="src/main/java"/>
      
              <javaClientGenerator targetPackage="${package.name}.mapper" targetProject="src/main/java" type="XMLMAPPER"/>
      
              <table tableName="t_customer" domainObjectName="Customer">
                  <generatedKey column="id" sqlStatement="JDBC"/>
              </table>
          </context>
      </generatorConfiguration>
      
       
      
    • 一键生成,双击插件mybatis-generator:gererate,一键生成entity+mapper接口+xml实现SQL

    Springboot+Redis+Mybatis

    • 改造Module

    • POM

      <?xml version="1.0" encoding="UTF-8"?>
      <project xmlns="http://maven.apache.org/POM/4.0.0"
               xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
               xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
          <modelVersion>4.0.0</modelVersion>
      
          <groupId>com.zhg</groupId>
          <artifactId>SpringBootRedis7Demo1</artifactId>
          <version>1.0-SNAPSHOT</version>
      
          <parent>
              <groupId>org.springframework.boot</groupId>
              <artifactId>spring-boot-starter-parent</artifactId>
              <version>2.6.10</version>
              <relativePath/>
          </parent>
      
          <properties>
              <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
              <maven.compiler.source>1.8</maven.compiler.source>
              <maven.compiler.target>1.8</maven.compiler.target>
              <junit.version>4.12</junit.version>
              <log4j.version>1.2.17</log4j.version>
              <lombok.version>1.16.18</lombok.version>
          </properties>
      
          <dependencies>
              <!--SpringBoot通用依赖模块-->
              <dependency>
                  <groupId>org.springframework.boot</groupId>
                  <artifactId>spring-boot-starter-web</artifactId>
              </dependency>
              <!--jedis-->
              <dependency>
                  <groupId>redis.clients</groupId>
                  <artifactId>jedis</artifactId>
                  <version>4.3.1</version>
              </dependency>
              <!--lettuce-->
              <!--<dependency>
                  <groupId>io.lettuce</groupId>
                  <artifactId>lettuce-core</artifactId>
                  <version>6.2.1.RELEASE</version>
              </dependency>-->
              <!--SpringBoot与Redis整合依赖-->
              <dependency>
                  <groupId>org.springframework.boot</groupId>
                  <artifactId>spring-boot-starter-data-redis</artifactId>
              </dependency>
              <dependency>
                  <groupId>org.apache.commons</groupId>
                  <artifactId>commons-pool2</artifactId>
              </dependency>
              <!--swagger2-->
              <dependency>
                  <groupId>io.springfox</groupId>
                  <artifactId>springfox-swagger2</artifactId>
                  <version>2.9.2</version>
              </dependency>
              <dependency>
                  <groupId>io.springfox</groupId>
                  <artifactId>springfox-swagger-ui</artifactId>
                  <version>2.9.2</version>
              </dependency>
              <!--Mysql数据库驱动-->
              <dependency>
                  <groupId>mysql</groupId>
                  <artifactId>mysql-connector-java</artifactId>
                  <version>8.0.18</version>
              </dependency>
              <!--SpringBoot集成druid连接池-->
              <dependency>
                  <groupId>com.alibaba</groupId>
                  <artifactId>druid-spring-boot-starter</artifactId>
                  <version>1.1.10</version>
              </dependency>
              <dependency>
                  <groupId>com.alibaba</groupId>
                  <artifactId>druid</artifactId>
                  <version>1.1.16</version>
              </dependency>
              <!--mybatis和springboot整合-->
              <dependency>
                  <groupId>org.mybatis.spring.boot</groupId>
                  <artifactId>mybatis-spring-boot-starter</artifactId>
                  <version>1.3.0</version>
              </dependency>
              <!--hutool-->
              <dependency>
                  <groupId>cn.hutool</groupId>
                  <artifactId>hutool-all</artifactId>
                  <version>5.2.3</version>
              </dependency>
              <!--persistence-->
              <dependency>
                  <groupId>javax.persistence</groupId>
                  <artifactId>persistence-api</artifactId>
                  <version>1.0.2</version>
              </dependency>
              <!--通用Mapper-->
              <dependency>
                  <groupId>tk.mybatis</groupId>
                  <artifactId>mapper</artifactId>
                  <version>4.1.5</version>
              </dependency>
              <dependency>
                  <groupId>org.springframework.boot</groupId>
                  <artifactId>spring-boot-autoconfigure</artifactId>
              </dependency>
              <!--通用基础配置junit/devtools/test/log4j/lombok/-->
              <dependency>
                  <groupId>junit</groupId>
                  <artifactId>junit</artifactId>
                  <version>${junit.version}</version>
              </dependency>
              <dependency>
                  <groupId>org.springframework.boot</groupId>
                  <artifactId>spring-boot-starter-test</artifactId>
                  <scope>test</scope>
              </dependency>
              <dependency>
                  <groupId>log4j</groupId>
                  <artifactId>log4j</artifactId>
                  <version>${log4j.version}</version>
              </dependency>
              <dependency>
                  <groupId>org.projectlombok</groupId>
                  <artifactId>lombok</artifactId>
                  <version>${lombok.version}</version>
                  <optional>true</optional>
              </dependency>
          </dependencies>
      
          <build>
              <plugins>
                  <plugin>
                      <groupId>org.springframework.boot</groupId>
                      <artifactId>spring-boot-maven-plugin</artifactId>
                  </plugin>
              </plugins>
          </build>
      
      </project>
      
      
      
    • YML

      server:
        port: 7777
      spring:
        application:
          name: redis7_study
        swagger2:
          enabled: true
        mvc:
          pathmatch:
            matching-strategy: ant_path_matcher
      #============redis=====================
        redis:
          database: 0
          host: 127.0.0.1
          port: 6379
          password:
          lettuce:
            pool:
              max-active: 8
              max-wait: -1ms
              max-idle: 8
              min-idle: 0
      #============alibaba.druid=====================
        datasource:
          type: com.alibaba.druid.pool.DruidDataSource
          driver-class-name: com.mysql.cj.jdbc.Driver
          url: jdbc:mysql://localhost:3306/bigdata?useSSL=false&useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai
          username: root
          password: zhg.168..
          druid:
            test-while-idle: false
      #============log=====================
      logging:
        level:
          root: info
          com.zhg.redis7: info
        pattern:
          console: "%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger- %msg%n"
          file: "%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger- %msg%n"
        file:
          name: D:/mylogs2023/redis7_study.log
      #============mybatis=====================
      mybatis:
        mapper-locations: classpath:mapper/*.xml
        type-aliases-package: com.zhg.redis7.entities
      
    • 主启动

      @SpringBootApplication
      @MapperScan("com.zhg.redis7.mapper") //tk.mybatis.spring.annotation.MapperScan;
      public class Redis7Main {
          public static void main(String[] args)
          {
              SpringApplication.run(Redis7Main.class,args);
          }
      }
      
    • 业务类

      CustomerSerivce

      @Service
      @Slf4j
      public class CustomerSerivce
      {
          public static final String CACHE_KEY_CUSTOMER = "customer:";
      
          @Resource
          private CustomerMapper customerMapper;
          @Resource
          private RedisTemplate redisTemplate;
      
          public void addCustomer(Customer customer){
              int i = customerMapper.insertSelective(customer);
      
              if(i > 0)
              {
                  //到数据库里面,重新捞出新数据出来,做缓存
                  customer=customerMapper.selectByPrimaryKey(customer.getId());
                  //缓存key
                  String key=CACHE_KEY_CUSTOMER+customer.getId();
                  //往mysql里面插入成功随后再从mysql查询出来,再插入redis
                  redisTemplate.opsForValue().set(key,customer);
              }
          }
      
          public Customer findCustomerById(Integer customerId){
              Customer customer = null;
              //缓存key的名称
              String key=CACHE_KEY_CUSTOMER+customerId;
              //1 查询redis
              customer = (Customer) redisTemplate.opsForValue().get(key);
              //redis无,进一步查询mysql
              if(customer==null){
                  //2 从mysql查出来customer
                  customer=customerMapper.selectByPrimaryKey(customerId);
                  // mysql有,redis无
                  if (customer != null) {
                      //3 把mysql捞到的数据写入redis,方便下次查询能redis命中。
                      redisTemplate.opsForValue().set(key,customer);
                  }
              }
              return customer;
          }
      
      }
      

      CustomerController

    @Api(tags = "客户Customer接口+布隆过滤器讲解")
    @RestController
    @Slf4j
    public class CustomerController{
        @Resource
        private CustomerSerivce customerSerivce;
    
        @ApiOperation("数据库初始化2条Customer数据")
        @RequestMapping(value = "/customer/add", method = RequestMethod.POST)
        public void addCustomer() {
            for (int i = 0; i < 2; i++) {
                Customer customer = new Customer();
                customer.setCname("customer"+i);
                customer.setAge(new Random().nextInt(30)+1);
                customer.setPhone("1381111xxxx");
                customer.setSex((byte) new Random().nextInt(2));
                customer.setBirth(Date.from(LocalDateTime.now().atZone(ZoneId.systemDefault()).toInstant()));
                customerSerivce.addCustomer(customer);
            }
        }
        @ApiOperation("单个用户查询,按customerid查用户信息")
        @RequestMapping(value = "/customer/{id}", method = RequestMethod.GET)
        public Customer findCustomerById(@PathVariable int id) {
            return customerSerivce.findCustomerById(id);
        }
    }
    

    RedisConfig和swaggerconfig详见Sringboot整合Redis

    启动测试Swagger是否OK

  3. 添加布隆过滤器案例

  • BloomFilterInit白名单

    import lombok.extern.slf4j.Slf4j;
    import org.springframework.data.redis.core.RedisTemplate;
    import org.springframework.stereotype.Component;
    
    import javax.annotation.PostConstruct;
    import javax.annotation.Resource;
    
    /**
     * 布隆过滤器白名单初始化工具类,一开始就设置一部分数据为白名单所有,
     * 白名单业务默认规定:布隆过滤器有,redis也有。
     */
    @Component
    @Slf4j
    public class BloomFilterInit
    {
        @Resource
        private RedisTemplate redisTemplate;
    
        @PostConstruct//初始化白名单数据,故意差异化数据演示效果......
        public void init()
        {
            //白名单客户预加载到布隆过滤器
            String uid = "customer:12";
            //1 计算hashcode,由于可能有负数,直接取绝对值
            int hashValue = Math.abs(uid.hashCode());
            //2 通过hashValue和2的32次方取余后,获得对应的下标坑位
            long index = (long) (hashValue % Math.pow(2, 32));
            log.info(uid+" 对应------坑位index:{}",index);
            //3 设置redis里面bitmap对应坑位,该有值设置为1
            redisTemplate.opsForValue().setBit("whitelistCustomer",index,true);
        }
    }
    
  • CheckUtils

    import lombok.extern.slf4j.Slf4j;
    import org.springframework.data.redis.core.RedisTemplate;
    import org.springframework.stereotype.Component;
    
    import javax.annotation.Resource;
    
    
    @Component
    @Slf4j
    public class CheckUtils
    {
        @Resource
        private RedisTemplate redisTemplate;
    
        public boolean checkWithBloomFilter(String checkItem,String key)
        {
            int hashValue = Math.abs(key.hashCode());
            long index = (long) (hashValue % Math.pow(2, 32));
            boolean existOK = redisTemplate.opsForValue().getBit(checkItem, index);
            log.info("----->key:"+key+"\t对应坑位index:"+index+"\t是否存在:"+existOK);
            return existOK;
        }
    }
    
  • CustomerSerivce

    @Service
    @Slf4j
    public class CustomerSerivce
    {
        public static final String CACHE_KEY_CUSTOMER = "customer:";
    
        @Resource
        private CustomerMapper customerMapper;
        @Resource
        private RedisTemplate redisTemplate;
    
        @Resource
        private CheckUtils checkUtils;
    
        public void addCustomer(Customer customer){
            int i = customerMapper.insertSelective(customer);
    
            if(i > 0)
            {
                //到数据库里面,重新捞出新数据出来,做缓存
                customer=customerMapper.selectByPrimaryKey(customer.getId());
                //缓存key
                String key=CACHE_KEY_CUSTOMER+customer.getId();
                //往mysql里面插入成功随后再从mysql查询出来,再插入redis
                redisTemplate.opsForValue().set(key,customer);
            }
        }
    
        public Customer findCustomerById(Integer customerId){
            Customer customer = null;
    
            //缓存key的名称
            String key=CACHE_KEY_CUSTOMER+customerId;
    
            //1 查询redis
            customer = (Customer) redisTemplate.opsForValue().get(key);
    
            //redis无,进一步查询mysql
            if(customer==null)
            {
                //2 从mysql查出来customer
                customer=customerMapper.selectByPrimaryKey(customerId);
                // mysql有,redis无
                if (customer != null) {
                    //3 把mysql捞到的数据写入redis,方便下次查询能redis命中。
                    redisTemplate.opsForValue().set(key,customer);
                }
            }
            return customer;
        }
    
        /**
         * BloomFilter → redis → mysql
         * 白名单:whitelistCustomer
         * @param customerId
         * @return
         */
        public Customer findCustomerByIdWithBloomFilter (Integer customerId)
        {
            Customer customer = null;
    
            //缓存key的名称
            String key = CACHE_KEY_CUSTOMER + customerId;
    
            //布隆过滤器check,无是绝对无,有是可能有
            //===============================================
            if(!checkUtils.checkWithBloomFilter("whitelistCustomer",key))
            {
                log.info("白名单无此顾客信息:{}",key);
                return null;
            }
            //===============================================
    
            //1 查询redis
            customer = (Customer) redisTemplate.opsForValue().get(key);
            //redis无,进一步查询mysql
            if (customer == null) {
                //2 从mysql查出来customer
                customer = customerMapper.selectByPrimaryKey(customerId);
                // mysql有,redis无
                if (customer != null) {
                    //3 把mysql捞到的数据写入redis,方便下次查询能redis命中。
                    redisTemplate.opsForValue().set(key, customer);
                }
            }
            return customer;
        }
    }
    
  • CustomerController

    @ApiOperation("BloomFilter案例讲解")
    @RequestMapping(value = "/customerbloomfilter/{id}", method = RequestMethod.GET)
    public Customer findCustomerByIdWithBloomFilter(@PathVariable int id) throws ExecutionException, InterruptedException
    {
        return customerSerivce.findCustomerByIdWithBloomFilter(id);
    }
    
  • 测试

布隆过滤器优缺点

  • 优点

    高效地插入和查询,内存占用bit空间少

  • 缺点

    不能删除元素。

    因为删掉元素会导致误判率增加,因为hash冲突同一个位置可能存的东西是多个共有的,你删除一个元素的同时可能也把其它的删除了。

tomer == null) {
//2 从mysql查出来customer
customer = customerMapper.selectByPrimaryKey(customerId);
// mysql有,redis无
if (customer != null) {
//3 把mysql捞到的数据写入redis,方便下次查询能redis命中。
redisTemplate.opsForValue().set(key, customer);
}
}
return customer;
}
}


- CustomerController

```java
@ApiOperation("BloomFilter案例讲解")
@RequestMapping(value = "/customerbloomfilter/{id}", method = RequestMethod.GET)
public Customer findCustomerByIdWithBloomFilter(@PathVariable int id) throws ExecutionException, InterruptedException
{
    return customerSerivce.findCustomerByIdWithBloomFilter(id);
}
  • 测试

布隆过滤器优缺点

  • 优点

    高效地插入和查询,内存占用bit空间少

  • 缺点

    不能删除元素。

    因为删掉元素会导致误判率增加,因为hash冲突同一个位置可能存的东西是多个共有的,你删除一个元素的同时可能也把其它的删除了。

    存在误判,不能精准过滤


http://www.kler.cn/a/520082.html

相关文章:

  • vue中onclick如何调用methods中的方法
  • Linux下Ubuntun系统报错find_package(BLAS REQUIRED)找不到
  • 电力场效应晶体管(电力 MOSFET),全控型器件
  • 算法中的移动窗帘——C++滑动窗口算法详解
  • 跟我学C++中级篇——容器的连接
  • 牛客周赛 Round 78 A-C
  • MFC程序设计(四)窗口创建机制
  • 在php中怎么打开OpenSSL
  • 云服务器快速安装docker, mysql,redis教程
  • 闲来无事复习下基础算法——递归的魅力
  • 【论文阅读】RAG-Reward: Optimizing RAG with Reward Modeling and RLHF
  • Golang并发机制及CSP并发模型
  • mybatis是什么?有什么作用?mybatis的简单使用
  • 低代码系统-产品架构案例介绍、得帆云(八)
  • C#加密方式
  • IoTDB 2025 春节值班与祝福
  • 01.K临近算法
  • VSCode安装+配置
  • Unity3D连接PLC的原理
  • 头歌实训作业 算法设计与分析-贪心算法(第5关:求解流水作业调度问题)
  • 汇编知识点整理
  • 在WSL使用gnome终端
  • TCP协议:互联网数据传输的守护者
  • Cpp::特殊类的设计(35)
  • Flutter_学习记录_基本组件的使用记录
  • 机器学习:支持向量机