redis中的bitmap实例分析

本文小编为大家详细介绍“redis中的bitmap实例分析”，内容详细，步骤清晰，细节处理妥当，希望这篇“Redis中的bitmap实例分析”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知识吧。

1、BitMap是什么

通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。我们知道8个bit可以组成一个Byte，所以bitmap本身会极大的节省储存空间。2^32次方40亿数据只需要500M内存，需要内存少了8倍

2、setbit命令介绍 

setbit key offset value #设置bitmapkey为20220328  uid为100的用户已签到1setbit  20220320  100 1 setbit  20220320  200 1 setbit  20220321  100 1setbit  20220321  300 1  getbit 20220320  100  #返回1,说明这个用户已签到了  bitcount 20220320  #获取bitmap数量

bitmap的坑

127.0.0.1:6400> setbit bittest 100 1 #设置不存在的offset返回0(integer) 0127.0.0.1:6400> setbit bittest 100 1 #设置已存在的offset返回1(integer) 1

setbit maxKey 4000000000 1 #直接弄了你600多M内存

    public function blooMaction(){        $t1 = time();         for($i=0;$i<99;$i++){            $bl = new BloomFilter();            //$str = "1https://arnaud.le-blanc.net/PHP-rdkafka-doc/phpdoc/book.rdkafka.html?id=".time();            $str = "Https://dasda.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".mt_rand(1,99999999);            p($str);             $res1 = $bl->jsHash($str);//两次哈希3s,md5哈希重复的概率是百万分之一             p($res1);        }        //p($res);        $t2 = time();        echo $t2-$t1;    }        public function isExistBloomAction(){        $redis = redisCursor();        $email = input("email","","trim");        $tel   = input("tel","");         $result = false;        $msg    = "";        if(filter_var($email,FILTER_VALIDATE_EMAIL)){            $key1  = "bloom_user_email";            $offset = BloomFilter::JSHash($email);            $result = $redis->getbit($key1,$offset);            $msg = $email;        }elseif($tel){            $key2  = "bloom_user_telephone";            $offset = BloomFilter::JSHash($tel);            $result = $redis->getbit($key2,$offset);            $msg = $tel;        }         $result?apiSuccess($msg.",已存在"):apiError($msg.",不存在");    }        public function loadDb2bloomAction(){        $time1 = time();        $redis = redisCursor();         $key1 = "bloom_user_email";        $key2 = "bloom_user_telephone";         //setbit() offset 必须是数字,value必须是1或0        //$redis->setbit($key,30,1);        $table  = "user";        $pkid   = "id";        $field1 = "email";        $field2 = "telephone";         $maxid = Db::name($table)->max($pkid);         $size  = 5000;        $page  = ceil($maxid/$size);         for($i=0;$i<$page;$i++){            $start = $i*$size;            $where = " $pkid between ".$start."  and ".($start+$size);            $res = Db::name($table)->where($where)->field("$field1,$field2")->select();             if($res){//同步到bitmap                foreach($res as $k=>$v){                    //布隆过滤器  1.存在的不一定存在, 2.不存在的100%不存在(原因,哈希冲突可能用100W分之一的可能重复)                    //所以注册的时候判断不存在的,百分百可以注册，存在的可以查询一下数据库是否真的不存在                     $value1 = BloomFilter::JSHash($v["$field1"]);                    $value2 = BloomFilter::JSHash($v["$field2"]);                     $redis->setbit($key1,$value1,1);//email去重                    $redis->setbit($key2,$value2,1);//mobile去重                }            }             $time2 = time();            echo $where." 消耗时间 ".($time2-$time1).PHP_EOL;        }         $time3 = time();        echo " 总消耗时间 ".($time3-$time1).PHP_EOL;    }

<?php class BloomFilter{             public static function JSHash($string, $limitMemory=true,$len = null)    {        $hash = 1315423911;        $len || $len = strlen($string);         for($i = 0; $i < $len; $i++)        {            $hash ^= (($hash << 5) + ord($string[$i]) + ($hash >> 2));        }         $hashNum = ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;         //为了节省内存,超过10亿就对半拆,10亿,这时候大约是130M内存占用,千万级数据可以做到1%误判率,内存足够可以不用判断,直接生成就行了        //如果数据过4000W的话不用限制了,因为生成的数据最大也是2^32次方40多亿,此时内存占用大概在600M封顶了        if($limitMemory){            if($hashNum>4000000000){                $hashNum = intval($hashNum/5);            }elseif($hashNum>3000000000){                $hashNum = intval($hashNum/4);            }elseif($hashNum>2000000000){                $hashNum = intval($hashNum/3);            }        }         return $hashNum;    }}

读到这里，这篇“redis中的bitmap实例分析”文章已经介绍完毕，想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会，如果想了解更多相关内容的文章，欢迎关注编程网精选频道。