Redis中bitmap的妙用

高洛峰
發布: 2023-03-05 16:02:01
原創
1462 人瀏覽過

在Redis中我們常用到set,get等指令,細心的你有沒有發現,還有幾個相似的指令叫setbit,getbit,它們是用來幹嘛的?

BitMap是什麼

就是透過一個bit位元來表示某個元素對應的值或是狀態,其中的key就是對應元素本身。我們知道8個bit可以組成一個Byte,所以bitmap本身會極大的節省儲存空間。

Redis中的BitMap

Redis從2.2.0版本開始新增了setbit,getbit,bitcount等幾個bitmap相關指令。雖然是新指令,但是並沒有新增新的資料類型,因為setbit等指令只不過是在set上的擴充。

setbit指令介紹

指令 SETBIT key offset value
複雜度 O(1)
設定或清空key的value(c)在offset處的bit值(只能隻隻0或1)。

空間佔用、以及第一次分配空間所需的時間

在一台2010MacBook Pro上,offset為2^32-1(分配512MB)需要~300ms,offset為2^30-1(分配128MB)需要~80ms,offset為2^28-1(分配32MB)需要~30ms,offset為2^26-1(分配8MB)需要8ms。
大概的空間佔用計算公式是:($offset/8/1024/1024)MB

使用場景一:用戶簽到

很多網站都提供了簽到功能(這裡不考慮資料落地事宜),並且需要展示最近一個月的簽到情況,如果使用bitmap我們怎麼做?一言不合亮代碼!

<?php
$redis = new Redis();
$redis->connect('127.0.0.1');


//用户uid
$uid = 1;

//记录有uid的key
$cacheKey = sprintf("sign_%d", $uid);

//开始有签到功能的日期
$startDate = '2017-01-01';

//今天的日期
$todayDate = '2017-01-21';

//计算offset
$startTime = strtotime($startDate);
$todayTime = strtotime($todayDate);
$offset = floor(($todayTime - $startTime) / 86400);

echo "今天是第{$offset}天" . PHP_EOL;

//签到
//一年一个用户会占用多少空间呢?大约365/8=45.625个字节,好小,有木有被惊呆?
$redis->setBit($cacheKey, $offset, 1);

//查询签到情况
$bitStatus = $redis->getBit($cacheKey, $offset);
echo 1 == $bitStatus ? '今天已经签到啦' : '还没有签到呢';
echo PHP_EOL;

//计算总签到次数
echo $redis->bitCount($cacheKey) . PHP_EOL;

/**
* 计算某段时间内的签到次数
* 很不幸啊,bitCount虽然提供了start和end参数,但是这个说的是字符串的位置,而不是对应"位"的位置
* 幸运的是我们可以通过get命令将value取出来,自己解析。并且这个value不会太大,上面计算过一年一个用户只需要45个字节
* 给我们的网站定一个小目标,运行30年,那么一共需要1.31KB(就问你屌不屌?)
*/
//这是个错误的计算方式
echo $redis->bitCount($cacheKey, 0, 20) . PHP_EOL;
登入後複製
登入後複製

使用場景二:統計活躍用戶

使用時間作為cacheKey,然後用戶ID為offset,如果當日活躍過就設定為1
那麼我該如果計算某幾天/月/年的活躍用戶呢(暫且約定,統計時間內只有有一天在線就稱為活躍),有請下一個redis的命令
命令BITOP operation destkey key [key ...]
說明:對一個或多個保存二進位的字符串key 進行位元操作,並將結果儲存到destkey 上。
說明:BITOP 指令支援AND 、 OR 、 NOT 、 XOR 這四種操作中的任一參數

//日期对应的活跃用户

$data = array(

'2017-01-10' => array(1,2,3,4,5,6,7,8,9,10),

'2017-01-11' => array(1,2,3,4,5,6,7,8),

'2017-01-12' => array(1,2,3,4,5,6),

'2017-01-13' => array(1,2,3,4),

'2017-01-14' => array(1,2)

);



//批量设置活跃状态

foreach($data as $date=>$uids) {

$cacheKey = sprintf("stat_%s", $date);

foreach($uids as $uid) {

$redis->setBit($cacheKey, $uid, 1);

}

}



$redis->bitOp('AND', 'stat', 'stat_2017-01-10', 'stat_2017-01-11', 'stat_2017-01-12') . PHP_EOL;

//总活跃用户:6

echo "总活跃用户:" . $redis->bitCount('stat') . PHP_EOL;



$redis->bitOp('AND', 'stat1', 'stat_2017-01-10', 'stat_2017-01-11', 'stat_2017-01-14') . PHP_EOL;

//总活跃用户:2

echo "总活跃用户:" . $redis->bitCount('stat1') . PHP_EOL;



$redis->bitOp('AND', 'stat2', 'stat_2017-01-10', 'stat_2017-01-11') . PHP_EOL;

//总活跃用户:8

echo "总活跃用户:" . $redis->bitCount('stat2') . PHP_EOL;
登入後複製
登入後複製

假設目前站點有5000W用戶,那麼一天的資料大約是50000000/8/1024/1024=6MB

使用場景三:用戶在線狀態

前段時間開發一個項目,對方給我提供了一個查詢當前用戶是否在線的接口。不了解對方是怎麼做的,自己考慮了一下,使用bitmap是一個節約空間效率又高的一種方法,只需要一個key,然後用戶ID為offset,如果在線就設置為1,不在線就設置為0,和上面的場景一樣,5000W用戶只需要6MB的空間。

//批量设置在线状态
$uids = range(1, 500000);

foreach($uids as $uid) {

$redis->setBit('online', $uid, $uid % 2);

}

//一个一个获取状态

$uids = range(1, 500000);

$startTime = microtime(true);

foreach($uids as $uid) {

echo $redis->getBit('online', $uid) . PHP_EOL;

}

$endTime = microtime(true);

//在我的电脑上,获取50W个用户的状态需要25秒

echo "total:" . ($endTime - $startTime) . "s";




/**

* 对于批量的获取,上面是一种效率低的办法,实际可以通过get获取到value,然后自己计算

* 具体计算方法改天再写吧,之前写的代码找不见了。。。

*/
登入後複製
登入後複製

其實BitMap可以運用的場景很多很多(當然也會受到一些限制),思維可以繼續擴散~歡迎小伙伴給我留言探討~

在Redis中我們經常用到set,get等命令,細心的你有沒有發現,還有幾個相似的指令叫setbit,getbit,它們是用來幹嘛的?

BitMap是什麼

就是透過一個bit位元來表示某個元素對應的值或狀態,其中的key就是對應元素本身。我們知道8個bit可以組成一個Byte,所以bitmap本身會極大的節省儲存空間。

Redis中的BitMapRedis從2.2.0版本開始新增了setbit,getbit,bitcount等幾個bitmap相關指令。雖然是新指令,但是並沒有新增新的資料類型,因為setbit等指令只不過是在

set

上的擴充。

setbit指令介紹指令
SETBIT key offset value複雜度
O(1)

設定或清空key的value(()在offset處的bit值(只能隻隻0或1)。

空間佔用、以及第一次分配空間所需的時間
在一台2010MacBook Pro上,offset為2^32-1(分配512MB)需要~300ms,offset為2^30-1(分配128MB)需要~80ms,offset為2^28-1(分配32MB)需要~30ms,offset為2^26-1(分配8MB)需要8ms。 大概的空間佔用計算公式是:

($offset/8/1024/1024)MB

使用場景一:用戶簽到

🎜很多網站都提供了簽到功能(這裡不考慮資料落地事宜),並且需要展示最近一個月的簽到情況,如果使用bitmap我們怎麼做?一言不合亮代碼! 🎜
<?php
$redis = new Redis();
$redis->connect('127.0.0.1');


//用户uid
$uid = 1;

//记录有uid的key
$cacheKey = sprintf("sign_%d", $uid);

//开始有签到功能的日期
$startDate = '2017-01-01';

//今天的日期
$todayDate = '2017-01-21';

//计算offset
$startTime = strtotime($startDate);
$todayTime = strtotime($todayDate);
$offset = floor(($todayTime - $startTime) / 86400);

echo "今天是第{$offset}天" . PHP_EOL;

//签到
//一年一个用户会占用多少空间呢?大约365/8=45.625个字节,好小,有木有被惊呆?
$redis->setBit($cacheKey, $offset, 1);

//查询签到情况
$bitStatus = $redis->getBit($cacheKey, $offset);
echo 1 == $bitStatus ? '今天已经签到啦' : '还没有签到呢';
echo PHP_EOL;

//计算总签到次数
echo $redis->bitCount($cacheKey) . PHP_EOL;

/**
* 计算某段时间内的签到次数
* 很不幸啊,bitCount虽然提供了start和end参数,但是这个说的是字符串的位置,而不是对应"位"的位置
* 幸运的是我们可以通过get命令将value取出来,自己解析。并且这个value不会太大,上面计算过一年一个用户只需要45个字节
* 给我们的网站定一个小目标,运行30年,那么一共需要1.31KB(就问你屌不屌?)
*/
//这是个错误的计算方式
echo $redis->bitCount($cacheKey, 0, 20) . PHP_EOL;
登入後複製
登入後複製

使用場景二:統計活躍用戶

使用時間作為cacheKey,然後用戶ID為offset,如果當日活躍過就設定為1
那麼我該如果計算某幾天/月/年的活躍用戶呢(暫且約定,統計時間內只有有一天在線就稱為活躍),有請下一個redis的命令
命令BITOP operation destkey key [key ...]
說明:對一個或多個保存二進制位的字符串key進行位元操作,並將結果儲存到destkey 上。
說明:BITOP 指令支援AND 、 OR 、 NOT 、 XOR 這四種操作中的任一參數

//日期对应的活跃用户

$data = array(

'2017-01-10' => array(1,2,3,4,5,6,7,8,9,10),

'2017-01-11' => array(1,2,3,4,5,6,7,8),

'2017-01-12' => array(1,2,3,4,5,6),

'2017-01-13' => array(1,2,3,4),

'2017-01-14' => array(1,2)

);



//批量设置活跃状态

foreach($data as $date=>$uids) {

$cacheKey = sprintf("stat_%s", $date);

foreach($uids as $uid) {

$redis->setBit($cacheKey, $uid, 1);

}

}



$redis->bitOp('AND', 'stat', 'stat_2017-01-10', 'stat_2017-01-11', 'stat_2017-01-12') . PHP_EOL;

//总活跃用户:6

echo "总活跃用户:" . $redis->bitCount('stat') . PHP_EOL;



$redis->bitOp('AND', 'stat1', 'stat_2017-01-10', 'stat_2017-01-11', 'stat_2017-01-14') . PHP_EOL;

//总活跃用户:2

echo "总活跃用户:" . $redis->bitCount('stat1') . PHP_EOL;



$redis->bitOp('AND', 'stat2', 'stat_2017-01-10', 'stat_2017-01-11') . PHP_EOL;

//总活跃用户:8

echo "总活跃用户:" . $redis->bitCount('stat2') . PHP_EOL;
登入後複製
登入後複製

假設目前站點有5000W用戶,那麼一天的資料大約是50000000/8/1024/1024=6MB

使用場景三:用戶在線狀態

前段時間開發一個項目,對方給我提供了一個查詢當前用戶是否在線的接口。不了解對方是怎麼做的,自己考慮了一下,使用bitmap是一個節約空間效率又高的一種方法,只需要一個key,然後用戶ID為offset,如果在線就設置為1,不在線就設置為0,和上面的場景一樣,5000W用戶只需要6MB的空間。

//批量设置在线状态
$uids = range(1, 500000);

foreach($uids as $uid) {

$redis->setBit('online', $uid, $uid % 2);

}

//一个一个获取状态

$uids = range(1, 500000);

$startTime = microtime(true);

foreach($uids as $uid) {

echo $redis->getBit('online', $uid) . PHP_EOL;

}

$endTime = microtime(true);

//在我的电脑上,获取50W个用户的状态需要25秒

echo "total:" . ($endTime - $startTime) . "s";




/**

* 对于批量的获取,上面是一种效率低的办法,实际可以通过get获取到value,然后自己计算

* 具体计算方法改天再写吧,之前写的代码找不见了。。。

*/
登入後複製
登入後複製

其實BitMap可以運用的場景很多很多(當然也會受到一些限制),思維可以繼續擴散~歡迎小伙伴給我留言探討~

更多Redis中bitmap的妙用 相關文章請關注PHP中文網!

🎜🎜
相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板