데이터 베이스 MySQL 튜토리얼 REDIS中批量删除KEY

REDIS中批量删除KEY

Jun 07, 2016 pm 04:33 PM
key redis server w 삭제 일괄

Redis server went away 查看系统日志文件时发现每天定时有该错误抛出: PHP Fatal error: Uncaught exception 'RedisException' with message 'Redis server went away' 抛出该问题的脚本为统计脚本,需要读取前一天数据并入库,最初以为是REDIS读取太频繁

Redis server went away

查看系统日志文件时发现每天定时有该错误抛出:

PHP Fatal error:  
Uncaught exception 'RedisException' with message 'Redis server went away'
로그인 후 복사

抛出该问题的脚本为统计脚本,需要读取前一天数据并入库,最初以为是REDIS读取太频繁造成的,但将数据导到测试机后执行脚本发现不会出现该情况,仔细调试发现手动执行时有一行代码没有执行,若执行该行则十分缓慢。该行代码为:

$Redis->delete($Redis->keys($pre_key_del.'*'));
로그인 후 복사

查看手册有相应提示:

KEYS 的速度非常快,但在一个大的数据库中使用它仍然可能造成性能问题,如果你需要从一个数据集
中查找特定的 key ,你最好还是用 Redis 的集合结构(set)来代替。
로그인 후 복사

登录redis通过info查看,内存使用25G多,而KEY也有1.44亿了。。。REIDS中有大量无用而又未设置过期时间的KEY存在。设置个过期时间,举手之劳的事,还是有必要的。

used_memory_human:24.72G
db0:keys=144856453,expires=25357
로그인 후 복사

通过测试机执行 keys prefix* 导致REDIS卡死,其他连接也连不上。所以定位到问题出现在keys命令上,也正如手册上说的造成性能问题。

如何删除未用到的KEY?

大部分KEY是有规律的,有特定前缀,需要拿到特定前缀的KEY然后删除,网上有这样的命令:

redis-cli -a redis-pwd -n 0 keys "preffix*" | xargs redis-cli -p 6379 -a redis-pwd -n 0 del
로그인 후 복사

测试机执行keys "preffix-1*"时间大概40多s,这意味着redis要停40s+,而前缀是按天设置的,这样子需要操作多次,因为业务的原因,不允许这么操作,分分钟都是钱~
最后想到的办法是先从测试机上把满足条件的key导到文本,前面的语句通过cat文本去拿。如:

redis-cli -p 6380 -a redis-pwd keys "preffix-1*" > /home/keys_redis/preffix-1
로그인 후 복사

然后通过这些数据删掉生产环境上的key。

cat /home/keys_redis/preffix-1 | xargs redis-cli -a redis-pwd -n 0 del
로그인 후 복사

删除的速度非常快,内存耗的也挺快,感觉像是有多少耗多少的。执行之后KEY的数量减少了95%+,内存也从25G降到了2G。不过有一个指数升高了 ———— mem_fragmentation_ratio,前后的memory对比:

# Memory 处理前
used_memory:26839186032
used_memory_human:25.00G
used_memory_rss:23518339072
used_memory_peak:26963439000
used_memory_peak_human:25.11G
used_memory_lua:31744
mem_fragmentation_ratio:0.88
mem_allocator:jemalloc-3.2.0
# Memory 处理后
used_memory:2399386704
used_memory_human:2.23G
used_memory_rss:4621533184
used_memory_peak:26963439000
used_memory_peak_human:25.11G
used_memory_lua:31744
mem_fragmentation_ratio:1.93
mem_allocator:jemalloc-3.2.0
로그인 후 복사

mem_fragmentation_ratio的问题可能还需要优化下,从redis这个问题可以看到,设置cache的时候我们也需要考虑到cache的维护问题,是否该设置cache的过期时间,key的命名方式如何管理,不能只想着把数据塞进去就万事大吉了。

相关网站:

Redis

Redis 命令参考

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Docker 환경에서 PECL을 사용하여 확장자를 설치할 때 오류가 발생하는 이유는 무엇입니까? 그것을 해결하는 방법? Docker 환경에서 PECL을 사용하여 확장자를 설치할 때 오류가 발생하는 이유는 무엇입니까? 그것을 해결하는 방법? Apr 01, 2025 pm 03:06 PM

Docker 환경을 사용할 때 Docker 환경에 Extensions를 설치하기 위해 PECL을 사용하여 오류의 원인 및 솔루션. 종종 일부 두통이 발생합니다 ...

Dockerfile에서 여러 서비스를 효율적으로 시작하는 방법은 무엇입니까? Dockerfile에서 여러 서비스를 효율적으로 시작하는 방법은 무엇입니까? Apr 01, 2025 pm 02:15 PM

Dockerfile에서 CMD 명령의 효율적인 사용에 대해 많은 새로운 Docker 사용자가 CMD를 사용하고 있습니다 ...

Redis Stream을 사용하여 GO Language에서 메시지 대기열을 구현할 때 User_ID 유형 변환 문제를 해결하는 방법은 무엇입니까? Redis Stream을 사용하여 GO Language에서 메시지 대기열을 구현할 때 User_ID 유형 변환 문제를 해결하는 방법은 무엇입니까? Apr 02, 2025 pm 04:54 PM

Go Language에서 메시지 대기열을 구현하기 위해 Redisstream을 사용하는 문제는 Go Language와 Redis를 사용하는 것입니다 ...

Redis 대기열과 MySQL 안정성 비교 : Redis가 데이터 손실에 발생하는 이유는 무엇입니까? Redis 대기열과 MySQL 안정성 비교 : Redis가 데이터 손실에 발생하는 이유는 무엇입니까? Apr 01, 2025 pm 02:24 PM

Redis 대기열과 MySQL 안정성 비교 : Redis가 데이터 손실에 발생하는 이유는 무엇입니까? PHP7.2 및 ThinkPHP 프레임 워크를 사용하여 개발 환경에서 우리는 종종 협력의 선택에 직면 해 있습니다 ...

Laravel6 프로젝트에서 Redis 연결의 유효성을 효과적으로 확인하는 방법은 무엇입니까? Laravel6 프로젝트에서 Redis 연결의 유효성을 효과적으로 확인하는 방법은 무엇입니까? Apr 01, 2025 pm 02:00 PM

Laravel6 프로젝트에서 Redis 연결의 유효성을 확인하는 방법은 특히 프로젝트가 비즈니스 처리를 위해 Redis에 의존 할 때 일반적인 문제입니다. 다음은 ...

웹 사이트에서 데비안 문자열을 적용하는 방법 웹 사이트에서 데비안 문자열을 적용하는 방법 Apr 02, 2025 am 08:21 AM

이 기사에서는 데비안 시스템에서 웹 사이트 성능을 최적화하는 방법에 대해 설명합니다. "Debiantrings"는 표준 용어가 아니며 웹 사이트 성능을 향상시키기 위해 데비안 시스템에 사용되는 도구 또는 기술을 참조 할 수 있습니다. 다음은 실용적인 팁입니다. 1. Pagoda 패널을 사용하여 웹 서버 및 PHP 환경 구성의 설치 및 구성 프로세스를 단순화하는 것이 좋습니다. Nginx1.22.1을 웹 서버로, PHP8.2를 스크립트 통역사로, 데이터베이스 시스템으로 MySQL10.7.3-mariadb를 설치하는 것이 좋습니다. FileInfo, Opcache, Memcached, Red와 같은 필요한 PHP 확장을 활성화하십시오.

See all articles