데이터 베이스 Redis Redis가 메모리를 절약하는 방법

Redis가 메모리를 절약하는 방법

May 31, 2023 pm 08:04 PM
redis

먼저 사진 ID를 통해 사용자 UID를 역으로 확인하는 이 애플리케이션의 요구 사항은 다음과 같습니다.

  • 쿼리 속도가 충분히 빨라야 합니다.

  • 데이터를 메모리에 저장할 수 있어야 하며, 바람직하게는 EC2입니다. 대용량 메모리 모델은 저장할 수 있습니다(17GB나 34GB, 68GB는 너무 아깝습니다)

  • 지속성을 지원하므로 서버 재시작 후 워밍업이 필요 없습니다

우선 데이터베이스 스토리지 솔루션을 거부했고, 그리고 그들은 KISS 원칙(Keep It Simple and Stupid)을 채택했습니다. 왜냐하면 이 애플리케이션은 데이터베이스의 업데이트 기능, 트랜잭션 기능, 관련 쿼리 및 기타 멋진 기능을 전혀 사용하지 않기 때문에 선택하고 유지할 필요가 없기 때문입니다. 사용되지 않는 기능에 대한 데이터베이스입니다.

그래서 그들은 Redis를 선택했습니다. Redis는 지속성을 지원하는 인메모리 데이터베이스이며, 가장 간단한 구현은 Redis의 문자열 구조를 사용하여 키-값을 만드는 것입니다. .

SET media:1155315 939
GET media:1155315
> 939
로그인 후 복사

여기서 1155315는 사진 ID이고 939는 사용자 ID입니다. 각 사진 ID를 키로 사용하고 사용자 uid를 값으로 사용하여 키-값 쌍으로 저장합니다. 그런 다음 위의 방법에 따라 테스트를 수행하고 데이터를 저장하면 1,000,000개의 데이터는 70MB의 메모리를 사용하고, 300,000,000개의 사진은 21GB의 메모리를 사용합니다. 17GB라는 예산에 비하면 여전히 과잉 지출이다.

(NoSQLFan: 사실 여기서 최적화 지점을 볼 수 있습니다. 키 값 앞의 동일한 미디어를 제거하고 숫자만 저장할 수 있습니다. 이렇게 하면 키 길이가 줄어들고 키의 메모리 오버헤드가 줄어듭니다. value [참고: Redis 키 값은 문자열에서 숫자로 변환되지 않으므로 여기에 저장되는 것은 미디어 6바이트의 오버헤드뿐입니다.] 실험 후에 메모리 사용량은 50MB로 줄어들고 총 메모리는 15GB면 충분합니다. 하지만 인스타그램의 후속 개선은 여전히 ​​필요합니다)

그래서 인스타그램 개발자는 Redis 개발자 중 한 명인 Pieter Noordhuis에게 최적화 계획에 대해 문의했고, 대답은 Hash 구조를 사용한다는 것이었습니다. . 구체적인 방법은 데이터를 분할하고 해시 구조를 사용하여 각 세그먼트를 저장하는 것입니다. 해시 구조는 특정 숫자보다 작은 단일 해시 요소를 압축하여 저장하므로 많은 메모리를 절약할 수 있습니다. 위의 문자열 구조에는 존재하지 않습니다. 구성 파일의 "hash-zipmap-max-entries" 매개변수는 특정 수를 제어합니다. 개발자의 실험 결과 hash-zipmap-max-entries가 1000으로 설정되면 성능이 더 좋아집니다. 1000을 초과하면 HSET 명령으로 인해 CPU 소비가 매우 커집니다.

그래서 그들은 계획을 변경하고 다음 구조로 데이터를 저장했습니다.

HSET "mediabucket:1155" "1155315" "939"
HGET "mediabucket:1155" "1155315"
> "939"
로그인 후 복사

7자리 사진 ID의 처음 4자리를 해시 구조의 키 값으로 사용하여 각 해시에 3자리 키입니다.

또 다른 실험을 진행한 결과, 키 1,000,000개당 메모리가 16MB만 소모되는 것으로 나타났습니다. 총 메모리 사용량도 5GB로 줄어들어 애플리케이션 요구 사항을 충족합니다.

(NoSQLFan: 마찬가지로 여기서도 최적화할 수 있습니다. 먼저 해시 구조의 키 값을 순수한 숫자로 변경하여 키 길이를 12바이트로 줄입니다. 둘째, 해시 구조의 하위 키 값을 세 자리로 변경합니다. , 아래와 같이 오버헤드가 4바이트 더 줄어듭니다. 실험 후 메모리 공간은 10MB로 줄어들고 총 메모리 공간은 3GB가 됩니다.)

HSET "1155" "315" "939"
HGET "1155" "315"
> "939"
로그인 후 복사

위 내용은 Redis가 메모리를 절약하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Redis 클러스터 모드를 구축하는 방법 Redis 클러스터 모드를 구축하는 방법 Apr 10, 2025 pm 10:15 PM

Redis Cluster Mode는 Sharding을 통해 Redis 인스턴스를 여러 서버에 배포하여 확장 성 및 가용성을 향상시킵니다. 시공 단계는 다음과 같습니다. 포트가 다른 홀수 redis 인스턴스를 만듭니다. 3 개의 센티넬 인스턴스를 만들고, Redis 인스턴스 및 장애 조치를 모니터링합니다. Sentinel 구성 파일 구성, Redis 인스턴스 정보 및 장애 조치 설정 모니터링 추가; Redis 인스턴스 구성 파일 구성, 클러스터 모드 활성화 및 클러스터 정보 파일 경로를 지정합니다. 각 redis 인스턴스의 정보를 포함하는 Nodes.conf 파일을 작성합니다. 클러스터를 시작하고 Create 명령을 실행하여 클러스터를 작성하고 복제본 수를 지정하십시오. 클러스터에 로그인하여 클러스터 정보 명령을 실행하여 클러스터 상태를 확인하십시오. 만들다

Redis 데이터를 지우는 방법 Redis 데이터를 지우는 방법 Apr 10, 2025 pm 10:06 PM

Redis 데이터를 지우는 방법 : Flushall 명령을 사용하여 모든 키 값을 지우십시오. FlushDB 명령을 사용하여 현재 선택한 데이터베이스의 키 값을 지우십시오. 선택을 사용하여 데이터베이스를 전환 한 다음 FlushDB를 사용하여 여러 데이터베이스를 지우십시오. del 명령을 사용하여 특정 키를 삭제하십시오. Redis-Cli 도구를 사용하여 데이터를 지우십시오.

Redis 대기열을 읽는 방법 Redis 대기열을 읽는 방법 Apr 10, 2025 pm 10:12 PM

Redis의 대기열을 읽으려면 대기열 이름을 얻고 LPOP 명령을 사용하여 요소를 읽고 빈 큐를 처리해야합니다. 특정 단계는 다음과 같습니다. 대기열 이름 가져 오기 : "큐 :"와 같은 "대기열 : my-queue"의 접두사로 이름을 지정하십시오. LPOP 명령을 사용하십시오. 빈 대기열 처리 : 대기열이 비어 있으면 LPOP이 NIL을 반환하고 요소를 읽기 전에 대기열이 존재하는지 확인할 수 있습니다.

Redis 명령을 사용하는 방법 Redis 명령을 사용하는 방법 Apr 10, 2025 pm 08:45 PM

Redis 지시 사항을 사용하려면 다음 단계가 필요합니다. Redis 클라이언트를 엽니 다. 명령 (동사 키 값)을 입력하십시오. 필요한 매개 변수를 제공합니다 (명령어마다 다름). 명령을 실행하려면 Enter를 누르십시오. Redis는 작업 결과를 나타내는 응답을 반환합니다 (일반적으로 OK 또는 -err).

Redis Lock을 사용하는 방법 Redis Lock을 사용하는 방법 Apr 10, 2025 pm 08:39 PM

Redis를 사용하여 잠금 작업을 사용하려면 SetNX 명령을 통해 잠금을 얻은 다음 만료 명령을 사용하여 만료 시간을 설정해야합니다. 특정 단계는 다음과 같습니다. (1) SETNX 명령을 사용하여 키 값 쌍을 설정하십시오. (2) 만료 명령을 사용하여 잠금의 만료 시간을 설정하십시오. (3) DEL 명령을 사용하여 잠금이 더 이상 필요하지 않은 경우 잠금을 삭제하십시오.

Redis의 소스 코드를 읽는 방법 Redis의 소스 코드를 읽는 방법 Apr 10, 2025 pm 08:27 PM

Redis 소스 코드를 이해하는 가장 좋은 방법은 단계별로 이동하는 것입니다. Redis의 기본 사항에 익숙해집니다. 특정 모듈을 선택하거나 시작점으로 기능합니다. 모듈 또는 함수의 진입 점으로 시작하여 코드를 한 줄씩 봅니다. 함수 호출 체인을 통해 코드를 봅니다. Redis가 사용하는 기본 데이터 구조에 익숙해 지십시오. Redis가 사용하는 알고리즘을 식별하십시오.

Redis 명령 줄을 사용하는 방법 Redis 명령 줄을 사용하는 방법 Apr 10, 2025 pm 10:18 PM

Redis Command Line 도구 (Redis-Cli)를 사용하여 다음 단계를 통해 Redis를 관리하고 작동하십시오. 서버에 연결하고 주소와 포트를 지정하십시오. 명령 이름과 매개 변수를 사용하여 서버에 명령을 보냅니다. 도움말 명령을 사용하여 특정 명령에 대한 도움말 정보를 봅니다. 종금 명령을 사용하여 명령 줄 도구를 종료하십시오.

Redis로 데이터 손실을 해결하는 방법 Redis로 데이터 손실을 해결하는 방법 Apr 10, 2025 pm 08:24 PM

REDIS 데이터 손실 원인에는 메모리 실패, 정전, 인간 오류 및 하드웨어 고장이 포함됩니다. 솔루션은 다음과 같습니다. 1. RDB 또는 AOF 지속성을 사용하여 디스크에 데이터를 저장합니다. 2. 고 가용성을 위해 여러 서버에 복사하십시오. 3. Redis Sentinel 또는 Redis 클러스터를 사용한 Ha; 4. 데이터를 백업 할 스냅 샷을 만듭니다. 5. 지속성, 복제, 스냅 샷, 모니터링 및 보안 조치와 같은 모범 사례를 구현합니다.

See all articles