Redis 배치 작성 소개

다음 칼럼에서는 Redis Tutorial 칼럼에서 Redis 배치 작성을 소개하겠습니다. 필요한 친구들에게 도움이 되길 바랍니다!

최근 Redis의 성능을 테스트했는데 1천만 개 이상의 데이터를 일괄적으로 삽입해야 했습니다.

간단하게 연구를 수행했는데 아마도 다음과 같은 방법이 있을 것입니다.

1: Java 프로그램 호출, 간단한 for 루프 , 제디스의 방식은 직접 삽입하는 방법인데,

속도는 볼 필요도 없고 해볼 필요도 없고 전혀 안되면 안 되네요. 구현됩니다.

둘: 쉘 스크립트를 사용하면 비교적 간단하지만, 포트를 통해 Redis에 연결해야 하기 때문에 속도도 매우 느리므로 포기하세요.

세 번째: Redis를 통해 파이프라인을 제공합니다. 이 방법이 가장 안정적이라고 생각합니다. 구현은 다음과 같습니다.

1단계: 먼저 간단히 쉘 스크립트를 작성합니다.

for((i=1;i<=1000000;i++))        doecho "set k$i v$i" >> /tmp/_t.txt        done

목적은 일괄 삽입을 위한 스크립트 파일을 생성하는 것입니다. ,

2단계: Linux 또는 Windows에서 생성된 파일은 redis 문으로 직접 실행할 수 없습니다.

간단히 말하면 Linux, Windows 및 Dos의 줄 바꿈이 다르기 때문에

간단히 해야 합니다. 변환됨:

다양한 변환 방법이 있습니다.

1: 이 작은 도구는 일반적으로 Linux 배포판에 포함되어 있습니다. 이 도구는 DOS를 UNIX 파일로만 변환할 수 있습니다. 명령은 다음과 같습니다.

# unix2dos dosfile.txt

위 명령은 ^M을 제거합니다. 줄 끝의 기호. (nuix2dos가 머신에 설치되어 있지 않으면 방법 2를 사용하십시오.)

2: vim을 사용하세요. vim은 vi의 향상된 버전입니다. 사용 방법:

#vim file.txt
:set fileformat=dos
::wq

한 줄의 명령, 저장 및 종료,

단계 3: 그게 다입니다. redis -pipe 양식,

cat redisTest.txt | redis-cli -h reids.aliyuncs.com -p 6379 -a xxxx --pipe에서 제공하는 파이프라인을 통해 스크립트를 실행합니다. 3단계: 네, redis의 일괄 삽입을 완료하는 속도는 2천만 개의 항목의 경우 스크립트 생성 속도가 약간 느립니다.

속도는 여전히 몇 분 정도라고 할 수 있습니다. 빨리 가세요~

위 내용은 Redis 배치 작성 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!