Introduction à l'écriture par lots Redis

La colonne suivante vous présentera l'écriture par lots Redis à partir de la colonne Tutoriel Redis J'espère qu'elle sera utile aux amis qui en ont besoin !

Récemment, les performances de redis ont été testées, et plus de 10 millions de données ont dû être insérées par lots

y ont simplement effectué des recherches. sont probablement les méthodes suivantes :

1 : appel de programme Java, boucle for simple, insertion directe via la méthode Jedis,

Quant à la vitesse, vous n'avez pas besoin d'y regarder, n'est-ce pas Ne l'essayez pas, si cela ne fonctionne pas du tout, il ne sera pas implémenté.

Deux : Grâce au script shell, c'est relativement simple, mais c'est aussi parce qu'il doit être connecté à Redis via le port

La vitesse est également très lente, alors abandonnez.

Trois : Fournissez un pipeline via Redis. Je pense que cette méthode est la plus fiable :

Étape 1 : Écrivez d'abord simplement un script shell :

for((i=1;i<=1000000;i++))        doecho "set k$i v$i" >> /tmp/_t.txt        done

Le but est de générer un fichier script pour l'insertion par lots

Étape 2 : Les fichiers générés sous Linux ou Windows ne peuvent pas être exécutés directement en tant qu'instructions redis

Pour faire simple, à cause de. Linux, Les sauts de ligne de windows et dos sont différents,

, vous devez donc simplement convertir :

Il existe de nombreuses méthodes de conversion :

1 : Dans distributions générales Linux Toutes sont livrées avec ce petit outil, qui ne peut convertir que des fichiers DOS en fichiers UNIX. La commande est la suivante :

# unix2dos dosfile.txt

La commande ci-dessus supprimera le symbole ^M à la fin de la ligne. (Si nuix2dos n'est pas installé sur la machine, utilisez simplement la méthode 2)

2 : Utilisez vim, vim est une version améliorée de vi Comment utiliser :

#vim file.txt
:set fileformat=dos
::wq

Une ligne. la commande suffit, enregistrez et quittez,

Étape 3 : Exécutez simplement le script, via le tube fourni par redis--pipe form,

cat redisTest .txt | redis- cli -h reids.aliyuncs.com -p 6379 -a xxxx --pipe

Trois étapes suffisent pour terminer l'insertion par lots de redis. dans le cas de 20 millions d'éléments, la vitesse de génération des scripts est un peu lente et la vitesse d'insertion n'est que de quelques minutes

La vitesse peut être considérée comme très rapide~

.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!