Introduction détaillée au garbage collection nodejs

Cet article vous apporte une introduction détaillée au garbage collection nodejs. Il a une certaine valeur de référence. Les amis dans le besoin peuvent s'y référer.

Le mécanisme de garbage collection de nodejs est automatiquement géré par le moteur v8.

Limite de mémoire de nodejs

Dans les langages back-end généraux (php), il n'y a pas de limite sur l'utilisation de la mémoire, mais pour nodejs, cela dit que seule une partie du système peut être utilisée - 1,4G pour les systèmes 64 bits et 0,7G pour les systèmes 32 bits. À l'heure actuelle, si vous souhaitez traiter un fichier 3G pour l'analyse des données, même si la mémoire système est de 8 Go, la mémoire du processus nodejs débordera toujours.

Le problème ci-dessus est principalement dû au fait que nodejs est basé sur la v8 et que nodejs gère la mémoire via la propre méthode de la v8. Alors pourquoi la v8 limite-t-elle la taille de la mémoire tas ? Il y a 2 raisons :

1. Raison superficielle : la v8 est conçue pour les navigateurs et il est peu probable qu'elle rencontre des situations de mémoire importante.

2. Raison profonde : limitations du mécanisme de garbage collection v8. En prenant 1,5 Go de mémoire tas comme exemple, la v8 prend 50 ms pour effectuer un petit garbage collection et 1 s pour effectuer un garbage collection non incrémentiel. Le garbage collection entraînera une pause du thread js. Avec un tel temps passé, les performances et la réactivité de l'application chuteront.

La limite de mémoire peut être activée :
--max-old-space-size (ancienne génération)
--max-new-space-size (nouvelle génération)
tas v8 Taille de la mémoire = ancienne génération + nouvelle génération

mécanisme de collecte des ordures v8
la collecte des ordures v8 est principalement basée sur le mécanisme de collecte des ordures générationnel . Le garbage collection de mémoire est effectué sur différentes générations en fonction de la durée de survie de l'objet, et différents algorithmes sont exécutés sur différentes générations de mémoire.

Nouvelle génération ---> Objets avec un temps de survie court
Ancienne génération ---> Objets avec un temps de survie long ou mémoire résidente
Comme mentionné ci-dessus, la mémoire tas nodejs La taille est la nouvelle l'espace mémoire de génération plus l'espace mémoire d'ancienne génération.

Algorithme de nouvelle génération
La nouvelle génération utilise principalement l'algorithme de récupération pour le ramassage des ordures.

Il s'agit d'une méthode de copie pour implémenter le garbage collection. La mémoire tas est divisée en deux et chaque espace est appelé semi-espace. Parmi ces deux semi-espaces, un seul est utilisé (appelé depuis l'espace) et l'autre est libre (appelé vers l'espace). Lors du démarrage de l'allocation, nous commençons d'abord par l'espace from. Lorsque le garbage collection démarre, nous commençons également par l'espace from pour vérifier les objets survivants, copions les objets survivants dans l'espace to, et l'espace occupé par les objets non survivants sera être libéré. Une fois la copie terminée, les rôles de l'espace depuis et de l'espace vers sont inversés.
Comme vous pouvez le voir dans le processus ci-dessus, l'inconvénient du nettoyage est qu'il n'utilise que la moitié de la mémoire du tas, sacrifiant ainsi le temps d'acquisition de l'espace.

L'ancienne génération passe les algorithmes mark-sweep et mark-comopact.

L'élimination des marques par balayage est divisée en deux étapes : le marquage et le nettoyage. mark-sweep parcourt d'abord tous les objets de la mémoire du tas lors de la phase de marquage et marque les objets survivants, puis efface les objets non marqués lors de la phase de nettoyage ; On peut voir que le nettoyage ne copie que les objets vivants et que le balayage par marquage nettoie uniquement les objets morts. Parce que les objets survivants de la nouvelle génération occupent une petite partie et que les objets morts de l'ancienne génération en occupent une petite partie, c'est la raison pour laquelle ces deux algorithmes sont efficaces.

Organisation des marques Mark-compact, il y aura un problème de mark-sweep Après recyclage, la mémoire sera dans un état discontinu (fragmentation de la mémoire). La fragmentation de la mémoire aura un impact sur l'allocation de mémoire ultérieure, car il y aura une situation dans laquelle une grande mémoire devra être allouée, mais tous les fragments de mémoire ne pourront pas terminer l'allocation. Cela déclenchera le garbage collection à l'avance et ce recyclage n'est pas nécessaire. Mark-compact est développé sur la base de Mark-sweep. Sa principale différence est qu'une fois l'objet marqué, tous les objets survivants seront déplacés vers une extrémité pendant le processus de tri et seront effacés directement une fois le mouvement terminé.

Résumé : lors d'une utilisation normale, la limite de mémoire de la v8 est toujours suffisante, mais le garbage collection et le thread unique de nodejs affecteront toujours les performances. Si vous souhaitez des performances élevées, vous devez réduire au maximum la collecte des déchets. Dans le développement réel, des objets d'ancienne génération doivent être utilisés, par exemple lors de la mise en œuvre d'une session de service Web (session), qui est généralement stockée (tableau) en mémoire. Lorsque le nombre d'accès est important, cela entraînera une forte augmentation des anciens. objets de génération, ce qui peut provoquer un débordement. Si nous devons traiter des données de mémoire volumineuses, comme la lecture d'un fichier 3G, nous utiliserons la méthode pipe() du flux lisible, afin qu'il ne soit pas affecté par les limitations de mémoire de la v8 et améliore la robustesse du programme nodejs.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!