En vrac importer un fichier CSV dans MongoDB en utilisant Mongoose avec Node.js

Ce sujet est vraiment agréable pour moi. Il est assez courant dans de nombreuses applications Web d'accepter la saisie des utilisateurs et d'enregistrer un seul enregistrement dans votre base de données. Mais qu'en est-il du moment où vos utilisateurs (ou vous) souhaitent effectuer plusieurs inserts dans une seule commande?

Dans cet article, nous montrerons comment créer un modèle CSV et un formulaire pour télécharger le fichier CSV, et comment analyser le CSV dans un modèle de mongoose qui sera enregistré dans une compréhension de la base de données Mongodb. interagit avec MongoDB. Si vous ne le faites pas, je suggérerais de lire mon

Introduction à Mongoose pour MongoDB et Node.js

d'abord. Cet article décrit comment Mongoose interagit avec MongoDB en créant des schémas de type fortement de type dont un modèle est créé. Si vous avez déjà une bonne compréhension de la mongoose, procédons. Pour commencer

pour commencer, vous instanciez une nouvelle application Node.js. Dans une invite de commande, accédez à l'endroit où vous souhaitez héberger vos applications Node.js et effectuer les commandes suivantes:

L'utilisation de l'indicateur

mkdir csvimport<br>cd csvimport<br>npm init -y<br>

signifie que le projet est initialisé avec les valeurs par défaut en place, donc l'application commencera par

index.js -y. Avant de créer et d'analyser les fichiers CSV, nous devons d'abord faire une configuration initiale. Nous voulons en faire une application Web; Pour ce faire, vous allez utiliser le package express pour gérer toute la configuration du serveur Nitty-Gritty. Dans votre invite de commande, installez Express en exécutant la commande suivante:

Étant donné que cette application Web acceptera les fichiers via un formulaire Web, nous allons également utiliser le téléchargement de fichier Express Express Express. Installons cela maintenant également:

npm install express --save<br>

Nous avons fait suffisamment de configuration initiale pour configurer l'application Web et créer une page Web de base qui créera un formulaire de téléchargement de fichiers.

npm install express-fileupload --save<br>

Dans le répertoire racine, créez un fichier index.js

et ajouter les snippets de code suivants. Ce fichier configure le serveur Web. 

Ce fichier importe Express et les bibliothèques de téléchargement de fichiers express, configure l'application Web pour utiliser le téléchargement de fichiers et écoute le port 8080. Il crée également un itinéraire utilisant Express at "/" qui sera la page de destination par défaut de l'application Web. Cette route renvoie un fichier

index.html

var app = require('express')();<br>var fileUpload = require('express-fileupload');<br>var server = require('http').Server(app);<br> <br>app.use(fileUpload());<br><br>app.get('/', function (req, res) {<br>  res.sendFile(__dirname + '/index.html');<br>});<br>server.listen(8080, () => {<br>  console.log('Server started on port 8080')<br>})<br>

qui contient le formulaire Web qui permettra à un utilisateur de télécharger un fichier CSV.

Vous pouvez démarrer votre serveur Web en exécutant la commande dans votre terminal:

Vous devez faire passer le message dans votre terminal

Server démarré sur le port 8080

node index.js<br>

. Cela signifie que vous vous êtes connecté avec succès au serveur Web.

Dans le répertoire racine, créez un fichier index.html

. Ce fichier crée le formulaire de téléchargement d'un fichier CSV.

Ce fichier html contient deux choses importantes:

1. Un lien vers / modèle qui, lorsqu'il est cliqué, téléchargera un modèle CSV qui peut être rempli avec les informations à importer.
2. un formulaire avec le encType défini comme multipart/form-data et un champ d'entrée avec un type file qui accepte les fichiers avec un .csv Extension. Le multipart/form-data est une méthode d'encodage utilisée dans HTML lorsque le formulaire contient un téléchargement de fichiers. 

Lorsque vous visitez http: // localhost: 8080 / Vous verrez le formulaire créé plus tôt.

Comme vous l'avez peut-être remarqué, le HTML fait référence à un modèle d'auteur. Si vous lisez l'article Introduction à Mongoose , un schéma d'auteur a été créé. Dans cet article, vous allez recréer ce schéma et permettre à l'utilisateur d'importer une collection d'auteurs dans la base de données MongoDB. Jetons un coup d'œil au schéma de l'auteur. Avant de faire cela, cependant, vous l'avez probablement deviné - nous devons installer le package Mongoose:

mkdir csvimport<br>cd csvimport<br>npm init -y<br>

Créer le schéma et le modèle

avec un fichier mongoose installé, créons un nouveau fichier auteur. Modèle CSV qui peut être téléchargé en cliquant sur le lien de modèle. Pour aider à la génération de modèle CSV, nous utiliserons le package json2csv . Ce package NPM convertit JSON en CSV avec des titres de colonne et des fins de ligne appropriées.

npm install express --save<br>

Maintenant, vous allez mettre à jour le fichier index.js précédemment créé précédemment pour inclure une nouvelle route pour

/ template

npm install express-fileupload --save<br>

. Vous ajouterez ce nouveau code pour l'itinéraire de modèle vers le fichier

index.js précédemment créé: La première chose que ce code fait consiste à inclure un nouveau fichier Cette route appellera une fonction dans le fichier

Template.js

var app = require('express')();<br>var fileUpload = require('express-fileupload');<br>var server = require('http').Server(app);<br> <br>app.use(fileUpload());<br><br>app.get('/', function (req, res) {<br>  res.sendFile(__dirname + '/index.html');<br>});<br>server.listen(8080, () => {<br>  console.log('Server started on port 8080')<br>})<br>

.

Avec le serveur express mis à jour pour inclure le nouvel itinéraire, créons le nouveau modèle Ce fichier comprend d'abord le package installé. Il crée et exporte ensuite une fonction . Cette fonction accepte les objets de demande et de réponse du serveur express. get À l'intérieur de la fonction, vous créez un tableau des champs que vous souhaitez inclure dans le modèle CSV. Cela peut être fait de deux manières. La première façon (qui se fait dans ce tutoriel) est de créer une liste statique des champs à inclure dans le modèle. La deuxième façon consiste à créer dynamiquement la liste des champs en extraitant les propriétés du schéma de l'auteur.

La deuxième façon serait d'utiliser le code suivant:

mkdir csvimport<br>cd csvimport<br>npm init -y<br>

Il aurait été une bonne idée d'utiliser la méthode dynamique, mais cela devient un peu compliqué lorsque vous ne voulez pas inclure plusieurs propriétés du schéma au modèle CSV. Dans ce cas, notre modèle CSV n'inclut pas les propriétés _id et created car celles-ci seront remplies via le code. Cependant, si vous n'avez pas de champs que vous souhaitez exclure, la méthode dynamique fonctionnera également.

Création du modèle CSV

Avec le tableau de champs définis, vous utiliserez le package json2csv pour créer le modèle CSV à partir de votre objet JavaScript. Cet objet csv sera les résultats de cette route.

Et enfin, en utilisant la propriété res du serveur express, deux propriétés d'en-tête seront définies qui obligeront le téléchargement d'un fichier auteurs.csv . Sur votre navigateur Web, le formulaire Web serait affiché avec un lien pour télécharger le modèle. Cliquez sur le lien pour télécharger le modèle vous permettra de télécharger le fichier

auteurs.csv

. Ce fichier sera rempli avant qu'il ne soit téléchargé. ouvrant le fichier de modèle dans Microsoft Excel, le fichier CSV doit être rempli en tant que tel:

Voici un exemple du fichier CSV peuplé:

Cet exemple de puzzle, lors de la mise en place de la mise en place de trois auteurs. Passons à la viande et aux pommes de terre de cet exemple et analysez ce fichier CSV. Le fichier

index.js

nécessite une mise à jour pour se connecter à MongoDB et créer une nouvelle route post-post qui acceptera le téléchargement de fichiers:

npm install express --save<br>

avec une connexion de base de données et une nouvelle route post-route configurée, il est temps d'analyser le fichier CSV. Heureusement, il existe plusieurs grandes bibliothèques qui aident à ce travail. Pour ce didacticiel, nous utiliserons le package

qui peut être installé avec la commande suivante:

La route de publication a été créée de manière similaire à la route du modèle, qui invoque une fonction

npm install express-fileupload --save<br>

du fichier

upload.js fast-csv. Il n'est pas nécessaire de placer ces fonctions dans des fichiers séparés; Cependant, il est préférable de créer des fichiers séparés pour ces itinéraires car il aide à garder le code agréable et organisé.

var app = require('express')();<br>var fileUpload = require('express-fileupload');<br>var server = require('http').Server(app);<br> <br>app.use(fileUpload());<br><br>app.get('/', function (req, res) {<br>  res.sendFile(__dirname + '/index.html');<br>});<br>server.listen(8080, () => {<br>  console.log('Server started on port 8080')<br>})<br>

Soumettre des données

post Et enfin, créons le fichier upload.js qui contient la fonction

qui s'appelle lorsque le formulaire créé précédemment est soumis:

un peu un peu se produit dans ce fichier. Les trois premières lignes incluent les packages nécessaires qui seront nécessaires pour analyser et enregistrer les données CSV.

Ensuite, la fonction post est définie et exportée pour une utilisation par le fichier index.js . À l'intérieur de cette fonction, la magie a lieu.

La fonction vérifie d'abord qu'il y a un fichier contenu dans le corps de la demande. S'il n'y en a pas, une erreur est renvoyée indiquant qu'un fichier doit être téléchargé.

Lorsqu'un fichier a été téléchargé, une référence au fichier est enregistrée sur une variable appelée authorFile. Cela se fait en accédant au tableau files et à la propriété file dans le tableau. La propriété file correspond au nom de mon nom d'entrée de fichier qui a d'abord été définie dans l'exemple index.html .

Un tableau vide authors qui sera rempli lorsque le fichier CSV est analysé est créé. Ce tableau sera utilisé pour enregistrer les données dans la base de données.

La bibliothèque fast-csv est maintenant appelée en tirant parti de la fonction fromString. Cette fonction accepte le fichier CSV en tant que chaîne. La chaîne est extraite de la propriété authorFile.data. La propriété data contient le contenu du fichier CSV téléchargé.

La ligne suivante comprend deux options pour la fonction fast-csv: headers et ignoreEmpty. Ceux-ci sont tous deux définis sur true. Cela indique à la bibliothèque que la première ligne du fichier CSV contiendra les en-têtes et que les lignes vides doivent être ignorées.

Avec les options configurées, nous configurons deux fonctions d'écoute qui sont appelées lorsque l'événement data et l'événement end sont déclenchés. L'événement data est appelé une fois pour chaque ligne du fichier CSV. Cet événement contient un objet JavaScript des données analysées.

L'objet est mis à jour pour inclure la propriété _id du schéma d'auteur avec un nouveau ObjectId. Cet objet est ensuite ajouté au tableau authors.

Lorsque le fichier CSV a été entièrement analysé, l'événement end est déclenché. À l'intérieur de la fonction de rappel des événements, nous appellerons la fonction create sur le modèle de l'auteur, passant le tableau de authors. Sinon, un message de réussite est affiché à l'utilisateur indiquant combien d'auteurs ont été téléchargés et enregistrés dans la base de données.

Le schéma de la base de données doit être similaire à ceci:

Si vous souhaitez voir le code source complet, vous pouvez consulter le référentiel Github avec le code. quelques records. Si votre cas d'utilisation nécessite la possibilité de télécharger des milliers d'enregistrements, il pourrait être une bonne idée de sauver les enregistrements en petits morceaux.

Cela peut être fait de plusieurs manières. Si je devais l'implémenter, je suggérerais de mettre à jour la fonction de rappel data pour vérifier la longueur du tableau des auteurs. Lorsque le tableau dépasse votre longueur définie, par ex. 100, appelez la fonction Author.create sur le tableau, puis réinitialisez le tableau pour vider. Cela enregistrera ensuite les enregistrements en morceaux de 100. Assurez-vous de laisser l'appel final create dans la fonction de rappel end pour enregistrer les enregistrements finaux.

Profitez!

Ce message a été mis à jour avec les contributions de Mary Okosun. Mary est un développeur de logiciels basé à Lagos, au Nigéria, avec une expertise dans les technologies Node.js, JavaScript, MySQL et NoSQL.

Post Thumbnail généré avec Openai Dall-e.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!