首页 > web前端 > js教程 > 批量使用Node.js将CSV文件导入MongoDB

批量使用Node.js将CSV文件导入MongoDB

Jennifer Aniston
发布: 2025-03-10 00:09:10
原创
240 人浏览过

这个话题对我来说是一个非常有趣的话题。在许多Web应用程序中,接受用户输入并将单个记录保存到数据库非常普遍。但是,当您的用户(或您)想在单个命令中执行多个插入片段时,在本文中,我们将演示如何创建CSV模板和表格来上传CSV文件,以及如何将CSV解析到一个or Save Mongodb Database。与mongodb。如果您不这样做,我建议阅读我的

首先要撰写Mongodb和Node.js

文章的文章。本文介绍了Mongoose如何通过创建强大的模型来创建强大的模式来与MongoDB互动。如果您已经对Mongoose有很好的了解,那么让我们继续进行。

入门开始,您将实例化一个新的node.js应用程序。在命令提示符中,导航到要托管node.js应用程序的位置并执行以下命令:使用

> flag

> flag意味着该项目在适当的位置初始化,因此该应用程序将以 index.js.js
mkdir csvimport<br>cd csvimport<br>npm init -y<br>
登录后复制
登录后复制
登录后复制
开始。在创建和解析CSV文件之前,我们需要先进行一些初始设置。我们希望将其作为Web应用程序;为此,您将使用Express软件包处理所有Nitty-Gritty服务器设置。在您的命令提示符中,通过运行以下命令来安装Express:

-y>由于此Web应用程序将通过Web表单接受文件,因此我们还将使用Express Sub-Package Express文件上传。让我们现在也安装它:

npm install express --save<br>
登录后复制
登录后复制
登录后复制
>我们已经完成了足够的初始配置来设置Web应用程序并创建一个基本的网页,该网页将在root Directory中创建一个文件上传表单。

,创建一个

index.js.js.js
npm install express-fileupload --save<br>
登录后复制
登录后复制
登录后复制
文件,并添加以下代码smippets。此文件设置了Web服务器。 

>

这个文件导入Exprests Express和Express文件上传库,配置Web应用程序以使用文件上传,并在端口8080上听。它还使用Express使用Express创建了一个路由,该路由将是Web应用程序的默认着陆页。此路由返回一个包含Web表单的文件,该文件将允许用户上传CSV文件。>您可以通过在终端中运行命令来启动Web服务器:

var app = require('express')();<br>var fileUpload = require('express-fileupload');<br>var server = require('http').Server(app);<br> <br>app.use(fileUpload());<br><br>app.get('/', function (req, res) {<br>  res.sendFile(__dirname + '/index.html');<br>});<br>server.listen(8080, () => {<br>  console.log('Server started on port 8080')<br>})<br>
登录后复制
登录后复制
登录后复制

您应该在端口
node index.js<br>
登录后复制
服务器上启动端口

808080 >>>。这意味着您已经成功地连接到Web服务器。在根目录中,创建

index.html

文件。该文件创建了用于上传CSV文件的表单。

>此html文件包含两个重要的东西:>
    >
  1. >/模板>单击时,将下载一个可以用要导入的信息填充的CSV模板。
  2. >
  3. encTypemultipart/form-datafile> 设置为multipart/form-data>的表单和带有类型的输入字段的
  4. ext> ext ext ext ext> ext>的csv模板。当表单包含文件上传时,是一种在HTML中使用的编码方法。 当您访问

批量使用Node.js将CSV文件导入MongoDB http:// localhost:8080/

>您会看到较早创建的表单。如果您阅读了文章文章,则创建了作者模式。在本文中,您将重新创建此模式,并允许用户大量将作者集合导入MongoDB数据库。让我们看一下作者模式。不过,在我们这样做之前,您可能需要猜到了 - 我们需要安装Mongoose软件包:

mkdir csvimport<br>cd csvimport<br>npm init -y<br>
登录后复制
登录后复制
登录后复制

>创建模型和模型

>>

>>>>>>>>>>>>>>>
npm install express --save<br>
登录后复制
登录后复制
登录后复制

> >>>>>>>>>>>>>

>
npm install express-fileupload --save<br>
登录后复制
登录后复制
登录后复制
可以通过单击模板链接下载的CSV模板。为了辅助CSV模板生成,我们将使用

JSON2CSV软件包。此NPM软件包将JSON带有列标题和正确的行末端转换为CSV。您将为模板路由的此新代码附加到先前创建的index.js 文件:

>该代码所做的第一件事是包含一个新的
var app = require('express')();<br>var fileUpload = require('express-fileupload');<br>var server = require('http').Server(app);<br> <br>app.use(fileUpload());<br><br>app.get('/', function (req, res) {<br>  res.sendFile(__dirname + '/index.html');<br>});<br>server.listen(8080, () => {<br>  console.log('Server started on port 8080')<br>})<br>
登录后复制
登录后复制
登录后复制
template.js

file(下一个下一步创建),并为/template 创建路由。此路由将在 template.js文件中调用A>函数。然后,它创建并导出一个函数。此函数接受来自Express Server的请求和响应对象。函数内部的get,您创建了要在CSV模板中包含的字段数组。这可以通过两种方式之一来完成。第一种方法(在本教程中完成)是创建要包含在模板中的字段的静态列表。第二种方法是通过从作者架构中提取属性来动态创建字段列表。

第二种方法是使用以下代码:>
mkdir csvimport<br>cd csvimport<br>npm init -y<br>
登录后复制
登录后复制
登录后复制
>

>使用动态方法是一个好主意,但是当您不想在CSV模板上包含多个属性时,它会变得有些复杂。在这种情况下,我们的CSV模板不包括_idcreated>属性,因为这些属性将通过代码填充。但是,如果您没有要排除的字段,那么动态方法也将起作用。

>

>使用定义的字段数组创建CSV Template

,您将使用

>软件包从JavaScript对象创建CSV模板。此json2csv对象将是此路线的结果。csv

>,最后,将使用来自Express服务器的>属性,将设置两个标头属性,该属性将迫使下载

authors.csvresfile。您的Web浏览器,Web表单将显示使用链接以下载模板。单击链接以下载模板将允许您下载authors.csv 文件。该文件将在上传之前填充。

>

在Microsoft Excel中打开模板文件,CSV文件应以此为基础:

>这是填充的CSV文件的一个示例:

批量使用Node.js将CSV文件导入MongoDB

npm install express --save<br>
登录后复制
登录后复制
登录后复制

index.js

文件需要一些更新才能连接到mongoDB并创建一个新的帖子路由,该路由将使用数据库连接和配置的新的帖子路由接受文件上传:
npm install express-fileupload --save<br>
登录后复制
登录后复制
登录后复制

fast-csv,是时候分析CSV文件了。幸运的是,有几个很棒的图书馆可以帮助完成这项工作。对于本教程,我们将使用可以使用以下命令安装的

软件包:
var app = require('express')();<br>var fileUpload = require('express-fileupload');<br>var server = require('http').Server(app);<br> <br>app.use(fileUpload());<br><br>app.get('/', function (req, res) {<br>  res.sendFile(__dirname + '/index.html');<br>});<br>server.listen(8080, () => {<br>  console.log('Server started on port 8080')<br>})<br>
登录后复制
登录后复制
登录后复制

post>创建了与模板路由相似的邮路路由,该模板路由从upload.js

文件中调用a

>函数。不必将这些函数放在单独的文件中;但是,最好为这些路由创建单独的文件,因为它有助于保持代码良好和有条理。前三行包括解析并保存CSV数据所需的必要软件包。

接下来,定义和导出了postindex.jsfile的函数。在此功能内部是魔术发生的地方。

该功能首先检查请求主体中包含一个文件。如果没有,则返回错误,指示必须上传文件。

>

上传文件后,对文件的引用保存到称为authorFile>的变量。这是通过访问数组中的files阵列和属性来完成的。 file属性匹配我的文件输入名称的名称,该名称在fileindex.html> example中首先定义。该数组将用于将数据保存到数据库中。此功能将CSV文件作为字符串接受。该字符串是从属性中提取的。

属性包含上传的CSV文件的内容。

authors>下一行包含两个

函数的选项:

>> andfast-csv>。这些都设置为fromString。这告诉库,CSV文件的第一行将包含标题,并且应忽略空行。authorFile.data>data>使用配置的选项,我们设置了两个侦听器函数,这些函数在

>>事件和事件时被触发。 CSV文件的每一行都调用一次

事件。此事件包含解析数据的JavaScript对象。fast-csvheaders>该对象已更新以包含作者架构的ignoreEmpty属性,并具有新的true>。然后将此对象添加到

阵列中。在事件回调函数内部,我们将在作者模型上调用

>函数,将data>的数组传递给它。end>data如果发生错误试图保存数组,则会抛出异常。否则,向用户显示了一条成功消息,指示已上传并保存到数据库中。

>

>数据库架构应与此相似:_idObjectIdauthors>

如果您想查看完整的源代码,则只能查看Github repository github Repository of github repository ofere oferation。上传了几个记录。如果您的用例需要能够上传数千个记录,那么将记录保存在较小的块中可能是一个好主意。

这可以通过多种方式完成。如果要实现它,我建议更新data回调功能以检查作者数组的长度。当数组超过您定义的长度时,例如100,在数组上调用Author.create>函数,然后将数组重置为空。然后将记录保存在100的块中。请务必将最终的create呼叫留在end回调功能中,以保存最终记录。

享受!

>

已通过Mary Okosun的贡献进行了更新。 Mary是位于尼日利亚拉各斯的软件开发人员,在Node.js,JavaScript,MySQL和NoSQL Technologies中具有专业知识。 thumbnail用Openai dall-e。

以上是批量使用Node.js将CSV文件导入MongoDB的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板