Comment explorer les images de sites Web dans nodejs-js tutoriel-php.cn

Comment explorer les images de sites Web dans nodejs

亚连

Libérer： 2018-06-20 16:40:05

original

2742 Les gens l'ont consulté

Je vais vous apprendre à utiliser nodejs pour explorer les images de sites Web à travers un exemple. Les amis intéressés peuvent les enregistrer.

Je vais vous expliquer comment nodejs implémente la fonction d'exploration des images de sites Web à travers des exemples. Voici le contenu complet :

Principe :

. Le robot d'exploration est l'IO la plus évidente. Pour les scénarios d'application intensifs, il est évident d'utiliser un nœud, ce qui rend l'exploration de données avec une petite surcharge d'attente d'E/S plus pratique

Utilisez le module express pour créer le service de nœud

et utilisez le module de requête pour obtenir le code html de la page cible

Téléchargez le module cheerio pour traiter le code html (cheerio a une syntaxe similaire à jQuery, il est donc facile à utiliser et pratique)

Configuration de l'environnement :

npm install express request cheerio --save

Copier après la connexion

(1)Introduire divers modules

var http = require(&#39;http&#39;);
var request = require(&#39;request);
var cheerio = require(&#39;cheerio&#39;);
var fs = require(&#39;fs&#39;); //用来操作文件
var url = &#39;https://movie.douban.com/cinema/nowplaying/beijing/&#39; //定义要爬的页面

Copier après la connexion

(2) Envoyer une demande

http.get(function(res){
  var html = &#39;&#39;;
  var titles = [];
  res.setEncoding(&#39;utf-8&#39;) //防止中文乱码
  res.on(&#39;data&#39;,function(chunk){
    html += chrunk;    //监听data事件 每次取一块数据
  })
  res.on(&#39;end&#39;,function(){
    var $ = cheerio.load(html);  //获取数据完成后，解析html
    //将获取的图片存到images文件夹中
    $(&#39;.mod-bd img&#39;).each(function(index, item){
      //获取图片属性
      var imgName = $(this).parent().next().text().trimg()
      var imgfile = imgName + &#39;.jpeg&#39;;
      var imgSrc = $(this).attr(&#39;src&#39;)
      //采用request模块，向服务器发起请求 获取图片资源
      request.head(imgSrc, function(error, res,body){
        if(error){
          console.log(&#39;失败了&#39;)
        }
      });
      //通过管道的方式用fs模块将图片写到本地的images文件下
      request(imgSrc).pipe.(fs.createWriteStream(&#39;./images/&#39; + imgfile));
    })
    
  })
})

Copier après la connexion

Ce qui précède est ce que j'ai compilé pour tout le monde, j'espère que cela sera utile à tout le monde à l'avenir.