网页爬虫 - node.js 爬虫 外部调用函数无法获得变量值

最近想自己写个爬虫爬点小说看一下,但是碰到了一些困难 console.log(catalogUrl)能够打印出所需要的网址 但是我期望的是我在外部调用 var xxx = getCatalogUrl(book)这个函数能够获取catalogUrl这个变量的值 我试...

習慣沉默 2017-05-16 13:25:17 0  2  573

laravel - 使用Guzzle软件爬 , 如何登录？

笔者在laravel框架使用Guzzle爬我的主页上的数据，纯属兴趣；但是获取的页面是登录页面； 笔者试过，这种写法，但是没用 {代码...} 希望有大牛告知？

学习ing 2017-06-13 09:24:34 0  1  915

python - 使用scrapy框架爬百度图片被墙

请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。 https://image.baidu.com/searc...

给我你的怀抱 2017-05-24 11:34:48 0  3  704

php - 能不能绕过账户权限的限制(只有VIP用户才会显示全部图片)，爬到所有图片？iis服务器

1、能不能绕过账户权限的限制(只有VIP用户才会显示全部图片)，爬到所有图片？iis服务器

世界只因有你 2017-05-17 09:55:42 0  2  714

php - java用什么方法判断爬过来的数据请求超时?

{代码...} 我是用new url 的方式来爬别人的api拿数据的.但有时会返回{"errorCode":213,"errorMsg":"Timeout","success":"false"} 我现在是想如果返回Timeout ,我就执行某些操作..该怎么做啊?这些返回出来的都是字...

巴扎黑 2017-05-16 13:02:09 0  2  464

python - 使用requests爬取[大街网]职位信息，尝试多次失败，帮忙看看我的代码有什么问题？应该怎么改呢？

之前爬取过几个静态的网站数据，都还比较顺利，这次遇到ajax，看了几个文档，感觉不是很难，就直接上手了，但还是卡住了。。。 目标：爬取大街网的职位信息。 过程：1，使用浏览器审查元素功能查看数据动态加载的...

大家讲道理 2017-05-18 11:01:06 0  1  2200

node.js - node爬虫，如何使用IP池防反爬？

问题是这样的，本菜鸟刚开始学node，当然，明显是冲着爬虫去的。然后我最近在看一本小说，但是那些免费的小说网站广告太多，所以计划写个爬虫把整本小说爬下来，但是遇到url请求次数太频繁，以至于会遭反爬，被屏...

为情所困 2017-06-05 11:13:33 0  1  1287

网页爬虫 - python3.4.1 request模块报错 'list' object has no attribute 'get'

用python 写了一个 爬取ip地址的爬虫，由于该网站是反爬虫的，所以写了代理使用线程池开启10个线程来爬取ip地址然而直接报错'list' object has no attribute 'get'不知道如何解决，贴上本人代码。from bs4 import...

世界只因有你 2017-06-12 09:24:16 0  3  3603

PHP爬虫是如何接入动态爬虫代理的？

php爬虫是如何接入爬虫代理的呢，之前用的是python  和php一样的 吗 接入方式？

Laical 2020-03-13 17:10:19 0  0  1173

python + selenium + chromedriver 如何实现无界面爬取

在使用selenium爬取12306的过程中，发现使用phantomjs无法爬取，使用chromedriver就可以，应该是phantomjs被网站检测出来后封禁了，使用chromedriver又会显示界面，爬取效率低。现在有两点疑问，google了好久都没...

迷茫 2017-05-18 10:53:13 0  2  972

javascript - node爬取微博

刚接触node,想写个爬虫，爬取新浪微博评论，但是发现页面是由JS动态生成的，用http模块爬取不到，然后用phantomjs爬取，（听说会比较慢，运行了近15分钟，这也太慢了，不知是否写错），还是不行，问一下有什么办...

仅有的幸福 2017-06-30 10:00:08 0  1  1045

python - 关于爬虫爬取图片的问题？

现在的爬虫一般都是从html里面解析出图片，但问题是有的图片路径写在js里面。这个怎么爬？我知道浏览器打开f12点source可以查看里面的图片，但怎么用爬虫把source里面的资源爬出来？

我想大声告诉你 2017-06-28 09:25:40 0  2  1089

python中的一个用法不清楚

在python编写爬虫的过程中（爬取wiki百科的词条），使用迭代器输出过程中出现了url["href"]想着应该属于迭代器里面一个用法，但却没有找到，求助这个用法的意思，谢谢 {代码...} 最后一行的url["href"]，对爬取得...

阿神 2017-05-18 10:59:46 0  1  840

网页爬虫 - 博客园博客中的图片怎么用python爬取下来？

写了一小段代码，爬取博客园博客中的图片，这段代码对部分链接有效，还有一部分链接一爬就报错，这是什么原因呢？ {代码...} 如图，可以正确爬取图片 若把url换为 {代码...} 则立马报错 求解决，谢谢！

某草草 2017-05-18 10:45:39 0  1  1001

python - 网页title中包含换行，如何用正则表达式提取出来？

在用python做CSDN的网页爬虫，在爬取网页title时，我一直用的正则表达式(?<=\<title\>).+?(?=\<)在CSDN中用不了了，去CSDN源码一看，title换行显示了 所以导致原来的正则表达式无法使用，那么，问题...

女神的闺蜜爱上我 2017-06-22 11:51:43 0  2  1060

python - scrapy 爬取pages比实际进入items的多得多？

{代码...} 为什么我使用scrapy爬取的时候访问pages要比实际进入items的的多的多?就是爬了半天items里没有几条数据入库的有什么办法解决么？

PHP中文网 2017-05-18 10:47:40 0  1  735

爬取网站域名下所有链接

用php什么实现爬取网站下所有的链接？输入域名，就可以获取改域名下所有的链接。循环爬取链接的时候，又要如何去掉重复的链接？

蜻竺 2020-06-16 15:59:46 0  1  1342

PC端访问却变成移动端地址问题#python#scrapy

用scrapy 爬取喜马拉雅，爬取PC端地址，入口链接的response没问题，但后面response看到的是移动端地址。。。。 spider 代码如下： {代码...} 控制台输出： 已经写了一个 middlewares.RotateUserAgentMiddleware，...

淡淡烟草味 2017-06-30 09:55:13 0  2  1127

如何使用PHP爬虫采集亚马逊？

由于上次亚马逊网站升级，导致爬虫挂掉，现在亚马逊的反扒策略更加严格。导致无法正常采集。有新的采集策略吗？

Laical 2020-03-26 17:20:49 0  0  1278

python - 如何爬取跳转网站的数据

目前在学习一些爬虫的知识，对于一些复杂的网站使用selenium进行爬取。碰到一个问题，我需要爬取的工单网站（不知道密码）需要先通过登录一个鉴权系统，然后鉴权系统页面点击其中的工单系统连接，就会自动免登录...

怪我咯 2017-05-19 10:07:30 0  2  1087