javascript - node爬取微博

刚接触node,想写个爬虫，爬取新浪微博评论，但是发现页面是由JS动态生成的，用http模块爬取不到，然后用phantomjs爬取，（听说会比较慢，运行了近15分钟，这也太慢了，不知是否写错），还是不行，问一下有什么办...

仅有的幸福 2017-06-30 10:00:08 0  1  1045

java如何爬取js处理后的代码

页面地址: http://acm.hdu.edu.cn/showpro... 爬取的目标: 想要爬取这些个公式的代码，Chrome按F12看到的代码: 但是爬取到的代码如下: 这个代码并不能显示正确的公式，貌似这些代码都是js生成的，该如何爬取到这...

为情所困 2017-05-17 10:04:18 0  2  697

python - 斗鱼关注人数爬下来是张加载图片，如何爬取关注人数

爬取斗鱼关注人数显示 {代码...} 等网站加载完毕显示 {代码...} 应该如何爬取这种数据？

巴扎黑 2017-07-05 10:34:08 0  1  1050

python + selenium + chromedriver 如何实现无界面爬取

在使用selenium爬取12306的过程中，发现使用phantomjs无法爬取，使用chromedriver就可以，应该是phantomjs被网站检测出来后封禁了，使用chromedriver又会显示界面，爬取效率低。现在有两点疑问，google了好久都没...

迷茫 2017-05-18 10:53:13 0  2  968

爬取网站域名下所有链接

用php什么实现爬取网站下所有的链接？输入域名，就可以获取改域名下所有的链接。循环爬取链接的时候，又要如何去掉重复的链接？

蜻竺 2020-06-16 15:59:46 0  1  1342

Python爬取网页requests乱码

**之前有在裁判文书上爬取数据，这段时间重新运行爬虫后发现无法获取网页数据，找了一下发现requests网页源码返回的是乱码** （如下截取一部分返回的数据：<meta http-equiv="Content-Type" content="text/htm...

phpcn_u1582 2017-06-22 11:51:56 0  4  1302

python - 关于爬虫爬取图片的问题？

现在的爬虫一般都是从html里面解析出图片，但问题是有的图片路径写在js里面。这个怎么爬？我知道浏览器打开f12点source可以查看里面的图片，但怎么用爬虫把source里面的资源爬出来？

我想大声告诉你 2017-06-28 09:25:40 0  2  1085

网页爬虫 - 博客园博客中的图片怎么用python爬取下来？

写了一小段代码，爬取博客园博客中的图片，这段代码对部分链接有效，还有一部分链接一爬就报错，这是什么原因呢？ {代码...} 如图，可以正确爬取图片 若把url换为 {代码...} 则立马报错 求解决，谢谢！

某草草 2017-05-18 10:45:39 0  1  1000

为什么有的网页爬取不了，例如知乎

为什么有的网页爬取不了，例如知乎

苦咖啡 2018-04-25 12:16:51 0  1  1660

python - pyspider 定时爬取问题

在写爬虫的时候，发现 在代码中设置了 every 之后，21号爬取了一次之后，今天看 result 没有更新，那个 lastcrawltime 依旧是 21号的。请问是不是我的参数设置的不正确？

我想大声告诉你 2017-05-18 10:53:29 0  2  1032

python - 如何爬取跳转网站的数据

目前在学习一些爬虫的知识，对于一些复杂的网站使用selenium进行爬取。碰到一个问题，我需要爬取的工单网站（不知道密码）需要先通过登录一个鉴权系统，然后鉴权系统页面点击其中的工单系统连接，就会自动免登录...

怪我咯 2017-05-19 10:07:30 0  2  1087

curl爬取网页是数据

如果url链接给的是https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_4480296238548479181%22%7D&n_type=0&p_from=1 的链接怎么爬取网页信息

phpcn_u68041 2017-12-07 10:08:47 0  5  1254

php源码怎么通过获取代理ip的接口自定义切换来爬取数据呢？

php源码怎么通过获取代理ip的接口自定义切换来爬取数据呢？php源码怎么通过获取代理ip的接口自定义切换来爬取数据呢？

chen 2022-11-04 23:36:05 0  0  628

php - snoopy爬虫 报错405 Not Allowed

代码 $httpClass = new Snoopy();$httpClass->fetch('https://v.qq.com/');$url = $httpClass->results;print_r($url);die(); 爬取https://www.baidu.com/就一直报405错误 爬取https://v.qq.com/ 是正常运...

高洛峰 2017-05-16 12:58:40 0  2  638

javascript - superagent爬取网站出现重定向问题

用superagent爬网页，遇到重定向，拿不到重定向后的响应体，该如何解决，如何获取重定向后的网页 我想获取501页面的res，但是他跳转到37018页面，导致我拿到501页面的空res。 测试了爬取不到的网页，发现有2种情...

迷茫 2017-05-31 10:38:19 0  1  907

python - scrapy 爬取pages比实际进入items的多得多？

{代码...} 为什么我使用scrapy爬取的时候访问pages要比实际进入items的的多的多?就是爬了半天items里没有几条数据入库的有什么办法解决么？

PHP中文网 2017-05-18 10:47:40 0  1  732

python - 爬虫模拟登录后，爬取csdn后台文章列表遇到的问题

爬虫确实已经登录进去了，因为我爬取个人信息是可以抓出来的，但是下图的这个网址抓不出来： 网址是：http://write.blog.csdn.net/postlist，就是你的csdn后台。 我贴下代码吧，py2.7的 {代码...} 上面的代码输出...

ringa_lee 2017-05-18 10:51:59 0  2  1130

python - 在写一个爬虫，源代码里面没有csrf token，要如何获取到？

在写一个爬取速卖通的爬虫，在NTEWROK的POST里面有看到csrf token，但是在查看页面源代码里面csrf这个值，我要如何获取到？谢谢。

漂亮男人 2017-05-24 11:35:05 0  2  876

scrapy 如果要爬取整个站的内容，是要把所有页面的URL都获取到队列后才开始提取内容吗

scrapy 如果要爬取整个站的内容，是要把所有页面的URL都获取到队列后才开始提取内容吗？

Laical 2020-04-30 16:05:00 0  0  1096

网页爬虫 - python3.4.1 request模块报错 'list' object has no attribute 'get'

用python 写了一个 爬取ip地址的爬虫，由于该网站是反爬虫的，所以写了代理使用线程池开启10个线程来爬取ip地址然而直接报错'list' object has no attribute 'get'不知道如何解决，贴上本人代码。from bs4 import...

世界只因有你 2017-06-12 09:24:16 0  3  3598