selenium - 请教一下 Python 爬虫工具

1)我要抓的是 Instagram 某明星的粉丝2)Instagram pc 站使用了大量的 js 渲染3)没写过爬虫,老板明天就要数据 我目前使用的是BeautifulSoup, selenium 和phantomjs 代码 demo 大概是 {代码...} 问题是:1) 我不知道...

阿神 2017-06-28 09:22:20 0  1  994

网页爬虫 - Python爬虫入门知识

本人快大二了，自习了Python，语法基本会。想学下爬虫，但是感觉这涉及到好多知识啊，有没有过来人总结下都有什么知识，或者Python爬虫该怎么学？

欧阳克 2017-07-05 10:34:11 0  3  1187

PHP爬虫是如何接入动态爬虫代理的？

php爬虫是如何接入爬虫代理的呢，之前用的是python  和php一样的 吗 接入方式？

Laical 2020-03-13 17:10:19 0  0  1092

python - 关于爬虫爬取图片的问题？

现在的爬虫一般都是从html里面解析出图片，但问题是有的图片路径写在js里面。这个怎么爬？我知道浏览器打开f12点source可以查看里面的图片，但怎么用爬虫把source里面的资源爬出来？

我想大声告诉你 2017-06-28 09:25:40 0  2  1033

网页爬虫 - Python requests.get 爬虫 设置代理 IP地址未改变

工作需要爬取亚马逊上面的信息，但是亚马逊反爬虫太厉害，同一个IP地址会被封。Python版本：3.6， IDE：Pycharm 2017.1在网上查了很多资料，requests库的手册也读过，但是都是同一个方法，代码如下： {代码...} ...

typecho 2017-06-12 09:24:11 0  1  1200

node.js - node爬虫，如何使用IP池防反爬？

问题是这样的，本菜鸟刚开始学node，当然，明显是冲着爬虫去的。然后我最近在看一本小说，但是那些免费的小说网站广告太多，所以计划写个爬虫把整本小说爬下来，但是遇到url请求次数太频繁，以至于会遭反爬，被屏...

为情所困 2017-06-05 11:13:33 0  1  1220

网页爬虫 - python requests爬虫问题

我在使用requests爬虫的时候，出现了这样一个问题，我提交账号密码后，网页首先不会提交，而是会有一个防刷的标识，url也没有改变，然后刷新之后，网页的data才被提交到另一个页面，请问我如何直接提交，或者可以...

仅有的幸福 2017-05-27 17:39:37 0  1  560

网页爬虫 - python3.4.1 request模块报错 'list' object has no attribute 'get'

用python 写了一个 爬取ip地址的爬虫，由于该网站是反爬虫的，所以写了代理使用线程池开启10个线程来爬取ip地址然而直接报错'list' object has no attribute 'get'不知道如何解决，贴上本人代码。from bs4 import...

世界只因有你 2017-06-12 09:24:16 0  3  3491

网页爬虫 - node.js 爬虫 外部调用函数无法获得变量值

最近想自己写个爬虫爬点小说看一下,但是碰到了一些困难 console.log(catalogUrl)能够打印出所需要的网址 但是我期望的是我在外部调用 var xxx = getCatalogUrl(book)这个函数能够获取catalogUrl这个变量的值 我试...

習慣沉默 2017-05-16 13:25:17 0  2  529

python - csdn爬虫评论

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py 根据87-88行的注释说明，为什么用爬虫去评论csdn文章的时候需要转化成这个链接，这个链接是怎么得来的，我看了下网页代码没有相关链接...

仅有的幸福 2017-05-18 10:53:42 0  2  854

java - 爬虫爬取图片问题？

刚才修改了下 POM,大家可以重新下载源码 这是我写的爬虫的项目地址 项目不报错，但是问题是下载图片到本地后经常性的是图片不完整，如下： 这是下载图片的核心代码，如下： {代码...} 经过资料查询，感觉是范围请...

天蓬老师 2017-06-23 09:12:30 0  1  839

redis - 行python爬虫时，MySQL版本是5.7，总是报错

运行python爬虫时，MySQL版本是5.7，总是报错 {代码...} 问题出在什么地方？怎么解决呢？

扔个三星炸死你 2017-06-12 09:19:42 0  2  912

如何使用PHP爬虫采集亚马逊？

由于上次亚马逊网站升级，导致爬虫挂掉，现在亚马逊的反扒策略更加严格。导致无法正常采集。有新的采集策略吗？

Laical 2020-03-26 17:20:49 0  0  1199

angular.js - 百度爬虫如何处理“#”符号？

由于采用angular，整站都是ajax方式加载，这样非常不利于SEO。针对百度的angular的SEO成了问题。现在想问一下 百度的爬虫，如何处理URL中的#符号

高洛峰 2017-05-15 16:54:39 0  2  602

python爬虫 - scrapy使用redis的时候，redis需要进行一些设置吗？

用scrapy+redis+mongodb写了个爬虫，运行时不能爬取所有符合规则的网址，猜想是不是redis需要进行设置之类的，求高手解答。

巴扎黑 2017-04-24 09:12:00 0  1  474

python - 爬虫模拟登录后，爬取csdn后台文章列表遇到的问题

爬虫确实已经登录进去了，因为我爬取个人信息是可以抓出来的，但是下图的这个网址抓不出来： 网址是：http://write.blog.csdn.net/postlist，就是你的csdn后台。 我贴下代码吧，py2.7的 {代码...} 上面的代码输出...

ringa_lee 2017-05-18 10:51:59 0  2  1068

python - 怎么用爬虫批量抓取网页中的图片？

如图，通过network查看加载图片，要一张一张右键保存很麻烦，有没有办法写个爬虫批量抓取这里的图片》？

给我你的怀抱 2017-06-28 09:25:48 0  3  1180

html - 爬虫时出现'DNS lookup failed”，打开网页却没问题，这是什么情况？

RT，在使用python进行爬虫，开始时一切正常，突然网页卡死，等待了一会后恢复正常，然而这时候再进行爬虫时，就会报“DNS lookup failed”，试过很多网站，网页却是正常打开。 请教原因及解决方法。跪谢！！

PHP中文网 2017-06-14 10:50:53 0  1  1212

pyspider +mongodb 多个爬虫 result 如何指定 collection 名称

如题，我现在需要爬取多个网站的内容，但是结果结构是一样的。现在的配置resultdb 是一个db，每个爬虫的结果分别是不同的集合。而我想把这些结果保存到指定db下的指定集合，这个如何设置。请大侠帮我解答下。

过去多啦不再A梦 2017-04-28 09:05:44 0  1  950

python - 阿里巴巴爬虫源码的应用疑惑

1.目前问题：运行该py文件，没有任何反应，请问是什么问题？2.纯新手，没接触过py，只学完初浅的html+css。但由于公司一个项目需要搜集区域的供应商信息，想到了py爬虫，便在一个科学怪咖的网站找到了一个爬取阿...

阿神 2017-06-22 11:51:27 0  1  1880