提问搜索_PHP中文网

社区学习工具库休闲

简体中文

热门搜索：
PHP
MySQL
jquery
HTML
CSS

网页爬虫 - python3.4.1 request模块报错 'list' object has no attribute 'get'

用python 写了一个爬取ip地址的爬虫，由于该网站是反爬虫的，所以写了代理使用线程池开启10个线程来爬取ip地址然而直接报错'list' object has no attribute 'get'不知道如何解决，贴上本人代码。from bs4 import...

世界只因有你 2017-06-12 09:24:16

redis - 行python爬虫时，MySQL版本是5.7，总是报错

运行python爬虫时，MySQL版本是5.7，总是报错 {代码...} 问题出在什么地方？怎么解决呢？

扔个三星炸死你 2017-06-12 09:19:42

网页爬虫 - Python爬虫入门知识

本人快大二了，自习了Python，语法基本会。想学下爬虫，但是感觉这涉及到好多知识啊，有没有过来人总结下都有什么知识，或者Python爬虫该怎么学？

欧阳克 2017-07-05 10:34:11

PHP爬虫是如何接入动态爬虫代理的？

php爬虫是如何接入爬虫代理的呢，之前用的是python 和php一样的吗接入方式？

Laical 2020-03-13 17:10:19

python - 关于爬虫爬取图片的问题？

现在的爬虫一般都是从html里面解析出图片，但问题是有的图片路径写在js里面。这个怎么爬？我知道浏览器打开f12点source可以查看里面的图片，但怎么用爬虫把source里面的资源爬出来？

我想大声告诉你 2017-06-28 09:25:40

php - snoopy爬虫报错405 Not Allowed

代码 $httpClass = new Snoopy();$httpClass->fetch('https://v.qq.com/');$url = $httpClass->results;print_r($url);die(); 爬取https://www.baidu.com/就一直报405错误爬取https://v.qq.com/ 是正常运...

高洛峰 2017-05-16 12:58:40

node.js - node爬虫，如何使用IP池防反爬？

问题是这样的，本菜鸟刚开始学node，当然，明显是冲着爬虫去的。然后我最近在看一本小说，但是那些免费的小说网站广告太多，所以计划写个爬虫把整本小说爬下来，但是遇到url请求次数太频繁，以至于会遭反爬，被屏...

为情所困 2017-06-05 11:13:33

java - 爬虫爬取图片问题？

刚才修改了下 POM,大家可以重新下载源码这是我写的爬虫的项目地址项目不报错，但是问题是下载图片到本地后经常性的是图片不完整，如下：这是下载图片的核心代码，如下： {代码...} 经过资料查询，感觉是范围请...

天蓬老师 2017-06-23 09:12:30

网页爬虫 - python requests爬虫问题

我在使用requests爬虫的时候，出现了这样一个问题，我提交账号密码后，网页首先不会提交，而是会有一个防刷的标识，url也没有改变，然后刷新之后，网页的data才被提交到另一个页面，请问我如何直接提交，或者可以...

仅有的幸福 2017-05-27 17:39:37

网页爬虫 - Python requests.get 爬虫设置代理 IP地址未改变

工作需要爬取亚马逊上面的信息，但是亚马逊反爬虫太厉害，同一个IP地址会被封。Python版本：3.6， IDE：Pycharm 2017.1在网上查了很多资料，requests库的手册也读过，但是都是同一个方法，代码如下： {代码...} ...

typecho 2017-06-12 09:24:11

python - 爬虫内容保存成文本文件编码问题

测试一个非常简单的爬虫，把一个非常简约风格的网页的文本内容保存到本地的电脑上。最后出现错误： {代码...} 代码如下： {代码...}

欧阳克 2017-06-12 09:26:21

网页爬虫 - Java爬虫已获取图片链接但是无法下载图片

利用爬虫在html中获取的相应图片资源src的代码是这样的但是再通过代码将资源转成链接的形式下载图片的时候，就报了400的错误然而，我使用chrome去测试链接是否存在是，发现，真正对方网站服务器能够识别的是也...

黄舟 2017-05-17 10:01:58

网页爬虫 - node.js 爬虫外部调用函数无法获得变量值

最近想自己写个爬虫爬点小说看一下,但是碰到了一些困难 console.log(catalogUrl)能够打印出所需要的网址但是我期望的是我在外部调用 var xxx = getCatalogUrl(book)这个函数能够获取catalogUrl这个变量的值我试...

習慣沉默 2017-05-16 13:25:17

python - csdn爬虫评论

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py 根据87-88行的注释说明，为什么用爬虫去评论csdn文章的时候需要转化成这个链接，这个链接是怎么得来的，我看了下网页代码没有相关链接...

仅有的幸福 2017-05-18 10:53:42

新手求教python3如何把dict循环写入csv文件（在进行爬虫时遇到的问题）？

爬虫生成dict后，想将其写入csv文件，却出错使用jupyter notebook,window环境。具体代码如下 {代码...} 运行上面代码，提示错误为 ValueError: too many values to unpack (expected 2)通过查询原因是要将dict遍...

我想大声告诉你 2017-05-18 10:49:20

selenium - 请教一下 Python 爬虫工具

1)我要抓的是 Instagram 某明星的粉丝2)Instagram pc 站使用了大量的 js 渲染3)没写过爬虫,老板明天就要数据我目前使用的是BeautifulSoup, selenium 和phantomjs 代码 demo 大概是 {代码...} 问题是:1) 我不知道...

阿神 2017-06-28 09:22:20

node.js - node爬虫，request设置代理，总是报错求助

我用request爬取图片，为了防止ip被封，用了代理，可是用了代理后，总是报错。nodejs用到了request和async模块 {代码...} download(item,cb) ，cb是async中控制流程的回调函数: {代码...} 每次下载没几个，就报错...

学习ing 2017-06-21 10:12:18

如何使用PHP爬虫采集亚马逊？

由于上次亚马逊网站升级，导致爬虫挂掉，现在亚马逊的反扒策略更加严格。导致无法正常采集。有新的采集策略吗？

Laical 2020-03-26 17:20:49

angular.js - 百度爬虫如何处理'#”符号？

由于采用angular，整站都是ajax方式加载，这样非常不利于SEO。针对百度的angular的SEO成了问题。现在想问一下百度的爬虫，如何处理URL中的#符号

高洛峰 2017-05-15 16:54:39

python爬虫 - scrapy使用redis的时候，redis需要进行一些设置吗？

用scrapy+redis+mongodb写了个爬虫，运行时不能爬取所有符合规则的网址，猜想是不是redis需要进行设置之类的，求高手解答。

巴扎黑 2017-04-24 09:12:00