提问搜索_PHP中文网

社区学习工具库休闲

简体中文

热门搜索：
PHP
MySQL
jquery
HTML
CSS

redis - 行python爬虫时，MySQL版本是5.7，总是报错

运行python爬虫时，MySQL版本是5.7，总是报错 {代码...} 问题出在什么地方？怎么解决呢？

扔个三星炸死你 2017-06-12 09:19:42

html - 爬虫时出现'DNS lookup failed”，打开网页却没问题，这是什么情况？

RT，在使用python进行爬虫，开始时一切正常，突然网页卡死，等待了一会后恢复正常，然而这时候再进行爬虫时，就会报“DNS lookup failed”，试过很多网站，网页却是正常打开。请教原因及解决方法。跪谢！！

PHP中文网 2017-06-14 10:50:53

网页爬虫 - 博客园博客中的图片怎么用python爬取下来？

写了一小段代码，爬取博客园博客中的图片，这段代码对部分链接有效，还有一部分链接一爬就报错，这是什么原因呢？ {代码...} 如图，可以正确爬取图片若把url换为 {代码...} 则立马报错求解决，谢谢！

某草草 2017-05-18 10:45:39

网页爬虫 - Python爬虫入门知识

本人快大二了，自习了Python，语法基本会。想学下爬虫，但是感觉这涉及到好多知识啊，有没有过来人总结下都有什么知识，或者Python爬虫该怎么学？

欧阳克 2017-07-05 10:34:11

PHP爬虫是如何接入动态爬虫代理的？

php爬虫是如何接入爬虫代理的呢，之前用的是python 和php一样的吗接入方式？

Laical 2020-03-13 17:10:19

python - scrapy中使用CrawlSpider，匹配不到urls

我的爬虫代码如下，其中rules无获取，不知道是什么问题？ {代码...} 运行报错的提醒： {代码...}

为情所困 2017-05-18 10:51:02

python - 关于爬虫爬取图片的问题？

现在的爬虫一般都是从html里面解析出图片，但问题是有的图片路径写在js里面。这个怎么爬？我知道浏览器打开f12点source可以查看里面的图片，但怎么用爬虫把source里面的资源爬出来？

我想大声告诉你 2017-06-28 09:25:40

javascript - node爬取微博

刚接触node,想写个爬虫，爬取新浪微博评论，但是发现页面是由JS动态生成的，用http模块爬取不到，然后用phantomjs爬取，（听说会比较慢，运行了近15分钟，这也太慢了，不知是否写错），还是不行，问一下有什么办...

仅有的幸福 2017-06-30 10:00:08

python - 怎么查看网址做的是什么反爬虫

网址：https://www.nvshens.com/g/22377/，该网站直接游览器打开然后，点击图片右键是可以下载的，然后我爬虫直接请求下来的图片就已经被屏蔽了，然后我改了headers跟设置了ip代理，还是没用。但抓包来看也不是动...

ringa_lee 2017-06-12 09:27:51

网页爬虫 - python3.4.1 request模块报错 'list' object has no attribute 'get'

用python 写了一个爬取ip地址的爬虫，由于该网站是反爬虫的，所以写了代理使用线程池开启10个线程来爬取ip地址然而直接报错'list' object has no attribute 'get'不知道如何解决，贴上本人代码。from bs4 import...

世界只因有你 2017-06-12 09:24:16

网页爬虫 - python 爬虫怎么处理json内容

看不清的话网站地址是http://www.sse.com.cn/disclos...红字是我需要的内容但是我提取不出来求教怎么操作

学习ing 2017-06-22 11:51:33

linux - 有什么Python写的代码发布，自动上线或者是配制管理的系统啊？

有什么Python写的代码发布，自动上线或者是配制管理的系统啊？想做一个类似的网站，但是没什么思路，各位推荐一个相关项目。我先学习一下……

大家讲道理 2017-05-16 13:31:07

python - csdn爬虫评论

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py 根据87-88行的注释说明，为什么用爬虫去评论csdn文章的时候需要转化成这个链接，这个链接是怎么得来的，我看了下网页代码没有相关链接...

仅有的幸福 2017-05-18 10:53:42

python中开发中比如道具之类的配置文件，是以什么文件格式存储

python中开发中比如道具之类的配置文件，是以什么文件格式存储

phpcn_u1582 2017-05-18 10:49:39

python把第x列数据写入第x个文件

Python爬虫一共需要爬取65页数据，每页数据的列数不确定。现在我能把每一列的数据抓下来，但是因为列数不确定，写入的文件名就不能确定。问题在于怎么才能把第x列数据写入第x个文件。也就是如何才能动态选择file=...

漂亮男人 2017-06-12 09:23:40

python - 阿里巴巴爬虫源码的应用疑惑

1.目前问题：运行该py文件，没有任何反应，请问是什么问题？2.纯新手，没接触过py，只学完初浅的html+css。但由于公司一个项目需要搜集区域的供应商信息，想到了py爬虫，便在一个科学怪咖的网站找到了一个爬取阿...

阿神 2017-06-22 11:51:27

ThinkPHP5怎么导入simple_HTML_DOM文件

我想做一个网页爬虫获取数据的，现在有simple_HTML_DOM.php文件，在TP5中我该怎么使用它呢？直接把文件内容放到common.php中还是怎么用？

NULL 2017-12-07 13:26:15

python - 网页title中包含换行，如何用正则表达式提取出来？

在用python做CSDN的网页爬虫，在爬取网页title时，我一直用的正则表达式(?<=\<title\>).+?(?=\<)在CSDN中用不了了，去CSDN源码一看，title换行显示了所以导致原来的正则表达式无法使用，那么，问题...

女神的闺蜜爱上我 2017-06-22 11:51:43

网页爬虫 - Python requests.get 爬虫设置代理 IP地址未改变

工作需要爬取亚马逊上面的信息，但是亚马逊反爬虫太厉害，同一个IP地址会被封。Python版本：3.6， IDE：Pycharm 2017.1在网上查了很多资料，requests库的手册也读过，但是都是同一个方法，代码如下： {代码...} ...

typecho 2017-06-12 09:24:11

python - scrapy 爬取pages比实际进入items的多得多？

{代码...} 为什么我使用scrapy爬取的时候访问pages要比实际进入items的的多的多?就是爬了半天items里没有几条数据入库的有什么办法解决么？

PHP中文网 2017-05-18 10:47:40