python - 如何爬取URL不变的网站内容

{代码...} 对于这种翻页方式，怎么用爬虫爬取呢？网站翻页后URL没有发生改变。我之前使用bs4和selenium模拟翻页操作再爬取，可是数据量太大，这种方法速度太慢。80%的时间都浪费在翻页上。

에서 [Python토론 그룹] 2017-04-18 10:13:25 0  2  1697

python - scrapy 遍历url列表 ，循环发送请求 只循环一次的问题

一 问题描述 我把url构成列表作为爬虫请求的入口（由'http://www.bjev520.com/jsp/beiqi/pcmap/do/pcMap.jsp?cityName=省市名'构成）。对入口地址请求后，每个对象...

에서 [Python토론 그룹] 2017-04-18 10:29:37 0  0  1695

python - BeautifulSoup报错input conversion failed due to input error

编码后的html： {代码...} 执行 bs = BeautifulSoup(html) 结果报错如下； encoding error : input conversion failed due to input er...

에서 [Python토론 그룹] 2017-04-17 14:21:56 0  0  1694

python 的注释会占用内存么？

昨天遇到一个过来给我们普及下 python ，过程中间他提到 python 里的注释会占用更多内存，用三个引号"""阔起来就不会了 我当时感觉这个说法太过匪夷所思，就问是何缘故，可...

에서 [Python토론 그룹] 2016-11-09 16:44:37 0  1  1690

python - xpath에서 변수를 사용하는 방법

xpath에서 변수를 사용하는 방법 id가 특정 값인 요소를 선택하고 싶습니다. {Code...} val의 값이 'images'인 경우 xpath에서 변수를 사용하는 구문은 무엇입니까?

에서 [Python토론 그룹] 2017-06-28 09:26:23 0  4  1688

requests - python request HTTPS报错54, 'Connection reset by peer

最新更新：1、目标是本地电脑（开发环境）request一个API，取得返回的JSON。2、本地使用request请求API的https地址时，报了这个错。3、本地使用request请求别的网址：zhihu.comgith...

에서 [Python토론 그룹] 2017-04-17 17:53:26 0  2  1682

문법 - Python에서 break 및 continue 문은 if에서만 사용할 수 있습니까?

Python에서 break 및 continue 문은 if에만 사용할 수 있습니까? 아래 사진은 Liao Xuefeng 웹사이트에서 가져온 것입니다.

에서 [Python토론 그룹] 2017-05-18 10:58:06 0  2  1678

python - 마르코프 체인 상태 전이 확률 행렬 찾기

시계열은 다음과 같습니다. {코드...} 이 시계열은 총 4032개의 값을 가지며, 이들 값의 값 공간은 115가지 방식을 갖습니다. a=[-0.49,-0.47,-0.45···· ··1.75,1.7...

에서 [Python토론 그룹] 2017-05-18 10:57:34 0  1  1674

python - numpy 的 loadtxt 函数读取汉字问题

에서 [Python토론 그룹] 2017-04-18 10:07:12 0  1  1667

Python：urllib2.URLError: <urlopen error [Errno 11004] getaddrinfo failed>

使用Python读取某个网页的数据，如果网页打不开，就会报错 代码如下 {代码...} 报错如下 {代码...} 刚刚试了下，这样没法捕获错误： {代码...}

에서 [Python토론 그룹] 2017-04-17 11:54:34 0  1  1664

python - 爬虫如何获取onclick的链接

{代码...} 类似如上这种需要点击一下才会打开一个网页的，这种链接该如何获取呢？除了手工分析参数自己构造请求， selenium 定位模拟点击，还有什么方法么？

에서 [Python토론 그룹] 2017-04-18 10:23:14 0  3  1663

python - 如何防止狂点提交表单按钮导致的数据重复？

最近写了一个论坛，但是测试中发现，在发布帖子时，如果网速比较慢，只要疯狂点击表单提交按钮就会在数据库里产生很多重复的帖子。 在网上查了很多资料，给出的方案大都是 js 禁用提交按钮，请问如果不用 js 的话...

에서 [Python토론 그룹] 2017-04-18 10:05:45 0  12  1653

python - decode() missing 1 required positional argument: 'output'

部分代码： {代码...} 返回信息： {代码...}

에서 [Python토론 그룹] 2017-04-18 09:24:39 0  1  1649

python - scrapy를 사용하여 크롤러를 작성하면 서버가 모두 202를 직접 반환합니다.

제가 크롤링한 것은 중국판결문서네트워크(China Judgment Documents Network)였습니다. 요청을 보냈더니 서버가 200을 반환했는데, 일주일 전에 갑자기 모든 요청이 202를 반...

에서 [Python토론 그룹] 2017-06-28 09:25:09 0  2  1642

python - 如何使用shadowsock以及ssh反向隧道实现内网代理？

假如有三台机器：A、B、C： A是家里使用的计算机。（内网） B是一台A、C都能直接连接的服务器。 C是公司里使用的计算机。（内网） 问：有没有可能实现 A端使用ss客户端连接C端的ss服务端。（通过B） 我个人的想法....

에서 [Python토론 그룹] 2017-04-18 09:07:36 0  1  1636