使用python scrapy框架,循環爬取URL, 每次運行一段時間後直接卡死,沒有任何報錯

每次運行半小時左右, 直接卡死, log裡沒有任何報錯, 卡死的時候CPU佔用率非常高我在setting.py裡設置了download timeout,不是超時的原因ctrl-c無法正常退出, ctrl- z退出以後, ...

來自於 [Python討論組] 2017-06-12 09:27:08 0  2  951

python - string.Template与str.format()为什么同时存在

这两段代码的效果是一样的: {代码...} 与 {代码...} 我的问题是, string.Template与str.format谁的历史更久? 为什么会出现功能一样的库呢? 是不是一个是另一个的替代品呢?

來自於 [Python討論組] 2017-04-18 09:29:24 0  2  951

python - 使用flask-migrate进行数据库迁移时，如何更改db.String()的长度？

比如有一个简单的模型 {代码...} 一开始，username的长度限制在32,现在将其增大，比如说变为128，flask-migrate似乎不会检测到这个String变长的变化。 我使用了命令自动生成迁移脚本 {代码....

來自於 [Python討論組] 2017-04-17 17:53:56 0  2  951

正则表达式疑问

我用爬虫爬到了一段页面div id="middle"> <div id="title"> <img src="/pr...

來自於 [Python討論組] 2016-11-11 13:18:16 0  2  951

python 类方法的使用场景

python的类方法的定义和使用都了解， 问题是什么情况下会使用python类方法，而不是普通方法或静态方法？

來自於 [Python討論組] 2017-04-18 09:41:46 0  2  950

python - 使用requests下载大文件，设置steam=True，如何确保文件被完整下载？

我使用requests下载文件，有时候会在网络情况不好的情况下不能完整的下载文件，该如何确保文件被完整的下载？ 条件1: 文件的响应头中并没有content-length，我无法知道文件具体的大小 下载代码如下 {代码....

來自於 [Python討論組] 2017-04-18 09:27:20 0  2  950

Python連結加中午，輸出中文不在連結裡

我把一個鏈接拼接中文，中文是抓取的，輸出應該是一個新鏈接，但是輸出中文不在鏈接裡，怎麼解決

來自於 [Python討論組] 2017-05-18 10:45:46 0  2  948

网络爬虫 - python爬虫爬取资料，是直接生成Excel文件还是存入Mysql有利于后期处理。

要处理的文件不多，就是几万条，都是些简单的处理，Excel暂时也够用。大概思路两条： 1、python抓到的数据通过Python DB API 储存到mysql中再做处理。2、直接把爬取到的资料用Phthon XlsxW...

來自於 [Python討論組] 2017-04-18 10:20:34 0  8  948

python - Linux下安装uwsgi失败

python-devel libxml2 libxml2-devel python-setuptools zlib-devel这些都装了……按照http://uwsgi-docs.readthedocs...的教程，出现...

來自於 [Python討論組] 2017-04-18 10:05:43 0  3  948

python - pandas的series能否给小数设置精度

在多个文件中，使用grouped.sum()做同index加和之后，会出现多位小数点的情况，这样的情况怎么处理，不能用float（SERIES)强制格式化这个series

來自於 [Python討論組] 2017-04-18 09:50:20 0  1  948

python用requests递归查询页面 报错 ChunkedEncodingError

我想用递归的方式查询一个网页下面的所有后续页面 /index.php /index_2.php 这样。 {代码...} 运行后报错 提示 equests.exceptions.ChunkedEncodingError: ...

來自於 [Python討論組] 2017-04-18 09:43:00 0  4  948

python - 函数签名问题

{代码...} 像上面那样，装饰后的函数的 __name__ 已经从 now 变成了 wrapper,为什么？

來自於 [Python討論組] 2017-04-17 17:52:40 0  3  948

用os.environ能获取到的环境变量，在os.environ.getenv却得不到，这是为什么？

>>> import os >>> os.path.exists('.env') True >>> for&n...

來自於 [Python討論組] 2017-02-22 10:39:13 0  1  948

当SQLAlchemy修改了模型结构后，如何更新到已有数据表

由于业务不够稳定，数据表结构变更比较频繁，当我修改（如增加）了模型结构后，希望数据库中的表结构能够相应的改变，诸如使用 database.create_all() 之类的语句，想问下有没有这样的语句，或有其他方便的实现方...

來自於 [Python討論組] 2016-11-11 13:25:00 0  3  948

download - python requests 下载大文件不完整

目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份.使用的是 {代码...} 目前碰到一个情况, 使用 requests 下载大文件的时候会出现下载文件不完整的情况, 出现的概率非常大, 应该不会是网络原因导...

來自於 [Python討論組] 2017-04-17 17:08:56 0  3  947