python - 爬虫内容保存成文本文件 编码问题

测试一个非常简单的爬虫，把一个非常简约风格的网页的文本内容保存到本地的电脑上。最后出现错误： {代码...} 代码如下： {代码...}

来自于 [Python讨论组] 2017-06-12 09:26:21 0  1  869

python中为什么类的实例方法不可以直接访问队列全局变量？

我想在类中实例中使用全局变量队列，我创建的队列mybuffer作为全局变量，然后Producer和Consume两个类的实例中使用这个全局变量，实际在windows的cmd中的的执行情况是class Producer中的...

来自于 [Python讨论组] 2017-04-18 10:15:02 0  1  869

并发 - redis队列里每天有超过一亿条数据，使用python如何高效的将其写入sql数据库?

使用python拉redis队列里的数据，如何确保完整高效不阻塞的把每天上亿条的数据写入mysql/oracle数据库？

来自于 [Python讨论组] 2017-04-17 18:01:11 0  6  869

python2.7 - python导入scimath失败提示：cannot import name scimath

运行： {代码...} 显示： {代码...} 求帮助。

来自于 [Python讨论组] 2017-04-17 17:07:52 0  1  869

python - Flask-Uploads 上传文件报错

form 代码如下： {代码...} 以上代码是完全按照flask_wtf的手册来写的。这样写之后，上传文件的时候报以下错误： RuntimeError: cannot access configuration outs...

来自于 [Python讨论组] 2017-04-17 11:45:32 0  2  869

python 的pymongo db.collection.find()出来是个游标,怎么才能转成数据?

find出来直接print是<pymongo.cursor.Cursor object at 0x040DC8D0> 网上看到的都是遍历,如果我想把find出来的结果保存到一个列表就不能保存了...

来自于 [Python讨论组] 2017-04-18 09:59:10 0  4  868

python爬虫时，有部分的html不能打印出来

在爬取这个网站时：http://www.jyeoo.com/chinese/...发现有部分html无法打印出来，请大神能告诉我该怎么办吗？？

来自于 [Python讨论组] 2016-10-22 15:43:46 0  1  868

python - scrapy爬取手机版微博weibo.cn模拟登录出先问题

代码如下，不知道为什么一直不能成功登录 {代码...} 下边settins.py的内容 {代码...} 下边是输出 {代码...}

来自于 [Python讨论组] 2017-04-18 10:32:50 0  1  867

python - 个人博客数据库设计的问题

我需要设计一个个人博客，数据库设计时遇到困难了。我要实现的功能是：普通用户只能评论博客。管理员（就是我）可以登录，发布博客，回复评论。 原本设计的是表有 User， Admin，Post， Comment。但是User和...

来自于 [Python讨论组] 2017-06-28 09:23:13 0  3  866

python 多进程 或者 多线程下如何高效的同步数据?

在多线程 /多进程时，通过queue之类轻松获取任务。但是当任务完成后，为了统计当前任务的完成数量.需要对一个值进行累加.目前多线程/多进程情况下。我用到的是线程的lock/ 进程的manager + 进程的lock，来...

来自于 [Python讨论组] 2017-06-12 09:24:09 0  1  865

python - scrapy获取网页指定内容，后翻到下一页继续，固定循环次数。。问题

{代码...} 代码是这样的。我想循环抓取的是： www.alexa.cn/siterank/2www.alexa.cn/siterank/3www.alexa.cn/siterank/4..... 我看循环应该是这样的...

来自于 [Python讨论组] 2017-06-12 09:19:33 0  2  865

python - 请问各位大神，如何在爬虫用post选择该网页的省份变量option并且得到选择该option的网页呢

请问在python中如何将此网页(http://wwwold.ipe.org.cn/poll...的下拉菜单的选项，如地区，和地级市等的用python模拟出来的，并且点击查询，点击查询为这个选项<input...

来自于 [Python讨论组] 2017-05-18 10:58:25 0  2  865

python - 使用flask-socketio实现tail log的问题

问题是前端http://127.0.0.1:5000/页面报错是： {代码...} 下面是详细的现场： {代码...} {代码...} 前端templates/index.html： <script typ...

来自于 [Python讨论组] 2017-04-18 10:24:43 0  0  865

python - 运行成功，但是没相应的文件生成

{代码...} {代码...} http://edu.csdn.net/course/de... 是这个视频里的

来自于 [Python讨论组] 2017-04-18 10:18:13 0  4  865

python2 爬虫爬取表格写入csv换行

我在试着爬取CNKI的这个表格的部分字段，然后这个表格的作者列中，有些是含有多个名字，所以就是多条标签。然后我抓取下来的名称和作者就对不上，多个作者的标签会换行，那么我应该如何做才能写入csv时完成这种一...

来自于 [Python讨论组] 2017-04-18 10:09:16 0  1  865