python - pyspider的分布式运行成功，2台slave跑，但是时间并没有缩短问题？

1 台 master,2 台 slave，虚拟机 ubuntu 下，配置如下： master 的 config.json： {代码...} 在主机上运行 /usr/local/bin/pyspider -c /home/...

来自于 [Python讨论组] 2017-06-28 09:22:42 0  1  980

python - 使用pyhive 能够执行source 语句吗

cursor.execute("source '/home/hadoop/create_table.sql'")执行结果 {代码...} 以上报错

来自于 [Python讨论组] 2017-06-28 09:22:35 0  1  1607

python - 请问如何可以优化提升pandas的read_sql的速度呢？

小弟的需求需要在多个数据库之间查询数据并关联，所以小弟选择了使用pandas，通过read_sql读取数据至dataframe加工后直接生成目标数据。但是目前遭遇了一个问题：read_sql的速度非常慢，例如，在orac...

来自于 [Python讨论组] 2017-06-28 09:22:30 0  1  2124

Python从URL中提取域名

Python如何从URL中提取域名？url有各种格式的如下： 输入： {代码...} 输出： {代码...}

来自于 [Python讨论组] 2017-06-28 09:22:24 0  2  824

selenium - 请教一下 Python 爬虫工具

1)我要抓的是 Instagram 某明星的粉丝2)Instagram pc 站使用了大量的 js 渲染3)没写过爬虫,老板明天就要数据 我目前使用的是BeautifulSoup, selenium 和phantomjs...

来自于 [Python讨论组] 2017-06-28 09:22:20 0  1  1000

python - sklearn如何训练大规模数据集

问题一： 现在我有40多万条的数据，需要对该数据使用某种机器学习分类算法建立模型，遇到的问题是因为数据过于庞大不能一次性的进行数据的读取，所以想问一下该如何处理数据？ 问题二： 关于sklearn交叉验证有个...

来自于 [Python讨论组] 2017-06-28 09:22:17 0  3  1108

python - 爬取微信公众号文章需要输入验证码问题

一开始请求是正常的，请求多了就返回这个网页，提示要验证。现在加了代理，加了header也都是返回这个。不知道有没有什么办法能绕过这个验证，或者后台可以模拟验证？有没有大神遇到类似的问题？简单贴下请求的代...

来自于 [Python讨论组] 2017-06-28 09:22:11 0  3  9609

aiohttp在python3中装好了，但是进入python3还是会导入失败

虚拟机环境为Ubuntu——64位pip 安装在python3下，使用pip安装aiohttp时，显示已经安装在python3中，但是然后进入python中导入aiohttp模块，还是会失败，怎么办？

来自于 [Python讨论组] 2017-06-28 09:22:08 0  2  1016

python - 合并多列表组成一个字典

我把原始问题简化一下，希望各位大大帮忙 有2个等长list：idlist = [id1,id2,id3,id4,id5]userlist = [name1,name2,name3,name4,name5] 希望合并成以下...

来自于 [Python讨论组] 2017-06-28 09:22:02 0  4  1112

python redis 列表插入 速度太慢

{代码...} 这种执行效率低的可怕。需要等几十秒，才能插入完成。请问有没更高效率的处理手法？ args 只是以一个元组内容随意(1,2,"3")之类

来自于 [Python讨论组] 2017-06-28 09:21:58 0  1  1299

python小白 问关于参数无法找到的问题

代码如下： {代码...} 执行结果： 我的问题：程序提示说，new_name无法找到 课时我明明写上去了 不知道为什么系统提示无法找到呢？

来自于 [Python讨论组] 2017-06-22 11:53:02 0  3  736

python小白 关于类里面的方法获取变量失败的问题

代码如下： {代码...} 执行结果： 我的问题： 我已经传入了2个值，一个哈哈，一个20为什么打印出来的还是0？

来自于 [Python讨论组] 2017-06-22 11:53:00 0  4  814

python - lxml.etree为什么会自动加上加上</i>？

正在学习lxml，代码如下： {代码...} 输出如下： {代码...} 主要不理解为什么&lt;i&gt;标签那里会出错呢？请问怎么解决这个问题？谢谢~

来自于 [Python讨论组] 2017-06-22 11:52:40 0  1  771

python3.x - Python not 运算符的问题

{代码...} {代码...} 如上，将 False 直接进行运算时会作为 0 来计算。使用逻辑运算符 not 时，not(1) 的值为 False 或 0。 但为什么直接将 not(1) 放进算术运算后再次计算的结果为...

来自于 [Python讨论组] 2017-06-22 11:52:39 0  3  1290

python小白 自学看书遇到看不懂的地方

如图，小弟最近在自学python，看书的时候经常看到有这种--snip--书上也没有说明，百度了也没有找到特别清楚的，搞不清楚这到底是什么一般来说，如果代码暂时没写，不是应该写个pass么那这个snip到底是个什么鬼呢？

来自于 [Python讨论组] 2017-06-22 11:52:38 0  3  965