scrapy - python __import__很慢的问题
大家讲道理
大家讲道理 2017-04-17 17:54:40
0
3
425
print int(time.time())
name = "scrapy.extensions.memusage"
__import__(name)
print int(time.time())

执行本段代码耗时30秒,请教可能是什么原因呢?

感谢大神的回答,原因确实是依赖导致的。

我的具体原因是:
hostname, aliases, ipaddrs = gethostbyaddr(name)
这个方法导致的, 跟获取服务器名有关,
解决办法是zai /etc/hosts中加入本机名 解决!

大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

Antworte allen(3)
伊谢尔伦

我测试了 上面代码 和 import scrapy.extensions.memusage都大概在 4s左右

应该是scrapy.extensions.memusage的依赖过多导致速度的慢

和__import__应该无关

而且官方也不推荐用这个import module吧...

If you simply want to import a module (potentially within a package) by name, use importlib.import_module().

巴扎黑

前面两位应该算解答了LZ的问题,但我想要补充一点

__import__("scrapy.extensions.memusage")
__import__("scrapy")

这两行是完全等价的!如果你真的想引入scrapy.extensions.memusage,那你应该这样写

__import__("scrapy.extensions.memusage", fromlist=[""])

然而并没有什么卵用,我的固态硬盘测试两个都是2s左右。

黄舟

scrapy.extensions.memusage默认导入了好多依赖进来,当然慢了,参见导入这个模块前后的sys.modules个数

Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage