scrapy - python __import__很慢的问题
大家讲道理
大家讲道理 2017-04-17 17:54:40
0
3
429
print int(time.time())
name = "scrapy.extensions.memusage"
__import__(name)
print int(time.time())

执行本段代码耗时30秒,请教可能是什么原因呢?

感谢大神的回答,原因确实是依赖导致的。

我的具体原因是:
hostname, aliases, ipaddrs = gethostbyaddr(name)
这个方法导致的, 跟获取服务器名有关,
解决办法是zai /etc/hosts中加入本机名 解决!

大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

모든 응답(3)
伊谢尔伦

위 코드를 테스트했는데 import scrapy.extensions.memusage 둘 다 약 4초가 걸렸습니다

scrapy.extensions.memusage에 종속성이 너무 많아 속도가 느려졌을 것입니다

__import__와 관련이 없어야 합니다

그리고 공식에서는 이 가져오기 모듈 사용을 권장하지 않습니다...

단순히 모듈(패키지 내)을 이름으로 가져오려면 importlib.import_module()을 사용하세요.

巴扎黑

처음 두 분이 LZ의 질문에 답변했어야 했는데, 한 가지 덧붙이고 싶습니다

으아악

이 두 줄은 완전히 동일합니다! 꼭 scrapy.extensions.memusage을 소개하고 싶다면

을 이렇게 써야 합니다. 으아악

하지만 제 솔리드 스테이트 드라이브 테스트는 모두 2초 정도였습니다.

黄舟

scrapy.extensions.memusage는 기본적으로 많은 종속 항목을 가져오는데, 이는 물론 속도가 느립니다. 이 모듈을 가져오기 전후의 sys.modules 수를 확인하세요

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿