python - 在Scrapy的Downloader Middleware中使用Selenium下载页面时,如何使用异步?
阿神
阿神 2017-04-18 10:25:22
0
0
500

在下载中间件中,Request请求似乎是以同步的方式传入process_request方法的,而我在这里使用selenium下载页面并返回Response对象,就不会使用Scrapy的下载器。最后,全程只有一个浏览器实例在运行,每次只能处理一个请求,请问应该如何处理以提高爬取效率?非常感谢。

阿神
阿神

闭关修行中......

membalas semua(0)
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan
Tentang kita Penafian Sitemap
Laman web PHP Cina:Latihan PHP dalam talian kebajikan awam,Bantu pelajar PHP berkembang dengan cepat!