我有很多spider,不能每次調試都手動創建一個debugger吧(scrapy crawl spider_name)
#想可以在spider檔中直接右鍵運行/調試。
Following the voice in heart.
參考文章:Scrapy爬蟲常見問題摘要
在spider檔中,加入cmdline的呼叫方法
cmdline
import scrapy.cmdline #Your Spider Class... def main(): scrapy.cmdline.execute(['scrapy', 'crawl', 'your_spider_name']) if __name__ == '__main__': main()
新建一個py文件,用這個來調試
from scrapy.cmdline import execute import sys import os sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(["scrapy","crawl","YOUR_SPIDER"])
參考文章:Scrapy爬蟲常見問題摘要
spider方便運作/調試
在spider檔中,加入
cmdline
的呼叫方法新建一個py文件,用這個來調試