scrapy可以实现这样的功能吗？

Question

我想抓取一个网页的的数据，网页显示哪几个数据项是人为选择的，如果我想用爬虫抓取特定的数据项，不用手工选取数据项，而是让爬虫自动选择，可行吗？用scrapy可以实现吗？简单一点的，用urllib可以实现吗？

三叔 · Answer

可以，找到对应选项的请求地址，直接去请求这个地址就可以了