python - Apabila menggunakan scrapy, mengapa gelung hanya boleh mendapat halaman pertama?
黄舟
黄舟 2017-05-18 10:59:02
0
2
721

class OnlineSpider(scrapy.Spider):
name = "online"
allowed_domains = ["www.onlinedown.net"]
start_urls = ['http://www.onlinedown.net/new/android/','http://www.onlinedown.net/new/ios/','http://www.onlinedown.net/new/windows/']#
model = Model('onlinedown')

def start_request(self):
    for url in self.start_urls:
        for x in range(1, 100):
            detail_url = url + str(x) + '.html'
            print detail_url
            yield scrapy.Request(detail_url, callback = self.parse)
            

Terdapat 35 item setiap halaman, dan hasilnya adalah 105 item. kenapa ni.

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

membalas semua(2)
Ty80

Cara menulis fungsi parse

漂亮男人

Di manakah kaedah penghuraian anda?

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan