python - Pourquoi la boucle ne peut-elle obtenir que la première page lors de l'utilisation de Scrapy?
黄舟
黄舟 2017-05-18 10:59:02
0
2
700

class OnlineSpider(scrapy.Spider):
name = "online"
allowed_domains = ["www.onlinedown.net"]
start_urls = ['http://www.onlinedown.net/new/android/','http://www.onlinedown.net/new/ios/','http://www.onlinedown.net/new/windows/']#
model = Model('onlinedown')

def start_request(self):
    for url in self.start_urls:
        for x in range(1, 100):
            detail_url = url + str(x) + '.html'
            print detail_url
            yield scrapy.Request(detail_url, callback = self.parse)
            

Il y a 35 éléments par page et les résultats sont de 105 éléments. Pourquoi est-ce.

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

répondre à tous(2)
Ty80

Comment écrire la fonction d'analyse

漂亮男人

Où est votre méthode d'analyse ?

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal