python - Comment combiner les données de deux pages différentes dans Scrapy et les stocker ensemble

Question

1 Par exemple, il y a une page de liste de blogs a, pour obtenir la liste des articles
2 Page de détails du contenu du blog b, pour obtenir le texte de l'article
3 Comment importer les articles + le contenu dans la base de données dans l'ordre
4 Le courant ? le problème est principalement que je ne sais pas comment combiner deux pages différentes

.

Answer 1

Vous pouvez utiliser request.meta pour stocker des informations supplémentaires, telles que

def parse_x1(self, response):
    extra = {}
    ...
    req = scrapy.Request(url2)
    req.callback = self.parse_x2
    ...
    req.meta['extra'] = extra 
    yield req
 
def parse_x2(self, response):
    item = {}
    extra = response.meta['extra']
    item.update(extra)
    ...
    
    yield item