Nach der Verwendung von scrapy
抓取数据时,利用itemloader
这个类,使用selector
取出的值为空时,进入scrapy.Field()
里调用filter()
,selector取值不为空的确返回"有值",如果selector
取出[]
或""
,那么value
进入filter()
wird „kein Wert“ nicht zurückgegeben
def filter(value):
if value:
return "有值"
else:
return "无值"
# 下面就简写了,熟悉的应该能看的懂
scrapy.Field(filter())
Gibt es eine Möglichkeit, den erfassten leeren Wert nach dem Übergeben von filter() in „kein Wert“ zu ändern?
谢邀~
不太了解Scrapy,所以题主这个我不太好说我用PHP自己写的爬虫大体思路是:
1.先是根据正则和一些循环,把要收集的页面放到队列里,按类别分类,例如分页的列表页一个队列,列表里的数据内容页一个队列。
2.然后利用xpath来爬取相关内容页的数据,爬取的过程中对一些爬取到的数据进行如题主所需的那样进行处理。
3.组装数据,按照自己所需的标准保存数据。
大体就是这样,我绝对大部分爬虫框架也大概都是这种思路吧,无非是在此基础上增加了,反爬机制,多线程,多进程,增量爬取等等功能。所以,题主找到你这个框架的
爬取数据那里进行处理或组装数据的地方进行处理都行
。