java - 编写爬虫程序时有没有办法智能的将非结构化数据结构化,根据关键字自动生成xpath解析页面?

Question

编写爬虫程序时最痛苦的就是需要一个个网站的写解析程序,感觉完全是体力活,有没有办法根据关注字自动生成xpath,比如抓取物流方面的信息根据车长,车型,出发地,目的地自动生成相应的元素的xpath,有没类似的论文或者github项目

Answer 1

既然你提了論文,那推薦一篇吧(雖然看了也沒什麼卵用): Web data extraction, applications and techniques: A survey
總結介紹了幾十年間結構化,半結構化資料抽取的研究分類和基本想法. 可以以這篇論文作為索引來讀相關的研究.