简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
网页爬虫 - python采集百度新闻的原理是什么?
天蓬老师
天蓬老师 2017-04-18 09:03:01
0
3
975

火车头有一个正文提取器,而且不少的采集软件都有这个东西,但是就是一直不知道这些东西到底是怎么实现的?

或是有高人说下实现的原理是多少?

比如步骤?

或是如何用python来实现,可以举个简单的例子

天蓬老师
天蓬老师

欢迎选择我的课程，让我们一起见证您的进步~~

Antworte allen(3)
小葫芦
小葫芦2017-04-18 09:05:01 3 Etage


来源地址：http://www.cnblogs.com/jasondan/p/3497757.html

Wie +0
Antwort hinzufügen
洪涛
洪涛2017-04-18 09:05:01 2 Etage

比较针对性的，可以使用p，article这些标签来简单判断。如果需要普遍一点的，可以对采集的网页数据进行分析，比如写一个算法计算中文（非标签文字）的密集性来判断是不是正文。具体没做过，但是思路基本是这样。

Wie +0
Antwort hinzufügen
Ty80
Ty802017-04-18 09:05:01 1 Etage

  1. HTTP协议模拟,(通常用request,urllib2模块)

  2. 信息提取(由于HTML文档特殊性,一般会用xpath,beautifulsoup)

Wie +0
Antwort hinzufügen
Beliebte Themen
Mehr>
Populäre Artikel
Beliebte Tutorials
Mehr>
Verwandte Tutorials
Beliebte Empfehlungen
Aktuelle Kurse
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website：Online-PHP-Schulung für das Gemeinwohl，Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln！