首頁 Java java教程 零基礎寫Java知乎爬蟲之進階階篇

零基礎寫Java知乎爬蟲之進階階篇

Dec 24, 2016 pm 12:00 PM

说到爬虫,使用Java本身自带的URLConnection可以实现一些基本的抓取页面的功能,但是对于一些比较高级的功能,比如重定向的处理,HTML标记的去除,仅仅使用URLConnection还是不够的。

在这里我们可以使用HttpClient这个第三方jar包。

接下来我们使用HttpClient简单的写一个爬去百度的Demo:

import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
/**
 * 
 * @author CallMeWhy
 * 
 */
public class Spider {
 private static HttpClient httpClient = new HttpClient();
 /**
  * @param path
  *            目标网页的链接
  * @return 返回布尔值,表示是否正常下载目标页面
  * @throws Exception
  *             读取网页流或写入本地文件流的IO异常
  */
 public static boolean downloadPage(String path) throws Exception {
  // 定义输入输出流
  InputStream input = null;
  OutputStream output = null;
  // 得到 post 方法
  GetMethod getMethod = new GetMethod(path);
  // 执行,返回状态码
  int statusCode = httpClient.executeMethod(getMethod);
  // 针对状态码进行处理
  // 简单起见,只处理返回值为 200 的状态码
  if (statusCode == HttpStatus.SC_OK) {
   input = getMethod.getResponseBodyAsStream();
   // 通过对URL的得到文件名
   String filename = path.substring(path.lastIndexOf('/') + 1)
     + ".html";
   // 获得文件输出流
   output = new FileOutputStream(filename);
   // 输出到文件
   int tempByte = -1;
   while ((tempByte = input.read()) > 0) {
    output.write(tempByte);
   }
   // 关闭输入流
   if (input != null) {
    input.close();
   }
   // 关闭输出流
   if (output != null) {
    output.close();
   }
   return true;
  }
  return false;
 }
 public static void main(String[] args) {
  try {
   // 抓取百度首页,输出
   Spider.downloadPage("http://www.baidu.com");
  } catch (Exception e) {
   e.printStackTrace();
  }
 }
}
登入後複製

但是这样基本的爬虫是不能满足各色各样的爬虫需求的。

先来介绍宽度优先爬虫。

宽度优先相信大家都不陌生,简单说来可以这样理解宽度优先爬虫。

我们把互联网看作一张超级大的有向图,每一个网页上的链接都是一个有向边,每一个文件或没有链接的纯页面则是图中的终点:

零基礎寫Java知乎爬蟲之進階階篇


宽度优先爬虫就是这样一个爬虫,爬走在这个有向图上,从根节点开始一层一层往外爬取新的节点的数据。

宽度遍历算法如下所示:

(1) 顶点 V 入队列。
(2) 当队列非空时继续执行,否则算法为空。
(3) 出队列,获得队头节点 V,访问顶点 V 并标记 V 已经被访问。
(4) 查找顶点 V 的第一个邻接顶点 col。
(5) 若 V 的邻接顶点 col 未被访问过,则 col 进队列。
(6) 继续查找 V 的其他邻接顶点 col,转到步骤(5),若 V 的所有邻接顶点都已经被访问过,则转到步骤(2)。

按照宽度遍历算法,上图的遍历顺序为:A->B->C->D->E->F->H->G->I,这样一层一层的遍历下去。

而宽度优先爬虫其实爬取的是一系列的种子节点,和图的遍历基本相同。

我们可以把需要爬取页面的URL都放在一个TODO表中,将已经访问的页面放在一个Visited表中:

零基礎寫Java知乎爬蟲之進階階篇

则宽度优先爬虫的基本流程如下:

(1) 把解析出的链接和 Visited 表中的链接进行比较,若 Visited 表中不存在此链接, 表示其未被访问过。
(2) 把链接放入 TODO 表中。
(3) 处理完毕后,从 TODO 表中取得一条链接,直接放入 Visited 表中。
(4) 针对这个链接所表示的网页,继续上述过程。如此循环往复。

下面我们就来一步一步制作一个宽度优先的爬虫。

首先,对于先设计一个数据结构用来存储TODO表, 考虑到需要先进先出所以采用队列,自定义一个Quere类:
import java.util.LinkedList;
/**
 * 自定义队列类 保存TODO表
 */
public class Queue {
 /**
  * 定义一个队列,使用LinkedList实现
  */
 private LinkedList<Object> queue = new LinkedList<Object>(); // 入队列
 /**
  * 将t加入到队列中
  */
 public void enQueue(Object t) {
  queue.addLast(t);
 }
 /**
  * 移除队列中的第一项并将其返回
  */
 public Object deQueue() {
  return queue.removeFirst();
 }
 /**
  * 返回队列是否为空
  */
 public boolean isQueueEmpty() {
  return queue.isEmpty();
 }
 /**
  * 判断并返回队列是否包含t
  */
 public boolean contians(Object t) {
  return queue.contains(t);
 }
 /**
  * 判断并返回队列是否为空
  */
 public boolean empty() {
  return queue.isEmpty();
 }
}
登入後複製

还需要一个数据结构来记录已经访问过的 URL,即Visited表。

考虑到这个表的作用,每当要访问一个 URL 的时候,首先在这个数据结构中进行查找,如果当前的 URL 已经存在,则丢弃这个URL任务。

这个数据结构需要不重复并且能快速查找,所以选择HashSet来存储。

综上,我们另建一个SpiderQueue类来保存Visited表和TODO表:

import java.util.HashSet;
import java.util.Set;
/**
 * 自定义类 保存Visited表和unVisited表
 */
public class SpiderQueue {
 /**
  * 已访问的url集合,即Visited表
  */
 private static Set<Object> visitedUrl = new HashSet<>();
 /**
  * 添加到访问过的 URL 队列中
  */
 public static void addVisitedUrl(String url) {
  visitedUrl.add(url);
 }
 /**
  * 移除访问过的 URL
  */
 public static void removeVisitedUrl(String url) {
  visitedUrl.remove(url);
 }
 /**
  * 获得已经访问的 URL 数目
  */
 public static int getVisitedUrlNum() {
  return visitedUrl.size();
 }
 /**
  * 待访问的url集合,即unVisited表
  */
 private static Queue unVisitedUrl = new Queue();
 /**
  * 获得UnVisited队列
  */
 public static Queue getUnVisitedUrl() {
  return unVisitedUrl;
 }
 /**
  * 未访问的unVisitedUrl出队列
  */
 public static Object unVisitedUrlDeQueue() {
  return unVisitedUrl.deQueue();
 }
 /**
  * 保证添加url到unVisitedUrl的时候每个 URL只被访问一次
  */
 public static void addUnvisitedUrl(String url) {
  if (url != null && !url.trim().equals("") && !visitedUrl.contains(url)
    && !unVisitedUrl.contians(url))
   unVisitedUrl.enQueue(url);
 }
 /**
  * 判断未访问的 URL队列中是否为空
  */
 public static boolean unVisitedUrlsEmpty() {
  return unVisitedUrl.empty();
 }
}
登入後複製

上面是一些自定义类的封装,接下来就是一个定义一个用来下载网页的工具类,我们将其定义为DownTool类:

package controller;
import java.io.*;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.*;
import org.apache.commons.httpclient.params.*;
public class DownTool {
 /**
  * 根据 URL 和网页类型生成需要保存的网页的文件名,去除 URL 中的非文件名字符
  */
 private String getFileNameByUrl(String url, String contentType) {
  // 移除 "http://" 这七个字符
  url = url.substring(7);
  // 确认抓取到的页面为 text/html 类型
  if (contentType.indexOf("html") != -1) {
   // 把所有的url中的特殊符号转化成下划线
   url = url.replaceAll("[\\?/:*|<>\"]", "_") + ".html";
  } else {
   url = url.replaceAll("[\\?/:*|<>\"]", "_") + "."
     + contentType.substring(contentType.lastIndexOf("/") + 1);
  }
  return url;
 }
 /**
  * 保存网页字节数组到本地文件,filePath 为要保存的文件的相对地址
  */
 private void saveToLocal(byte[] data, String filePath) {
  try {
   DataOutputStream out = new DataOutputStream(new FileOutputStream(
     new File(filePath)));
   for (int i = 0; i < data.length; i++)
    out.write(data[i]);
   out.flush();
   out.close();
  } catch (IOException e) {
   e.printStackTrace();
  }
 }
 // 下载 URL 指向的网页
 public String downloadFile(String url) {
  String filePath = null;
  // 1.生成 HttpClinet对象并设置参数
  HttpClient httpClient = new HttpClient();
  // 设置 HTTP连接超时 5s
  httpClient.getHttpConnectionManager().getParams()
    .setConnectionTimeout(5000);
  // 2.生成 GetMethod对象并设置参数
  GetMethod getMethod = new GetMethod(url);
  // 设置 get请求超时 5s
  getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 5000);
  // 设置请求重试处理
  getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
    new DefaultHttpMethodRetryHandler());
  // 3.执行GET请求
  try {
   int statusCode = httpClient.executeMethod(getMethod);
   // 判断访问的状态码
   if (statusCode != HttpStatus.SC_OK) {
    System.err.println("Method failed: "
      + getMethod.getStatusLine());
    filePath = null;
   }
   // 4.处理 HTTP 响应内容
   byte[] responseBody = getMethod.getResponseBody();// 读取为字节数组
   // 根据网页 url 生成保存时的文件名
   filePath = "temp\\"
     + getFileNameByUrl(url,
       getMethod.getResponseHeader("Content-Type")
         .getValue());
   saveToLocal(responseBody, filePath);
  } catch (HttpException e) {
   // 发生致命的异常,可能是协议不对或者返回的内容有问题
   System.out.println("请检查你的http地址是否正确");
   e.printStackTrace();
  } catch (IOException e) {
   // 发生网络异常
   e.printStackTrace();
  } finally {
   // 释放连接
   getMethod.releaseConnection();
  }
  return filePath;
 }
}
登入後複製

在这里我们需要一个HtmlParserTool类来处理Html标记:

package controller;
import java.util.HashSet;
import java.util.Set;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
import model.LinkFilter;
public class HtmlParserTool {
 // 获取一个网站上的链接,filter 用来过滤链接
 public static Set<String> extracLinks(String url, LinkFilter filter) {
  Set<String> links = new HashSet<String>();
  try {
   Parser parser = new Parser(url);
   parser.setEncoding("gb2312");
   // 过滤 <frame >标签的 filter,用来提取 frame 标签里的 src 属性
   NodeFilter frameFilter = new NodeFilter() {
    private static final long serialVersionUID = 1L;
    @Override
    public boolean accept(Node node) {
     if (node.getText().startsWith("frame src=")) {
      return true;
     } else {
      return false;
     }
    }
   };
   // OrFilter 来设置过滤 <a> 标签和 <frame> 标签
   OrFilter linkFilter = new OrFilter(new NodeClassFilter(
     LinkTag.class), frameFilter);
   // 得到所有经过过滤的标签
   NodeList list = parser.extractAllNodesThatMatch(linkFilter);
   for (int i = 0; i < list.size(); i++) {
    Node tag = list.elementAt(i);
    if (tag instanceof LinkTag)// <a> 标签
    {
     LinkTag link = (LinkTag) tag;
     String linkUrl = link.getLink();// URL
     if (filter.accept(linkUrl))
      links.add(linkUrl);
    } else// <frame> 标签
    {
     // 提取 frame 里 src 属性的链接, 如 <frame src="test.html"/>
     String frame = tag.getText();
     int start = frame.indexOf("src=");
     frame = frame.substring(start);
     int end = frame.indexOf(" ");
     if (end == -1)
      end = frame.indexOf(">");
     String frameUrl = frame.substring(5, end - 1);
     if (filter.accept(frameUrl))
      links.add(frameUrl);
    }
   }
  } catch (ParserException e) {
   e.printStackTrace();
  }
  return links;
 }
}
登入後複製

最后我们来写个爬虫类调用前面的封装类和函数:

package controller;
import java.util.Set;
import model.LinkFilter;
import model.SpiderQueue;
public class BfsSpider {
 /**
  * 使用种子初始化URL队列
  */
 private void initCrawlerWithSeeds(String[] seeds) {
  for (int i = 0; i < seeds.length; i++)
   SpiderQueue.addUnvisitedUrl(seeds[i]);
 }
 // 定义过滤器,提取以 http://www.xxxx.com开头的链接
 public void crawling(String[] seeds) {
  LinkFilter filter = new LinkFilter() {
   public boolean accept(String url) {
    if (url.startsWith("http://www.baidu.com"))
     return true;
    else
     return false;
   }
  };
  // 初始化 URL 队列
  initCrawlerWithSeeds(seeds);
  // 循环条件:待抓取的链接不空且抓取的网页不多于 1000
  while (!SpiderQueue.unVisitedUrlsEmpty()
    && SpiderQueue.getVisitedUrlNum() <= 1000) {
   // 队头 URL 出队列
   String visitUrl = (String) SpiderQueue.unVisitedUrlDeQueue();
   if (visitUrl == null)
    continue;
   DownTool downLoader = new DownTool();
   // 下载网页
   downLoader.downloadFile(visitUrl);
   // 该 URL 放入已访问的 URL 中
   SpiderQueue.addVisitedUrl(visitUrl);
   // 提取出下载网页中的 URL
   Set<String> links = HtmlParserTool.extracLinks(visitUrl, filter);
   // 新的未访问的 URL 入队
   for (String link : links) {
    SpiderQueue.addUnvisitedUrl(link);
   }
  }
 }
 // main 方法入口
 public static void main(String[] args) {
  BfsSpider crawler = new BfsSpider();
  crawler.crawling(new String[] { "http://www.baidu.com" });
 }
}
登入後複製

运行可以看到,爬虫已经把百度网页下所有的页面都抓取出来了:
零基礎寫Java知乎爬蟲之進階階篇


以上就是零基础写Java知乎爬虫之进阶篇的内容,更多相关内容请关注PHP中文网(www.php.cn)!


本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora:巫婆樹的耳語 - 如何解鎖抓鉤
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1666
14
CakePHP 教程
1425
52
Laravel 教程
1323
25
PHP教程
1272
29
C# 教程
1251
24
突破或從Java 8流返回? 突破或從Java 8流返回? Feb 07, 2025 pm 12:09 PM

Java 8引入了Stream API,提供了一種強大且表達力豐富的處理數據集合的方式。然而,使用Stream時,一個常見問題是:如何從forEach操作中中斷或返回? 傳統循環允許提前中斷或返回,但Stream的forEach方法並不直接支持這種方式。本文將解釋原因,並探討在Stream處理系統中實現提前終止的替代方法。 延伸閱讀: Java Stream API改進 理解Stream forEach forEach方法是一個終端操作,它對Stream中的每個元素執行一個操作。它的設計意圖是處

PHP:網絡開發的關鍵語言 PHP:網絡開發的關鍵語言 Apr 13, 2025 am 12:08 AM

PHP是一種廣泛應用於服務器端的腳本語言,特別適合web開發。 1.PHP可以嵌入HTML,處理HTTP請求和響應,支持多種數據庫。 2.PHP用於生成動態網頁內容,處理表單數據,訪問數據庫等,具有強大的社區支持和開源資源。 3.PHP是解釋型語言,執行過程包括詞法分析、語法分析、編譯和執行。 4.PHP可以與MySQL結合用於用戶註冊系統等高級應用。 5.調試PHP時,可使用error_reporting()和var_dump()等函數。 6.優化PHP代碼可通過緩存機制、優化數據庫查詢和使用內置函數。 7

PHP與Python:了解差異 PHP與Python:了解差異 Apr 11, 2025 am 12:15 AM

PHP和Python各有優勢,選擇應基於項目需求。 1.PHP適合web開發,語法簡單,執行效率高。 2.Python適用於數據科學和機器學習,語法簡潔,庫豐富。

PHP與其他語言:比較 PHP與其他語言:比較 Apr 13, 2025 am 12:19 AM

PHP適合web開發,特別是在快速開發和處理動態內容方面表現出色,但不擅長數據科學和企業級應用。與Python相比,PHP在web開發中更具優勢,但在數據科學領域不如Python;與Java相比,PHP在企業級應用中表現較差,但在web開發中更靈活;與JavaScript相比,PHP在後端開發中更簡潔,但在前端開發中不如JavaScript。

PHP與Python:核心功能 PHP與Python:核心功能 Apr 13, 2025 am 12:16 AM

PHP和Python各有優勢,適合不同場景。 1.PHP適用於web開發,提供內置web服務器和豐富函數庫。 2.Python適合數據科學和機器學習,語法簡潔且有強大標準庫。選擇時應根據項目需求決定。

PHP的影響:網絡開發及以後 PHP的影響:網絡開發及以後 Apr 18, 2025 am 12:10 AM

PHPhassignificantlyimpactedwebdevelopmentandextendsbeyondit.1)ItpowersmajorplatformslikeWordPressandexcelsindatabaseinteractions.2)PHP'sadaptabilityallowsittoscaleforlargeapplicationsusingframeworkslikeLaravel.3)Beyondweb,PHPisusedincommand-linescrip

PHP:許多網站的基礎 PHP:許多網站的基礎 Apr 13, 2025 am 12:07 AM

PHP成為許多網站首選技術棧的原因包括其易用性、強大社區支持和廣泛應用。 1)易於學習和使用,適合初學者。 2)擁有龐大的開發者社區,資源豐富。 3)廣泛應用於WordPress、Drupal等平台。 4)與Web服務器緊密集成,簡化開發部署。

PHP與Python:用例和應用程序 PHP與Python:用例和應用程序 Apr 17, 2025 am 12:23 AM

PHP適用於Web開發和內容管理系統,Python適合數據科學、機器學習和自動化腳本。 1.PHP在構建快速、可擴展的網站和應用程序方面表現出色,常用於WordPress等CMS。 2.Python在數據科學和機器學習領域表現卓越,擁有豐富的庫如NumPy和TensorFlow。

See all articles