零基礎寫Java知乎爬蟲之先拿百度首頁練練手-java教程-PHP中文網

上一集我們說到需要用Java來製作一個知乎爬蟲，那麼這次，我們就來研究一下如何使用程式碼取得到網頁的內容。

首先，沒有HTML和CSS和JS和AJAX經驗的建議先去W3C（點我點我）小小的了解一下。

說到HTML，這裡就牽涉到一個GET存取和POST存取的問題。

如果對這個方面缺乏了解可以閱讀W3C的這篇：《GET對比POST》。

啊哈，在此不再贅述。

然後咧，接下來我們需要用Java來爬取一個網頁的內容。

這時候，我們的百度就要派上用場了。

沒錯，他不再是那個默默無聞的網速測試器了，他即將成為我們的爬蟲小白鼠！ ~

我們先來看看百度的首頁：

零基礎寫Java知乎爬蟲之先拿百度首頁練練手

相信大家都知道，現在這樣的一個頁面，是HTML和CSS共同工作的結果。

我們在瀏覽器中右鍵點擊頁面，選擇「查看頁面原始碼」：

零基礎寫Java知乎爬蟲之先拿百度首頁練練手

沒錯，就是這一坨翔一樣的東西。這就是百度頁面的原始碼。

接下來我們的任務，就是使用我們的爬蟲也獲得到一樣的東西。

先來看一段簡單的源碼：

import java.io.*;
import java.net.*;
public class Main {
 public static void main(String[] args) {
  // 定义即将访问的链接
  String url = "http://www.baidu.com";
  // 定义一个字符串用来存储网页内容
  String result = "";
  // 定义一个缓冲字符输入流
  BufferedReader in = null;
  try {
   // 将string转成url对象
   URL realUrl = new URL(url);
   // 初始化一个链接到那个url的连接
   URLConnection connection = realUrl.openConnection();
   // 开始实际的连接
   connection.connect();
   // 初始化 BufferedReader输入流来读取URL的响应
   in = new BufferedReader(new InputStreamReader(
     connection.getInputStream()));
   // 用来临时存储抓取到的每一行的数据
   String line;
   while ((line = in.readLine()) != null) {
    //遍历抓取到的每一行并将其存储到result里面
    result += line;
   }
  } catch (Exception e) {
   System.out.println("发送GET请求出现异常！" + e);
   e.printStackTrace();
  }
  // 使用finally来关闭输入流
  finally {
   try {
    if (in != null) {
     in.close();
    }
   } catch (Exception e2) {
    e2.printStackTrace();
   }
  }
  System.out.println(result);
 }
}

登入後複製

以上就是Java模擬Get訪問百度的Main方法，

可以運行一下看看結果：

，和我們前面用啊哈瀏覽器看到的一模一樣。至此，一個最簡單的爬蟲就算是做好了。

但是這麼一大坨東西未必都是我想要的啊，怎麼從中抓取出我想要的東西呢？

以百度的大爪子Logo為例。

臨時需求：

取得百度Logo的大爪子的圖片連結。

先說一下瀏覽器的查看方法。

滑鼠對圖片右鍵，選擇審查元素（火狐，Google，IE11，均有此功能，只是名字不太一樣）：

零基礎寫Java知乎爬蟲之先拿百度首頁練練手

啊哈，可以看到在一大堆div的圍攻下的可憐的img標籤。

這個src就是圖片的連結了。

那麼在java中我們怎麼搞呢？

事先說明，為了方便示範程式碼，所有程式碼均未作類封裝，還請諒解。

我們先把前面的程式碼封裝成一個sendGet函數：

import java.io.*;
import java.net.*;
public class Main {
 static String sendGet(String url) {
  // 定义一个字符串用来存储网页内容
  String result = "";
  // 定义一个缓冲字符输入流
  BufferedReader in = null;
  try {
   // 将string转成url对象
   URL realUrl = new URL(url);
   // 初始化一个链接到那个url的连接
   URLConnection connection = realUrl.openConnection();
   // 开始实际的连接
   connection.connect();
   // 初始化 BufferedReader输入流来读取URL的响应
   in = new BufferedReader(new InputStreamReader(
     connection.getInputStream()));
   // 用来临时存储抓取到的每一行的数据
   String line;
   while ((line = in.readLine()) != null) {
    // 遍历抓取到的每一行并将其存储到result里面
    result += line;
   }
  } catch (Exception e) {
   System.out.println("发送GET请求出现异常！" + e);
   e.printStackTrace();
  }
  // 使用finally来关闭输入流
  finally {
   try {
    if (in != null) {
     in.close();
    }
   } catch (Exception e2) {
    e2.printStackTrace();
   }
  }
  return result;
 }
 public static void main(String[] args) {
  // 定义即将访问的链接
  String url = "http://www.baidu.com";
  // 访问链接并获取页面内容
  String result = sendGet(url);
  System.out.println(result);
 }
}

登入後複製

這樣看起來稍微整潔了一點，請原諒我這個強迫症。

接下來的任務，就是從獲取到的一大堆東西裡面找到那個圖片的連結。

我們首先可以想到的方法，是對頁面原始碼的字串result使用indexof函數進行String的子字串搜尋。

沒錯這個方法是可以慢慢解決這個問題，例如直接indexOf("src")找到開始的序號，然後再稀裡嘩啦的搞到結束的序號。

不過我們不能一直使用這種方法，畢竟草鞋只適合出門走走，後期還是需要切假腿來拿人頭的。

請原諒我的亂入，繼續。

那我們用什麼方式來尋找這張圖片的src呢？

沒錯，正如下面觀眾所說，正則匹配。

如果有同學不太清楚正規則，可以參考這篇文章：[Python]網路爬蟲（七）：Python中的正規表示式教學。

簡單來說，正規就像是匹配。

例如三個胖子站在這裡，分別穿著紅衣服，藍衣服，綠衣服。