Schreiben Sie einen Java Zhihu-Crawler ohne Fundament, um von Zhihu-Redakteuren empfohlene Inhalte zu erhalten (2)

Webseiten können die Webseitenkodierung über den Zeichensatz des Meta-Tags festlegen, zum Beispiel:

<meta charset="utf-8" />

Wir klicken mit der rechten Maustaste, um den Quellcode der Seite anzuzeigen:

Wie Sie sehen können, verwendet Zhihu die UTF-8-Kodierung.

Hier erkläre ich Ihnen den Unterschied zwischen dem Anzeigen des Seitenquellcodes und dem Überprüfen von Elementen.

Das Anzeigen des Seitenquellcodes zeigt den gesamten Code der gesamten Seite an. Er ist nicht nach HTML-Tags formatiert. Diese Methode ist nützlicher, um die Informationen der Seite anzuzeigen gesamte Webseite, z. B. Meta.

Inspect-Element, oder einige Browser nennen es View-Element, um das Element anzuzeigen, auf das Sie mit der rechten Maustaste klicken, z. B. ein Div oder ein IMG. Es eignet sich besser zum Anzeigen der Attribute und Tags eines Objekts.

Okay, wir wissen jetzt, dass das Problem in der Kodierung liegt, und der nächste Schritt besteht darin, die Kodierung des erfassten Inhalts umzuwandeln.

Die Implementierung in Java ist sehr einfach. Sie müssen lediglich die Kodierungsmethode im InputStreamReader angeben:

// 初始化 BufferedReader输入流来读取URL的响应
   in = new BufferedReader(new InputStreamReader(
     connection.getInputStream(),"UTF-8"));

Führen Sie das Programm zu diesem Zeitpunkt erneut aus und Sie werden feststellen, dass der Titel angezeigt wird kann normal angezeigt werden:

Okay! sehr gut!

Aber jetzt gibt es nur noch einen Titel, wir brauchen alle Titel.

Wir modifizieren den regulären Ausdruck leicht und speichern die Suchergebnisse in einer ArrayList:

import java.io.*;
import java.net.*;
import java.util.ArrayList;
import java.util.regex.*;
public class Main {
 static String SendGet(String url) {
  // 定义一个字符串用来存储网页内容
  String result = "";
  // 定义一个缓冲字符输入流
  BufferedReader in = null;
  try {
   // 将string转成url对象
   URL realUrl = new URL(url);
   // 初始化一个链接到那个url的连接
   URLConnection connection = realUrl.openConnection();
   // 开始实际的连接
   connection.connect();
   // 初始化 BufferedReader输入流来读取URL的响应
   in = new BufferedReader(new InputStreamReader(
     connection.getInputStream(), "UTF-8"));
   // 用来临时存储抓取到的每一行的数据
   String line;
   while ((line = in.readLine()) != null) {
    // 遍历抓取到的每一行并将其存储到result里面
    result += line;
   }
  } catch (Exception e) {
   System.out.println("发送GET请求出现异常！" + e);
   e.printStackTrace();
  }
  // 使用finally来关闭输入流
  finally {
   try {
    if (in != null) {
     in.close();
    }
   } catch (Exception e2) {
    e2.printStackTrace();
   }
  }
  return result;
 }
 static ArrayList<String> RegexString(String targetStr, String patternStr) {
  // 预定义一个ArrayList来存储结果
  ArrayList<String> results = new ArrayList<String>();
  // 定义一个样式模板，此中使用正则表达式，括号中是要抓的内容
  Pattern pattern = Pattern.compile(patternStr);
  // 定义一个matcher用来做匹配
  Matcher matcher = pattern.matcher(targetStr);
  // 如果找到了
  boolean isFind = matcher.find();
  // 使用循环将句子里所有的kelvin找出并替换再将内容加到sb里
  while (isFind) {
   //添加成功匹配的结果
   results.add(matcher.group(1));
   // 继续查找下一个匹配对象
   isFind = matcher.find();
  }
  return results;
 }
 public static void main(String[] args) {
  // 定义即将访问的链接
  String url = "http://www.zhihu.com/explore/recommendations";
  // 访问链接并获取页面内容
  String result = SendGet(url);
  // 使用正则匹配图片的src内容
  ArrayList<String> imgSrc = RegexString(result, "question_link.+?>(.+?)<");
  // 打印结果
  System.out.println(imgSrc);
 }
}

Auf diese Weise können alle Ergebnisse abgeglichen werden (da die ArrayList direkt gedruckt wird). Es gibt einige eckige Klammern und Kommas):

OK, dies ist der erste Schritt des Zhihu-Crawlers.

Aber wir sehen, dass es keine Möglichkeit gibt, alle Fragen und Antworten auf diese Weise zu erfassen.

Wir müssen eine Zhihu-Kapselungsklasse entwerfen, um alle erfassten Objekte zu speichern.

Das Obige ist der Inhalt des Schreibens eines Java Zhihu-Crawlers ohne Grundkenntnisse, um vom Zhihu-Editor empfohlene Inhalte zu erhalten (2). zur chinesischen PHP-Website (www.php.cn)!