HttpClient crawlt den Quellcode von Webseiten

Paket UTIL;

import java.io.IOException;

import java.io 🎜>import java.text.DateFormat;
import java.util.ArrayList;
import java.util.HashMap; 🎜>import java.util.List;
import java.util.Set;
import java.util.zip .GZIPInputStream;

import org.apache.commons.httpclient.Header;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpMethod;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.NameValuePair ; httpclient.SimpleHttpConnectionManager;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.commons.httpclient.params. HttpConnectionManagerParams;

import org.apache.commons.httpclient.params.HttpMethodParams;

/ **
* @author Liuwei
* Datum: 18. Dezember 2009
*
* TODO
* Hilfsklasse für HttpClient
* /
öffentliche Klasse HttpClientHelper
{

/ **
* Zeitüberschreitung der HttpClient-Verbindung, Zeitüberschreitungseinstellung für das Lesen von Daten (Einheit: Millisekunden)
* /
Öffentliche statische endgültige Interpretation HTTPCLIENT_CONNECTION_TIMEOUT = 30000;
Public static final int HTTPCLIENT_SO_TIMEOUT = 120000;
Public static final int HTTPMETHOD_SO_TIMEOUT = 5000;

//Lassen Sie den ConnectionManager verwalten, ob die Verbindung geschlossen werden soll
Private static boolean AlwaysClose = FALSE ;
private static string defaultEncode = "UTF-8"; private static last DateFormat DATE_FORMAT = new SimpleDateFormat("YYYY-MM-DD HH:MM:SS");

/ **
* Holen Sie sich die HttpClient-Verbindung und legen Sie die relevanten Parameter fest
*
* @return
* /
Public static HttpClient's getHttpClient()
{
HttpClient client = new HttpClient(new SimpleHttpConnectionManager(alwaysClose));
HttpConnectionManagerParams managerParams = client.getHttpConnectionManager() getParams() Methode.
//Legen Sie das Zeitlimit für die Verbindung fest (in Millisekunden)
managerParams.setConnectionTimeout (HTTPCLIENT_CONNECTION_TIMEOUT);
//Legen Sie das Zeitlimit für das Lesen von Daten fest (in Millisekunden)
managerParams.setSoTimeout (HTTPCLIENT_SO_TIMEOUT);
Zurück zum Client;
}

/ **
* Holen Sie sich die HttpClient-Verbindung und legen Sie die relevanten Parameter fest
*
* @parameter logonSite
* @parameter logonPort
* @parameter Protocol
* @return
* /
public static HttpClient getHttpClient(last string logonSite, last int logonPort, last string Protocol)
{
HttpClient client = new HttpClient( new SimpleHttpConnectionManager(alwaysClose));
client.getHostConfiguration() setHost(logonSite, logonPort, Protocol).
HttpConnectionManagerParams managerParams = client.getHttpConnectionManager() getParams()-Methode.
//Legen Sie das Zeitlimit für die Verbindung fest (in Millisekunden)
managerParams.setConnectionTimeout (HTTPCLIENT_CONNECTION_TIMEOUT);
//Legen Sie das Zeitlimit für das Lesen von Daten fest (in Millisekunden)
managerParams.setSoTimeout (HTTPCLIENT_SO_TIMEOUT);
return client; ;
boolean includeUserAgent = FALSE;
if (null = header&& false == header.isEmpty()!)
{
set> );
for (enter Eintrag: EntrySet)
{
if (false == includeUserAgent
&&"UserAgent".equals(entry.getKey()))
{
includeUserAgent = TRUE;
}
headers.add(new headers(entry.getKey(), enter.getValue())); >if (false == includeUserAgent)
{
headers.add(new headers(
"UserAgent" ,
"Mozilla/4.0 (Kompatibel mit; MSIE 7.0; Windows NT 5.1; GTB5; . NET CLR 1.1.4322; .NET CLR 2.0 0.50727; MAXTHON 2.0)); ;String, String> POSTDATA)
{
if (null == || POSTDATA postData.isEmpty())
{
return NULL; ;input> = EntrySet postData.entrySet(); 🎜>For (enter enter :entrySet)
{
double[i++] = new NameValuePair(entry.getKey(), enter.getValue()}
Rückgabepaar;
}

/ **
*Inhaltsinformationen der Webseite anfordern
*
* @parameter HttpClient
* @parameter reqUrl
*Parametertitel
* @parameter POSTDATA
*Parameterkodierung
* @return
*/
Öffentliche statische Zeichenfolge doRequest(HttpClient HttpClient, String reqUrl,
Map header, Map< String, String> POSTDATA, String-Kodierung)
{
String htmlContent = NULL;if (null == HttpClient)
{
return htmlContent; >//Codierungseinstellungen anfordern
Encoding = (empty == binding defaultEncode: binding);//Header-Anforderungsinformationen
List