HttpClient는 웹 페이지 소스 코드를 크롤링합니다.

패키지 UTIL;

import java.io.IOException;
import java.io. 🎜>java.text.DateFormat 가져오기;
java.util.ArrayList 가져오기
java.util.HashMap 가져오기; 🎜>java.util.List 가져오기;
java.util.Set 가져오기
java.util.Map 가져오기; .GZIPInputStream;

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException; >import org.apache.commons.httpclient.HttpMethod;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.NameValuePair ; httpclient.SimpleHttpConnectionManager;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.methods.PostMethod; HttpConnectionManagerParams;
import org.apache.commons.httpclient.params.HttpMethodParams;

/ **
* @author Liuwei
* 날짜: 2009년 12월 18일
*
* TODO
* HttpClient용 보조 클래스
* /
공개 클래스 HttpClientHelper
{

/ **
* HttpClient 연결 시간 초과, 데이터 읽기 시간 초과 설정(단위: 밀리초)
* /
공개 정적 최종 해석 HTTPCLIENT_CONNECTION_TIMEOUT = 30000; Public static final int HTTPCLIENT_SO_TIMEOUT = 120000;
Public static final int HTTPMETHOD_SO_TIMEOUT = 5000;

//ConnectionManager가 연결 종료 여부를 httpclientconnection으로 관리하도록 합니다.
Private static boolean AlwaysClose = FALSE ; private static string defaultEncode = "UTF-8";

private static last DateFormat DATE_FORMAT = new SimpleDateFormat("YYYY-MM-DD HH:MM:SS")

/ **
* HttpClient 연결 가져오기 및 관련 매개변수 설정
*
* @return
* /
Public static HttpClient의 getHttpClient()
{
HttpClient client = new HttpClient(new SimpleHttpConnectionManager(alwaysClose));
HttpConnectionManagerParams ManagerParams = client.getHttpConnectionManager() getParams() 메소드. }

/ **
* HttpClient 연결을 가져오고 관련 매개변수를 설정합니다.
*
* @parameter logonSite
* @parameter logonPort
* @parameter 프로토콜
* @return
* /
public static HttpClient getHttpClient(마지막 문자열 logonSite, 마지막 int logonPort, 마지막 문자열 프로토콜)
{
HttpClient client = new HttpClient( new SimpleHttpConnectionManager(alwaysClose))
client.getHostConfiguration() setHost(logonSite, logonPort, 프로토콜).
HttpConnectionManagerParams ManagerParams = client.getHttpConnectionManager() getParams() 메서드. }

개인 정적 List getHeaders(MapHeaders)
{
List = Headers ArrayList new

() ;
부울 includeUserAgent = FALSE; if (null = header&& false == header.isEmpty()!)
{
set> );
for (enter 항목:entrySet)
{
if (false == includeUserAgent
&&"UserAgent".equals(entry.getKey()))
{
includeUserAgent = TRUE;
}
headers.add(new headers(entry.getKey(), Entry.getValue()))
}
}

if (false == includeUserAgent)
{
headers.add(new headers(
"UserAgent" ,
"Mozilla/4.0(호환 가능; MSIE 7.0; Windows NT 5.1; GTB5; . NET CLR 1.1.4322; .NET CLR 2.0 0.50727; Alexa Toolbar; MAXTHON 2.0)"));
}
반환 헤더;

개인 정적 NameValuePair[] getPairs(Map< ;문자열, 문자열> POSTDATA)
{
if (null == || POSTDATA postData.isEmpty())
{
return NULL;

Set < ;input> =entrySet postData.entrySet();
INT DATALENGTH =entrySet.size()
NameValuePair[] = new NameValuePair[DATALENGTH]
INT i = 0; 🎜>For( 항목 입력:entrySet)
{
double[i++] = new NameValuePair(entry.getKey(), Entry.getValue())
}
return pair
}

/ **
*웹페이지 콘텐츠 정보 요청
*
* @parameter HttpClient
* @parameter reqUrl
*매개변수 제목
* @parameter POSTDATA
*매개변수 인코딩
* @return
*/
공개 정적 문자열 doRequest(HttpClient HttpClient, String reqUrl,
Map 헤더, Map< 문자열, 문자열> POSTDATA, 문자열 인코딩)
{
String htmlContent = NULL
if (null == HttpClient)
{
return htmlContent; >//인코딩 설정 요청
Encoding = (비어 있음 == 인코딩 defaultEncode: 인코딩)

//헤더 요청 정보
List