如何使用 C# 進行網頁抓取自動化網站登入？

使用 C# 自動進行網站登錄，以實現高效的網頁抓取

網頁抓取對於從網站提取資料至關重要，但許多網站需要登入。 自動化此登入流程對於高效抓取至關重要。 本文示範如何使用 C# 實現此目的。

讓我們以mmoinn.com為例。 對某些原始程式碼的存取僅限於登入使用者。為了抓取這些數據，我們將自動登入。

強大的解決方案：WebRequest 和 WebResponse

與

相比，WebRequestWebResponse 和 WebClient 可以更好地控制 HTTP 請求和回應。 過程涉及兩個關鍵步驟：

1。 POST 登入要求：

1. 正確格式化 POST 數據，對表單欄位及其值進行編碼。
2. 建立一個 WebRequest 對象，適當設定 URL、ContentType、Method 和 ContentLength。
3. 使用GetRequestStream()傳送POST資料。

2。取得受保護頁面的請求：

1. 為受保護頁面建立WebRequest。
2. 將 POST 回應中的「Cookie」標頭包含在 WebRequest 中。
3. 執行請求並獲得回應。
4. 使用GetResponseStream()存取受保護頁面的原始程式碼。

範例程式碼：發佈登入憑證

string formUrl = "http://www.mmoinn.com/index.do?PageModule=UsersAction&Action=UsersLogin";
string formParams = $"email_address={username}&password={password}";
string cookieHeader;

WebRequest req = WebRequest.Create(formUrl);
req.ContentType = "application/x-www-form-urlencoded";
req.Method = "POST";
byte[] bytes = Encoding.ASCII.GetBytes(formParams);
req.ContentLength = bytes.Length;

using (Stream os = req.GetRequestStream())
{
    os.Write(bytes, 0, bytes.Length);
}

WebResponse resp = req.GetResponse();
cookieHeader = resp.Headers["Set-cookie"];

範例程式碼：擷取受保護的頁面

string pageSource;
string getUrl = "http://..."; // URL of the protected page
WebRequest getRequest = WebRequest.Create(getUrl);
getRequest.Headers.Add("Cookie", cookieHeader);

WebResponse getResponse = getRequest.GetResponse();
using (StreamReader sr = new StreamReader(getResponse.GetResponseStream()))
{
    pageSource = sr.ReadToEnd();
}

這種方法有效地自動化了網站登錄，允許訪問受保護的網頁，透過網路抓取進行資料提取和分析。 抓取時請記得遵守網站服務條款和 robots.txt。

以上是如何使用 C# 進行網頁抓取自動化網站登入？的詳細內容。更多資訊請關注PHP中文網其他相關文章！