Golang 与 Colly：抓取时使用随机假用户代理

网站抓取通常会由于使用标准或不适当的用户代理而导致被阻止。 本文演示了一种简单的方法，通过在 Go Colly 抓取工具中使用随机的虚假用户代理来缓解此问题。

了解虚假用户代理

用户代理是标识发出 Web 请求的客户端的字符串。 它们传达有关应用程序、操作系统（Windows、macOS、Linux）和浏览器（Chrome、Firefox、Safari）的信息。 网站将此信息用于各种目的，包括安全和分析。

典型的用户代理字符串可能如下所示（Android 上的 Chrome）：

<code>'User-Agent': 'Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36'</code>

Go Colly 的默认用户代理：

<code>"User-Agent": "colly - https://www.php.cn/link/953bd83cb0b9c9f9dc4b3ba0bfc1b236",</code>

轻松识别您的抓取工具，增加被阻止的风险。 因此，采用自定义的、随机的用户代理至关重要。

使用 Go Colly 实现虚假用户代理

修改请求标头以包含自定义用户代理是使用 OnRequest() 回调实现的。 这确保每个请求使用不同的用户代理字符串。

package main

import (
    "bytes"
    "log"
    "github.com/gocolly/colly"
)

func main() {
    c := colly.NewCollector(colly.AllowURLRevisit())

    c.OnRequest(func(r *colly.Request) {
        r.Headers.Set("User-Agent", "Mozilla/5.0 (iPad; CPU OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148")
    })

    c.OnResponse(func(r *colly.Response) {
        log.Printf("%s\n", bytes.Replace(r.Body, []byte("\n"), nil, -1))
    })

    for i := 0; i < 5; i++ {
        c.Visit("httpbin.org/headers")
    }
}

这为所有请求设置一个用户代理。 为了更稳健的抓取，请使用随机方法。

通过随机用户代理轮换

github.com/lib4u/fake-useragent 包简化了随机用户代理选择。

package main

import (
    "bytes"
    "fmt"
    "log"
    "github.com/gocolly/colly"
    uaFake "github.com/lib4u/fake-useragent"
)

func main() {
    ua, err := uaFake.New()
    if err != nil {
        fmt.Println(err)
    }
    c := colly.NewCollector(colly.AllowURLRevisit())

    c.OnRequest(func(r *colly.Request) {
        r.Headers.Set("User-Agent", ua.Filter().GetRandom())
    })

    c.OnResponse(func(r *colly.Response) {
        log.Printf("%s\n", bytes.Replace(r.Body, []byte("\n"), nil, -1))
    })

    for i := 0; i < 5; i++ {
        c.Visit("httpbin.org/headers")
    }
}

此代码片段为每个请求检索一个随机用户代理。

使用特定的虚假用户代理

github.com/lib4u/fake-useragent 提供过滤选项。 例如，要使用随机桌面 Chrome 用户代理：

r.Headers.Set("User-Agent", ua.Filter().Chrome().Platform(uaFake.Desktop).Get())

记住在抓取时始终尊重网站的robots.txt和服务条款。 使用随机用户代理是负责任的网络抓取的众多技术之一； 也考虑使用代理和其他标头管理策略。

参考资料：

• github.com/lib4u/fake-useragent
• github.com/gocolly/colly

以上是Golang 与 Colly：抓取时使用随机假用户代理的详细内容。更多信息请关注PHP中文网其他相关文章！