首页 > 后端开发 > Golang > 正文

Go Colly - 在 for 循环中访问 URL

王林
发布: 2024-02-06 10:51:03
转载
981 人浏览过

Go Colly - 在 for 循环中访问 URL

问题内容

我有一个例子,我应该访问多个链接并从中提取信息。问题是,当我使用“colly.Visit(URL)”时,我的访问量会增加。 示例:

package main

import (
    "fmt"

    "github.com/gocolly/colly"
)

func main() {

    CATETORIES := []string{
        "cate1",
        "cate2",
        "cate3",
    }

    c := colly.NewCollector()

    for _, cate := range CATETORIES {

        c.OnRequest(func(r *colly.Request) {
            fmt.Println("Visiting categories", r.URL)
        })

        c.Visit(cate)
    }
}
登录后复制

这将打印:

Visiting categories http://cate1  
Visiting categories http://cate2
Visiting categories http://cate2
Visiting categories http://cate3
Visiting categories http://cate3
Visiting categories http://cate3
登录后复制

我尝试在每次迭代后初始化 colly,效果很好 - 然后顺序是:访问类别 http://cate1、访问类别 http://cate2、访问类别 http://cate3 但这样做我会失去我的登录会话.. 有什么建议吗?


正确答案


您正在为每个循环迭代添加一个 OnRequest 处理程序。在循环外配置处理程序:

func main() {

  CATETORIES := []string{
    "cate1",
    "cate2",
    "cate3",
  }

  c := colly.NewCollector()

  c.OnRequest(func(r *colly.Request) {
    fmt.Println("Visiting categories", r.URL)
  })

  for _, cate := range CATETORIES {
    c.Visit(cate)
  }
}
登录后复制

以上是Go Colly - 在 for 循环中访问 URL的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:stackoverflow.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!