这次又来折腾亚马逊了。之前有介绍亚马逊的商品获取和评论获取。但是在批量获取和多次访问的情况下出现了需要验证码的情况： 当然，出现这种情况你是肯定获取不到数据的。但是，你离你想要的数据，真的很近了。所以本次的目的就是绕过这个验证码，获取验证码...

上次讲了一下playwright获取网站的数据。但是吧这个playwright，他终究是一个自动化调试工具，多多少少会占一点本地的资源。这次的Splash可不一样了，他是部署在服务器上的，可以把负载的资源放在一个甚至多个服务器上，实现在服务器上将想要...

 因为版权不明，以下所有的那个网站用S代替，那个第三方网站用SDB代替。       在之前的文章中爬取了S的热销商品，也说明了因为Cloudflare的浏览器验证导致SDB无法爬...

为什么要使用多进程目标网站数据量多，想赶时间多获取点东西？数据库大批量的数据需要操作？单纯的想要节省时间，早早下班？............肯定会有人说【多线程】。Python的多线程为了数据安全设置了GIL全局解释器锁，而Python的多线程是靠并...

AliExpress全球速卖通，又称国际版淘宝，是一款面向海外的购物网站。之前有获取过Amazon的信息，偶然间发现了这个网站，所以今天看看这个国际版淘宝上面有没有我想要的东西。 不知道这上面能不能get原价的XboxSerisX呢？&nb...

最近几天部署代理池的时候，用Python写了requests请求测试IP地址检测连通性的脚本。但是发现了一个问题，requests.get带代理请求有时候请求不通。我初步认为代理的问题，但是之后我用了curl请求发现代理是正常的，用Go写了测试发现还...

由于审核原因，本文中的网站以S代替。有刚刚使用S的用户，不知道玩什么游戏怎么办？往往热销商品会使他们最合适的选择。当然，某个第三方的网站上面的数据会更详细，什么游戏用户活跃度高，哪个区服游戏价格更便宜上面都会有。但是加上了一层Cloudflare的浏...

亚马逊网站用户的评论能直观的反映当前商品值不值得付费，评分信息也能获取到做一个评分的权重。 亚马逊的评论区由用户ID，评分及评论标题，地区时间，评论正文 这几个部分组成，本次获取的内容就是这些。测试链接：https://www.amazon...

本文中所涉及的网站皆以GG代替。scrapy框架，熟悉python爬虫的朋友们应该知道甚至有所了解，scrapy是一个爬虫框架，模块化程度高，可拓展性强，对相应的模块进行开发和拓展就能满足使用者想要得到的效果。所以本次我就简单介绍下scrapy的使用...