node.js - 노드 크롤러, 크롤링 방지를 위해 IP 풀을 사용하는 방법은 무엇입니까?

Question

문제는 저는 이제 막 노드를 배우기 시작한 초보자입니다. 물론 크롤러에게는 그렇습니다. 그러다가 최근에 소설을 읽고 있는데 그 무료 소설 사이트에 광고가 너무 많아서 소설 전체를 크롤링하는 크롤러를 작성하려고 했는데 URL 요청 횟수가 너무 빈번해서 역전이 되더라구요. - 크롤링하고 차단했습니다. 이를 피하기 위해 요청 간격을 늘려 보았지만 이를 피하기 위해 IP 주소를 변경할 수 있다는 것을 우연히 발견했습니다. 그러나 Baidu에서는 이 영역에 리소스가 너무 적습니다. , 그래서 전문가들에게 물어보려고 왔습니다. 혹시 아시는 것이 있으면 잠시만 공유해 주시면 감사하겠습니다.

문제는 등반 방지를 피하기 위해 노드 IP를 변경하는 방법이라는 점을 강조하고 싶습니다

사용된 프레임워크에는 superagent, cheatio, async가 포함됩니다... 감사합니다.
코드:

으아악

---

위대한 신을 기다리며

Answer 1

크롤링 방지는 제어 프로그램이 하나의 IP 주소를 사용하여 동일한 웹 사이트를 매우 빠른 빈도로 여러 번 크롤링할 수 없음을 의미합니다. 이제 IP 풀이 있으므로 프로그램이 여러 IP를 사용하여 요청을 시작할 수 있습니다. 이 경우, 프로그램에서 사용하는 IP를 정기적으로 변경하면 됩니다. 예를 들어 크롤링 빈도에 따라 30분 또는 1시간 또는 그 이상 시간이 지나면 IP 주소를 교체하십시오. 크롤러 프로그램의 IP는 다음과 같습니다. 노드 에이전트 링크입니다. 어쩌면 유용할 수도 있습니다/q/10...