node.js - 노드 크롤러, 크롤링 방지를 위해 IP 풀을 사용하는 방법은 무엇입니까?

문제는 이것이죠. 저는 이제 막 노드를 배우기 시작한 초보자입니다. 물론 이는 분명히 크롤러를 위한 것입니다. 그러다가 최근에 소설을 읽고 있는데 무료 소설 사이트에 광고가 너무 많아서 소설 전체를 크롤링하는 크롤러를 작성하려고 했습니다. 그런데 URL 요청이 너무 자주 발생해서 역전되었습니다. -크롤링되어 차단되었습니다..

为情所困 2017-06-05 11:13:33 0  1  1205

웹 크롤러 - python3.4.1 요청 모듈에서 'list' 개체에 'get' 속성이 없다는 오류를 보고함

Python을 사용하여 IP 주소를 크롤링하는 크롤러를 작성했기 때문에 에이전트를 작성하고 스레드 풀을 사용하여 IP 주소를 크롤링하는 10개의 스레드를 열었습니다. 그러나 오류 '목록' 개체에는 '속성이 없습니다. get'이 직접 보고되었습니다. 해결 방법을 알고 계시다면 코드를 게시해 주세요. bs4 가져오기에서...

世界只因有你 2017-06-12 09:24:16 0  3  3479

역방향 프록시 - nginx를 사용하여 한 서버에서 다른 서버로 구문 분석하는 기술은 무엇입니까?

다음 규칙을 구현해야 합니다. 사용자는 서버 A에 액세스해야 하지만 실제로는 서버 B를 통해 서버 A에 액세스합니다. 이것은 어떤 기술입니까? 인터넷에서 많은 글을 찾아봤지만, 구현 방법에 대해 언급한 것이 하나도 없는 것 같습니다. 혹시 관련 정보가 있나요?

大家讲道理 2017-05-16 17:28:15 0  6  931

PHP 크롤러를 사용하여 Amazon을 수집하는 방법은 무엇입니까?

Amazon 웹 사이트의 마지막 업그레이드로 인해 크롤러가 중단되었기 때문에 Amazon의 포켓 방지 정책은 이제 더욱 엄격해졌습니다. 따라서 정상적인 수집을 수행할 수 없습니다. 새로운 인수 전략이 있나요?

Laical 2020-03-26 17:20:49 0  0  1182

웹 크롤러 - Python 요청.크롤러 설정 프록시 IP 주소가 변경되지 않았습니다.

해당 작업에는 Amazon의 정보 크롤링이 필요하지만 Amazon의 크롤링 방지 기능이 너무 강력하여 동일한 IP 주소가 차단됩니다. Python 버전: 3.6, IDE: Pycharm 2017.1. 인터넷에서 많은 정보를 확인하고 요청 라이브러리의 매뉴얼을 읽었지만 코드는 다음과 같습니다. .

typecho 2017-06-12 09:24:11 0  1  1189

Python 크롤러 전문가 여러분, 이 웹사이트에서 크롤링 방지를 처리하는 방법을 살펴보고 알아보세요.

https://www.everysaving.co.uk는 Python을 통해 이 웹사이트의 데이터를 크롤링하지만 데이터를 반환할 수 없습니다! 크롤링을 위해 헤더와 프록시 IP를 추가했지만 작동하지 않았습니다. . .

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  750

python - Alibaba 크롤러 소스 코드에 대한 애플리케이션 의심

1. 현재 문제: py 파일을 실행해도 아무 일도 일어나지 않습니다. 무엇이 문제입니까? 2. 저는 완전 초보자이고 py를 접한 적이 없으며 html+css의 기본만 배웠습니다. 그런데 회사의 프로젝트가 지역 공급자 정보를 수집해야 했기 때문에 py 크롤러를 생각하게 되었고, 어느 과학 괴짜의 웹사이트에서 크롤러를 발견하게 되었는데...

阿神 2017-06-22 11:51:27 0  1  1865

python - URL에 어떤 종류의 크롤링 방지 프로그램이 사용되는지 확인하는 방법

URL: https://www.nvshens.com/g/22377/. 브라우저에서 직접 웹사이트를 열고 이미지를 마우스 오른쪽 버튼으로 클릭하여 다운로드합니다. 그러면 내 크롤러에서 직접 요청한 이미지가 차단되었습니다. 헤더를 추가하고 IP 프록시를 설정했지만 여전히 작동하지 않습니다. 그런데 패킷 캡처를 보면 전혀 움직이지 않는 것 같은데...

ringa_lee 2017-06-12 09:27:51 0  4  1254

개미 디자인과 부트스트랩을 적용하는 것의 차이점은 무엇입니까?

두 가지 대표적인 프레임워크를 비교하자면, bs는 어떤 기술 스택도 필요하지 않습니다. 반대로 ant는 es6 React node 등이 필요합니다. 하지만, bs의 호환성 처리는 ant보다 낫습니다. ant보다 bs를 사용하는 경우 프레임워크는 후속 애플리케이션 및 처리를 더 편리하게 만드는 것이 아니므로 b를 사용합니다.

PHP中文网 2017-05-16 13:14:25 0  1  509

동일한 라이브러리를 두 번 사용할 때 마이크로 프런트엔드에서 CSS를 분리합니다.

여러 개의 마이크로 프런트엔드 반응 애플리케이션이 있습니다. 모든 애플리케이션은 기술에 구애받지 않습니다. 즉, 모든 애플리케이션은 모든 라이브러리를 종속성으로 가질 수 있습니다. 그들은 webpack 모듈 통합 플러그인을 사용하고 있습니다. 다른 마이크로 프런트엔드 애플리케이션의 버전이 동일한 경우 종속성은 공유됩니다. 마이크로 프런트엔드 애플리케이션은 기본 마이크로 프런트엔드 애플리케이션과 하위 마이크로 프런트엔드 애플리케이션이라는 그룹으로 나뉩니다. 기본 애플리케이션은 다른 하위 애플리케이션을 위한 컨테이너입니다. 한 번에 하...

P粉321676640 2024-01-01 09:43:23 0  1  471

문제 2003(HY000) 해결 방법: MySQL 서버 'db_mysql:3306'에 연결할 수 없습니다(111).

최근에 FastAPIPython 서버를 컨테이너화하려고 했습니다(복제/배가 목적으로도). 이전에는 Docker 컨테이너에 MySQL 서버만 있으면 모든 것이 괜찮았지만 웹 서버도 서비스로 만들었을 때 MySQL 서버에 연결할 수 없어 이제는 애플리케이션이 작동하지 않습니다. 다음은 fromfastapiimportFastAPIimportmysql.connectorapp 애플리케이션에 있는 서버 데이터베이스 초기화 커넥터의 코드 조각입니다.

P粉178132828 2023-09-05 11:18:47 0  1  716

쿼리 제한 후 정렬 실험

이것이 나의 첫 번째 질문입니다. 문제가 있으면 용서해 주십시오. 제약 조건을 기반으로 정렬 쿼리를 만들려고 합니다. 따라서 90개의 레코드가 있는 Customers 테이블이 있습니다. 먼저 3개의 레코드로 제한된 쿼리를 수행한 다음 ContactName이라는 열을 기준으로 이 쿼리의 결과를 정렬하려고 합니다. 내 생각에 이것은 중첩된 쿼리일 수 있습니다. 중첩 쿼리는 SQLServer에서 잘 실행되지만 MySQL에서 구현하는 방법을 모릅니다. 제한 쿼리: Select*fromcustomerslimit

P粉237125700 2023-09-05 14:46:42 0  1  655

CSS 그리드: 하위 콘텐츠가 열 너비를 초과할 때 새 행 생성

CSS 그리드를 기반으로 하는 두 개의 열 레이아웃이 있습니다. 두 번째 열의 내용이 1fr을 초과하면 새 행을 만들고 싶습니다. 현재로서는 내용이 단순히 열을 넘치게 됩니다. 이 레이아웃의 요구 사항 중 하나는 오른쪽 메뉴 열의 항목이 한 행에 있어야 한다는 것입니다. .right-menu{...grid-auto-flow:columndense;...}를 사용하여 이를 달성합니다. Grid-auto-flow 속성을 제거하면 오버플로가 중지됩니다. 그러나 항목이 이제 여러 행으로 쌓여 있어 내가 원하는 것이 아닙니다. .ri 변환도 ...

P粉212114661 2023-09-05 15:18:28 0  1  546

AND, OR 및 NOT 연산자를 사용한 PHP 전체 텍스트 검색 기능

초보자 질문: PHP와 eloquent를 사용하여 검색 문자열에 대한 전체 텍스트 검색을 구현하려고 합니다. $searchstring="+(피해자)+범죄-covid";$searchresult=RssItem::whereRaw("MATCH(description)AGAINST('$searchstring'INBOOLEANMODE)")->ge

P粉076987386 2023-09-05 15:06:32 0  1  498

모든 PHP 유형을 문자열로 변환하는 가장 짧은 방법

나는 언젠가 의학과 같은 분야에 적용될 수 있기를 바라는 일반 시스템(즉, "과학적")을 작성하고 있습니다. 내 생각에 가장 좋은 방법은 PHP의 모든 데이터를 문자열로 표현하는 것입니다(true는 "true", false는 "false" 등). 그 이유는 PHP에서 모든 값은 고유한 문자열 표현(예: PHP 코드 자체)을 갖기 때문입니다. 이 프로그램의 설계 속도를 높이기 위해 이 질문을 게시합니다. 숫자, 부울 등 일부 값은 쉽게 문자열로 변환됩니다. 개체, 배열, 리소스 등...

P粉369196603 2023-09-05 15:34:44 0  1  745

다른 열을 기준으로 그룹화하면서 MySQL에서 DATETIME 열의 평균을 얻는 방법

다음 쿼리를 사용하여 MySQL 테이블을 생성하고 채우고 있습니다. SETtime_zone='+00:00';CREATETABLEtimestamp_n_datetime(idINT,timeDATETIME,avg_timeDATETIME);INSERTINTOtimestamp_n_datetime(id,time,avg_time)VALUES("1","2023-01 -0310:

P粉460377540 2023-09-05 11:46:21 0  1  467

다중 장치(휴대폰) 동기화 - React Native

모든 사용자의 모바일 장치에서 동시에 실행되는 Lightshow를 만들려고 합니다(최대 2000-3000명의 사용자가 있을 수 있음). 모든 사용자는 인터넷(Wi-Fi 또는 모바일 데이터)을 사용합니다. FE에서는 구독을 위해 Apollo를 사용하는데 이는 정말 매력적입니다. 하지만 문제는 사용자 A가 사용자 B보다 더 빨리 구독 이벤트를 얻을 수 있다는 것입니다. 이는 사용자 A가 사용자 B보다 먼저 게임을 시작한다는 것을 의미합니다. 이는 우리가 라이트쇼 아키텍처를 사용하고 사용자가 더 일찍 또는 나중에 시작할 수 없기 때문에 ...

P粉151466081 2023-09-05 11:58:38 0  1  643

스페이드, 다이아몬드, 하트, 클럽 => 스타일은 Android용 Chrome에서 글꼴 색상을 변경하지 않습니다.

Windows용 Google Chrome에서는 카드 모양 기호(스페이드, 하트, 다이아몬드, 클럽)가 '스타일' 속성을 사용하여 올바르게 색상 지정됩니다. 안타깝게도 Android의 Google Chrome에 표시되는 동일한 페이지에는 제가 정의한 색상이 표시되지 않고 기본 검정색과 빨간색이 사용됩니다. (효과는 첨부된 그림 참조) HTML 코드: (그리고 프로젝트 링크 https://stackblitz.com/edit/web-platform-z2cs3t?file=index.html

P粉896751037 2023-09-05 15:25:13 0  1  717