Python 안티 크롤러의 지식 포인트는 무엇입니까?
1. 왜 크롤러를 방지해야 할까요?
크롤러 방지 시스템을 설계하기 전에 먼저 크롤러가 웹 사이트에 어떤 문제를 가져올지 살펴보겠습니다.
기본적으로 인터넷은 사람이 탐색하고 보고 사용할 수 있습니다. . 웹사이트와 그에 포함된 데이터는 모두 공개되어 접근 가능하므로 이른바 '불법적 접근' 문제는 없습니다.
웹 페이지에 액세스하는 크롤러 프로그램과 웹 페이지에 액세스하는 사람 사이에는 본질적인 차이가 없습니다. 두 경우 모두 클라이언트는 요청을 받은 후 웹 사이트 서버에 HTTP 요청을 시작합니다. 클라이언트에게.
요청이 시작되는 한 웹사이트 서버가 응답해야 하며, 서버의 리소스가 소비되어야 합니다.
웹사이트 방문자와 웹사이트 사이에는 상호 이익이 되는 관계가 있습니다. 웹사이트는 방문자에게 필요한 정보와 서비스를 제공하고 방문자는 또한 웹사이트에 트래픽, 방문자 및 활동을 가져옵니다. 따라서 웹사이트 소유자는 방문자에게 서비스를 제공하기 위해 서버의 대역폭, 디스크 및 메모리를 기꺼이 사용할 것입니다.
크롤러는 매춘에 해당하나요? 웹 사이트 서버의 리소스를 두 배로 늘리고 서버 대역폭을 점유한다고 해서 웹 사이트에 어떤 이점도 가져다 주지는 않습니다. 실제로 최종 결과는 웹 사이트 자체에 해로울 것입니다.
크롤러는 인터넷의 아프리카 하이에나로 간주될 수 있습니다. 웹사이트 소유자가 크롤러를 미워하는 것도 당연합니다.
2. 크롤러 식별
저는 크롤러를 싫어하기 때문에 웹 사이트에서 크롤러를 차단해야 합니다. 물론 크롤러 액세스를 거부하려면 먼저 네트워크 방문자 중에서 크롤러 프로그램을 식별해야 합니다. 식별 방법
1. HTTP 요청 헤더
일반 네트워크 방문자는 브라우저를 사용하여 웹 사이트에 액세스하므로 이 식별은 가장 기본적인 웹 크롤러에 대한 것입니다. 브라우저는 기본 정보를 표시하기 위해 자체 요청 헤더를 가져옵니다. HTTP 요청 헤더는 누구나 수정하고 위조할 수 있기 때문에 크롤러에 의해 쉽게 손상됩니다.
2. 쿠키 값
쿠키는 일반적으로 귀하의 손에 있는 임시 신분증과 유사하게 웹사이트 방문자를 식별하는 데 사용됩니다. 그리고 이를 바탕으로 웹사이트 서버에서 본인 여부를 확인합니다. 안타깝게도 쿠키는 클라이언트 측에 저장되며 수정 및 위조될 수 있습니다.
3. 방문 빈도
방문자가 1초마다 웹사이트의 특정 페이지를 요청하거나 몇 초 안에 해당 페이지를 수백 번 요청하는 경우. 이 방문자는 크롤러이거나 유령입니다. 어떤 인간이 마우스를 빠르고 자주 클릭하여 페이지를 방문할 수 있습니까? 그는 파킨슨 병을 앓고 있습니까, 아니면 문어의 환생입니까?
액세스 빈도로 크롤러를 식별하는 것이 가능하지만 크롤러는 다수의 프록시 IP를 사용하여 IP 주소에 한 번만 액세스하는 효과를 얻을 수도 있고 무작위 요청 간격으로 우회할 수도 있습니다.
4. 마우스 행동 궤적
일반 인간 방문자는 웹 탐색 시 기계처럼 마우스를 움직여 단계별로 클릭하지 않습니다. 마우스의 움직임과 클릭은 JS 스크립트를 통해 캡쳐할 수 있으므로 방문자의 마우스 행동 궤적을 판단하여 방문자가 크롤러 프로그램인지 여부를 판단할 수 있습니다.
5. 토큰 가치
현재 많은 웹사이트에서는 프런트엔드와 백엔드가 분리된 개발 방식을 채택하고 있으며, 백엔드 인터페이스는 데이터를 프런트엔드로 반환하고, 프런트엔드는 데이터를 가져옵니다. 렌더링을 위해 페이지와 결합합니다. 따라서 많은 크롤러 프로그램은 어리석게 페이지를 요청하는 대신 데이터 인터페이스를 직접 찾습니다. 토큰은 이러한 백엔드 데이터 인터페이스를 확인하는 데 사용됩니다. 일반적으로 토큰은 시간과 웹 페이지 키의 조합으로 암호화됩니다.
크롤러를 식별하는 방법은 더 다양하지만 여기서는 하나씩 소개하지 않겠습니다. 안타깝게도 위의 방법 중 어떤 방법을 사용하여 웹 크롤러를 식별하더라도 크롤러에 의해 속거나 침투될 위험이 항상 존재합니다.
3. 크롤러 거부
일회성 웹사이트 보안이 없는 것처럼 10년 전에 포트 3389를 닫으면 서버가 봇이 되는 것을 방지할 수 있습니다. 요즘에는 다양한 방화벽과 다양한 보안 조치가 적용됩니다. 0Day 취약점으로 인해 협박을 당할 가능성도 추가되었습니다.
파충류와 반파충류 사이에는 항상 투쟁과 고조가 있습니다. 사이버 공격과 방어, 크롤링 방지의 차이점은 전자는 거침없는 싸움인 반면, 후자는 올림픽에 출전하는 권투 선수처럼 장갑과 헬멧을 착용해야 한다는 점입니다.
웹사이트를 운영하려면 콘텐츠를 외부세계에 공개해야 하는데, 공개된 콘텐츠는 마치 아프리카 사바나에 떠도는 썩은 고기와 피 냄새 같아서 하이에나의 도래를 직접적으로 유인하는 것 같습니다.
공개 콘텐츠와 크롤러를 위한 데이터 마이닝 풀이 되는 것을 피하는 것 사이의 균형을 맞추는 것은 어려운 일입니다.
1. 콘텐츠 공개를 제한하세요
오픈 콘텐츠는 사용자 확보와 트래픽 확보의 기반이 되므로 콘텐츠는 반드시 공개되어야 합니다. 그러나 콘텐츠의 개방성은 무한한 개방성이 아니다. 등록되지 않은 사용자는 하나 또는 두 개의 콘텐츠를 볼 수 있지만 모든 콘텐츠에 무제한으로 액세스할 수는 없습니다. 이러한 제한은 로그인, 스캔 코드 확인 또는 Google 확인 코드 액세스와 같은 클릭 확인 메커니즘의 형태를 취할 수 있습니다.
요즘에는 Weibo, Zhihu, Taobao 등 점점 더 많은 웹사이트가 제한된 콘텐츠 공개 메커니즘을 채택하고 있습니다. 한두 페이지의 콘텐츠를 볼 수 있지만 그래도 계속하려면 죄송합니다. 로그인하세요. .
2. 사용자 작업을 행동으로 기록합니다
방문자에게 로그인을 요구해도 문제가 해결되지 않습니다. 왜냐하면 시뮬레이션된 로그인은 이미지 확인 코드, 퍼즐, 슬라이더 또는 중국어 클릭 등 항상 웹 크롤러 프로그램의 인기 있는 개발 분야였기 때문입니다. 문자는 깨질 것입니다. APP 및 크롤러 프로그램을 작성하면 SMS 인증 코드가 웹사이트와 통신할 수 있습니다.
그래서 사용자 행동을 기록하는 것은 필수적입니다. 모든 사용자 작업 및 액세스 행동을 기록해야 합니다. 이는 크롤러를 분석하고 처리하는 기초입니다.
3. 고빈도 행위를 통제 차원에서 엄중 단속
실제로 웹사이트의 데이터나 콘텐츠를 발굴하기 위해 실행되는 것이 아니라 단지 수동 수집을 용이하게 하기 위해 실행되는 크롤러 프로그램도 많이 있습니다. 조직의 경우 이러한 유형의 크롤러 동작은 일반적으로 수동 탐색 빈도보다 높지만 하이에나와 같은 크롤러의 빈도보다 훨씬 낮으므로 이러한 유형의 크롤러 동작은 무시할 수 있습니다. 우리가 나중에 다시 만날 수 있도록 생활 속 한 줄을 지켜주세요.
단, 웹사이트 서버 운영에 영향을 미치는 고주파 크롤러 동작에 대한 조치가 필요합니다. 사용자 정보와 IP 정보를 결합하여 해당 사용자 또는 IP를 처리합니다.
4. 계약에 따른 권리 선언
웹 사이트 소유자는 웹 사이트 계약 또는 사용자 계약에 위협을 가하는 비정상적, 고주파 및 데이터 획득이 허용된다는 점을 선언해야 합니다. 웹사이트 서버의 안정성이 저하될 수 있습니다.
위 내용은 Python 안티 크롤러의 지식 포인트는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











MySQL에는 무료 커뮤니티 버전과 유료 엔터프라이즈 버전이 있습니다. 커뮤니티 버전은 무료로 사용 및 수정할 수 있지만 지원은 제한되어 있으며 안정성이 낮은 응용 프로그램에 적합하며 기술 기능이 강합니다. Enterprise Edition은 안정적이고 신뢰할 수있는 고성능 데이터베이스가 필요하고 지원 비용을 기꺼이 지불하는 응용 프로그램에 대한 포괄적 인 상업적 지원을 제공합니다. 버전을 선택할 때 고려 된 요소에는 응용 프로그램 중요도, 예산 책정 및 기술 기술이 포함됩니다. 완벽한 옵션은없고 가장 적합한 옵션 만 있으므로 특정 상황에 따라 신중하게 선택해야합니다.

이 기사는 MySQL 데이터베이스의 작동을 소개합니다. 먼저 MySQLworkBench 또는 명령 줄 클라이언트와 같은 MySQL 클라이언트를 설치해야합니다. 1. MySQL-Uroot-P 명령을 사용하여 서버에 연결하고 루트 계정 암호로 로그인하십시오. 2. CreateABase를 사용하여 데이터베이스를 작성하고 데이터베이스를 선택하십시오. 3. CreateTable을 사용하여 테이블을 만들고 필드 및 데이터 유형을 정의하십시오. 4. InsertInto를 사용하여 데이터를 삽입하고 데이터를 쿼리하고 업데이트를 통해 데이터를 업데이트하고 DELETE를 통해 데이터를 삭제하십시오. 이러한 단계를 마스터하고 일반적인 문제를 처리하는 법을 배우고 데이터베이스 성능을 최적화하면 MySQL을 효율적으로 사용할 수 있습니다.

해시 값으로 저장되기 때문에 MongoDB 비밀번호를 Navicat을 통해 직접 보는 것은 불가능합니다. 분실 된 비밀번호 검색 방법 : 1. 비밀번호 재설정; 2. 구성 파일 확인 (해시 값이 포함될 수 있음); 3. 코드를 점검하십시오 (암호 하드 코드 메일).

MySQL은 기본 데이터 저장 및 관리를위한 네트워크 연결없이 실행할 수 있습니다. 그러나 다른 시스템과의 상호 작용, 원격 액세스 또는 복제 및 클러스터링과 같은 고급 기능을 사용하려면 네트워크 연결이 필요합니다. 또한 보안 측정 (예 : 방화벽), 성능 최적화 (올바른 네트워크 연결 선택) 및 데이터 백업은 인터넷에 연결하는 데 중요합니다.

MySQL 데이터베이스 성능 최적화 안내서 리소스 집약적 응용 프로그램에서 MySQL 데이터베이스는 중요한 역할을 수행하며 대규모 트랜잭션 관리를 담당합니다. 그러나 응용 프로그램 규모가 확장됨에 따라 데이터베이스 성능 병목 현상은 종종 제약이됩니다. 이 기사는 일련의 효과적인 MySQL 성능 최적화 전략을 탐색하여 응용 프로그램이 고 부하에서 효율적이고 반응이 유지되도록합니다. 실제 사례를 결합하여 인덱싱, 쿼리 최적화, 데이터베이스 설계 및 캐싱과 같은 심층적 인 주요 기술을 설명합니다. 1. 데이터베이스 아키텍처 설계 및 최적화 된 데이터베이스 아키텍처는 MySQL 성능 최적화의 초석입니다. 몇 가지 핵심 원칙은 다음과 같습니다. 올바른 데이터 유형을 선택하고 요구 사항을 충족하는 가장 작은 데이터 유형을 선택하면 저장 공간을 절약 할 수있을뿐만 아니라 데이터 처리 속도를 향상시킬 수 있습니다.

HADIDB : 가볍고 높은 수준의 확장 가능한 Python 데이터베이스 HadIDB (HADIDB)는 파이썬으로 작성된 경량 데이터베이스이며 확장 수준이 높습니다. PIP 설치를 사용하여 HADIDB 설치 : PIPINSTALLHADIDB 사용자 관리 사용자 만들기 사용자 : createUser () 메소드를 작성하여 새 사용자를 만듭니다. Authentication () 메소드는 사용자의 신원을 인증합니다. Fromhadidb.operationimportuseruser_obj = user ( "admin", "admin") user_obj.

MySQL Workbench는 구성이 올바른 경우 MariadB에 연결할 수 있습니다. 먼저 커넥터 유형으로 "mariadb"를 선택하십시오. 연결 구성에서 호스트, 포트, 사용자, 비밀번호 및 데이터베이스를 올바르게 설정하십시오. 연결을 테스트 할 때는 마리아드 브 서비스가 시작되었는지, 사용자 이름과 비밀번호가 올바른지, 포트 번호가 올바른지, 방화벽이 연결을 허용하는지 및 데이터베이스가 존재하는지 여부를 확인하십시오. 고급 사용에서 연결 풀링 기술을 사용하여 성능을 최적화하십시오. 일반적인 오류에는 불충분 한 권한, 네트워크 연결 문제 등이 포함됩니다. 오류를 디버깅 할 때 오류 정보를 신중하게 분석하고 디버깅 도구를 사용하십시오. 네트워크 구성을 최적화하면 성능이 향상 될 수 있습니다

생산 환경의 경우 성능, 신뢰성, 보안 및 확장 성을 포함한 이유로 서버는 일반적으로 MySQL을 실행해야합니다. 서버에는 일반적으로보다 강력한 하드웨어, 중복 구성 및 엄격한 보안 조치가 있습니다. 소규모 저하 애플리케이션의 경우 MySQL이 로컬 컴퓨터에서 실행할 수 있지만 자원 소비, 보안 위험 및 유지 보수 비용은 신중하게 고려되어야합니다. 신뢰성과 보안을 높이려면 MySQL을 클라우드 또는 기타 서버에 배포해야합니다. 적절한 서버 구성을 선택하려면 응용 프로그램 부하 및 데이터 볼륨을 기반으로 평가가 필요합니다.
