Scrapy의 분산 크롤러 및 데이터 크롤링 효율성을 향상시키는 방법

Scrapy는 크롤러 프로그램을 빠르고 유연하게 작성할 수 있는 효율적인 Python 웹 크롤러 프레임워크입니다. 그러나 대용량 데이터나 복잡한 웹사이트를 처리할 때 독립형 크롤러는 성능 및 확장성 문제가 발생할 수 있습니다. 이때 데이터 크롤링 효율성을 높이기 위해 분산 크롤러를 사용해야 합니다. 이 기사에서는 Scrapy의 분산 크롤러와 데이터 크롤링 효율성을 향상시키는 방법을 소개합니다.

1. 분산 크롤러란 무엇입니까?

기존의 단일 머신 크롤러 아키텍처에서는 모든 크롤러가 동일한 머신에서 실행됩니다. 대용량 데이터 또는 고압적인 크롤링 작업에 직면하면 머신 성능이 저하되는 경우가 많습니다. 분산 크롤러는 크롤러 작업을 여러 시스템에 분산하여 처리합니다. 분산 컴퓨팅 및 저장을 통해 단일 시스템의 부담이 줄어들어 크롤러의 효율성과 안정성이 향상됩니다.

Scrapy의 분산 크롤러는 일반적으로 오픈 소스 분산 일정 프레임워크인 Distributed Scrapy(간단히 DSC)를 사용하여 구현됩니다. DSC는 병렬 처리를 위해 Scrapy 크롤러 프로그램을 여러 시스템에 배포하고 결과를 중앙 일정 노드에 균일하게 요약합니다.

2. 분산 크롤러를 구현하는 방법은 무엇입니까?

1. 분산 Scrapy 설치

다음 명령을 실행하여 DSC를 설치합니다.

pip install scrapy_redis

pip install pymongo

2 Scrapy 구성 파일을 수정합니다.

의 settings.py 파일에 다음 구성을 추가합니다. Scrapy 프로젝트:

Redis 스케줄러 사용

SCHEDULER = "scrapy_redis.scheduler.Scheduler"

Redis 중복 제거 전략 사용

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

Redis 기록을 지우지 마세요. 일시 중지/재사용할 수 있습니다. 매 크롤링

SCHEDULER _PERSIST= True

redis 연결 매개변수 설정

REDIS_HOST='localhost'
REDIS_PORT=6379

3. 크롤러 코드 작성

스크래피 크롤러 프로그램에서 초기 설정 방식을 수정해야 합니다. 요청, scrapy-redis의 시작 부분 사용 방법:

encoding:utf-8

import scrapy,re,json
from ..items import DouyuItem

from scrapy_redis.spiders import RedisSpider

class DouyuSpider(RedisSpider):

# 爬虫名字
name = 'douyu'
# redis-key，从redis中pop数据进行爬取
redis_key = 'douyu:start_urls'

def parse(self, response):
    # scrapy爬虫代码

4. Redis 서비스 시작

Redis 서비스를 시작하려면 터미널에서 다음 명령을 실행하세요.

redis-server

5 Distributed Scrapy 시작

DSC 노드를 시작하려면 터미널에 다음 명령을 입력하세요.

scrapy creep douyu -s JOBDIR=job1

그 중 job1은 크롤러 상태를 기록하기 위한 DSC의 사용자 정의 이름이 될 수 있습니다.

3. Scrapy 크롤러 최적화

Scrapy는 크롤러 효율성을 최적화하는 다양한 방법을 제공합니다. 분산 크롤러와 함께 사용하면 데이터 크롤링 효율성이 더욱 향상될 수 있습니다.

1. CrawlerRunner를 사용하려면

CrawlerRunner를 사용하여 애플리케이션을 확장하려면 Twisted 클래스가 필요합니다. 단순히 Python 파일을 실행하는 것과 비교하면 여러 프로세스나 여러 컴퓨터를 사용하지 않고도 동일한 프로세스에서 여러 크롤러를 동시에 실행할 수 있습니다. 이를 통해 작업 관리가 더 쉬워질 수 있습니다.

CrawlerRunner를 사용하는 방법은 다음과 같습니다:

from Twisted.internet import Reactor,defer

from scrapy.crawler import CrawlerRunner
from scrapy.utils.project import get_project_settings
from my_spider.spiders.my_spider import MySpider

runner = CrawlerRunner(get_project_settings ())

@defer.inlineCallbacks

def creep():

yield runner.crawl(MySpider)
reactor.stop()

crawl()

reactor.run()

2. 다운로드 미들웨어 우선순위를 낮추세요

많은 수를 처리해야 하는 경우 또는 복잡한 데이터의 경우 CONCURRENT_REQUESTS_PER_DOMAIN을 사용하여 미들웨어 다운로드 우선순위를 줄일 수 있습니다:

CONCURRENT_REQUESTS_PER_DOMAIN = 2

DOWNLOAD_DELAY = 0.5
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.MyCustomDownloaderMiddleware': 543,
}

3. CONCURRENT_REQUESTS를 조정하고 DOWNLOAD_DELAY 매개변수

CONCURRENT_REQUESTS는 각 도메인 이름이 동시에 처리할 수 있는 최대 요청 수를 나타내며 시스템 구성 및 작업 요구 사항에 따라 합리적으로 조정될 수 있습니다.

DOWNLOAD_DELAY는 각 요청 사이의 지연 시간을 나타냅니다. 지연 또는 비동기 요청을 늘려 크롤러 효율성을 향상시킬 수 있습니다.

4. 요약

Scrapy의 분산 크롤러는 대량의 데이터를 신속하게 처리하고 크롤러 효율성을 향상시키는 데 도움이 됩니다. 동시에 다운로드 미들웨어의 우선순위를 낮추고 코루틴 수를 조정하며 요청 지연을 늘려 크롤러 효율성을 더욱 향상시킬 수 있습니다. 분산 크롤러는 Scrapy의 중요한 기능 중 하나입니다. 이를 학습하면 다양한 크롤러 작업을 쉽게 처리할 수 있습니다.

위 내용은 Scrapy의 분산 크롤러 및 데이터 크롤링 효율성을 향상시키는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!