Perangkak yang diedarkan dalam Scrapy dan kaedah untuk meningkatkan kecekapan merangkak data

Scrapy ialah rangka kerja perangkak web Python yang cekap yang boleh menulis program perangkak dengan cepat dan fleksibel. Walau bagaimanapun, apabila memproses sejumlah besar data atau tapak web yang kompleks, perangkak yang berdiri sendiri mungkin menghadapi masalah prestasi dan kebolehskalaan Pada masa ini, perangkak yang diedarkan perlu digunakan untuk meningkatkan kecekapan merangkak data. Artikel ini memperkenalkan perangkak teragih dalam Scrapy dan kaedah untuk meningkatkan kecekapan merangkak data.

1. Apakah perangkak teragih?

Dalam seni bina perangkak mesin tunggal tradisional, semua perangkak berjalan pada mesin yang sama Apabila berhadapan dengan sejumlah besar data atau tugas merangkak bertekanan tinggi, prestasi mesin selalunya ketat. Perangkak teragih mengagihkan tugas perangkak kepada berbilang mesin untuk diproses Melalui pengkomputeran dan penyimpanan yang diedarkan, beban pada satu mesin dikurangkan, dengan itu meningkatkan kecekapan dan kestabilan perangkak.

Perangkak teragih dalam Scrapy biasanya dilaksanakan menggunakan rangka kerja penjadualan teragih sumber terbuka Distributed Scrapy (pendek kata DSC). DSC mengedarkan program perangkak Scrapy kepada berbilang mesin untuk pemprosesan selari, dan meringkaskan keputusan secara seragam ke nod penjadualan pusat.

2. Bagaimana untuk melaksanakan perangkak teragih?

1. Install Distributed Scrapy

Jalankan arahan berikut untuk memasang DSC:

pip install scrapy_redis

pip install pymongo

2 . Ubah suai fail konfigurasi Scrapy

Tambah konfigurasi berikut dalam fail settings.py projek Scrapy:

Gunakan penjadual redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"

Gunakan strategi deduplikasi redis

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

Jika anda tidak mengosongkan rekod redis, anda boleh jeda/sambung semula merangkak

SCHEDULER_PERSIST=Benar

Tetapkan parameter sambungan redis

REDIS_HOST='localhost'
REDIS_PORT=6379

3.dalam program perangkak Scrapy , anda perlu mengubah suai kaedah permintaan permulaan, gunakan kaedah permulaan scrapy-redis:

pengekodan:utf-8

import scrapy,re,json

daripada ..item import DouyuItem

dari scrapy_redis.spiders import RedisSpider

kelas DouyuSpider(RedisSpider):

# 爬虫名字
name = 'douyu'
# redis-key，从redis中pop数据进行爬取
redis_key = 'douyu:start_urls'

def parse(self, response):
    # scrapy爬虫代码

4 >Lakukan arahan berikut dalam terminal untuk memulakan perkhidmatan redis ：

redis-server

5. Nod DSC:

scrapy crawl douyu -s JOBDIR= job1

Antaranya, job1 boleh menjadi nama tersuai, yang digunakan untuk DSC merekod status crawler.

3. Optimize Scrapy crawler

Scrapy menyediakan banyak kaedah untuk mengoptimumkan kecekapan crawler Jika digunakan dengan perangkak teragih, kecekapan merangkak data boleh dipertingkatkan lagi.

1. Menggunakan CrawlerRunner

CrawlerRunner memerlukan kelas Twisted untuk melanjutkan aplikasi. Berbanding dengan hanya menjalankan fail Python, ia membolehkan anda menjalankan berbilang perangkak secara serentak dalam proses yang sama tanpa menggunakan berbilang proses atau berbilang mesin. Ini boleh memudahkan pengurusan tugasan.

Cara untuk menggunakan CrawlerRunner adalah seperti berikut:

dari twisted.internet import reactor, tangguhkan

dari scrapy.crawler import CrawlerRunner

dari scrapy.utils.project import get_project_settings

dari my_spider.spiders.my_spider import MySpider

runner = CrawlerRunner(get_project_settings())

@defer.inlineCallbacks
def crawl():
rreeee ()

reactor.run()

2 Kurangkan keutamaan perisian tengah muat turun

Jika anda perlu memproses sejumlah besar atau data kompleks dalam perisian tengah muat turun, anda boleh menggunakan CONCURRENT_REQUESTS_PER_DOMAIN untuk mengurangkan keutamaan perisian tengah muat turun. 🎜>}

3. Pelarasan CONCURRENT_REQUESTS dan DOWNLOAD_DELAY parameter

CONCURRENT_REQUESTS menunjukkan bilangan maksimum permintaan yang diproses secara serentak oleh setiap nama domain, yang boleh dilaraskan secara munasabah mengikut konfigurasi mesin dan keperluan tugas.

DOWNLOAD_DELAY mewakili masa kelewatan antara setiap permintaan Kecekapan perangkak boleh dipertingkatkan dengan meningkatkan kelewatan atau permintaan tak segerak.

4. Ringkasan

Perangkak teragih Scrapy boleh membantu kami memproses sejumlah besar data dan meningkatkan kecekapan perangkak. Pada masa yang sama, kecekapan perangkak boleh dipertingkatkan lagi dengan menurunkan keutamaan perisian tengah muat turun, melaraskan bilangan coroutine dan meningkatkan kelewatan permintaan. Perangkak teragih ialah salah satu fungsi penting Pembelajaran Scrapy yang membolehkan kita mengendalikan pelbagai tugasan perangkak dengan mudah.

Atas ialah kandungan terperinci Perangkak yang diedarkan dalam Scrapy dan kaedah untuk meningkatkan kecekapan merangkak data. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!