Bagaimana untuk menggunakan Mozilla Firefox dalam Scrapy untuk menyelesaikan masalah mengimbas kod QR untuk log masuk?

Bagi perangkak merangkak tapak web yang memerlukan log masuk, kod pengesahan atau log masuk kod imbasan adalah masalah yang sangat menyusahkan. Scrapy ialah rangka kerja perangkak yang sangat mudah digunakan dalam Python, tetapi apabila memproses kod pengesahan atau mengimbas kod QR untuk log masuk, beberapa langkah khas perlu diambil. Sebagai pelayar biasa, Mozilla Firefox menyediakan penyelesaian yang boleh membantu kami menyelesaikan masalah ini.

Modul teras Scrapy dipintal, yang hanya menyokong permintaan tak segerak, tetapi sesetengah tapak web perlu menggunakan kuki dan sesi untuk kekal log masuk, jadi kami perlu menggunakan Mozilla Firefox untuk menangani masalah ini.

Pertama, kita perlu memasang pelayar Mozilla Firefox dan pemacu Firefox yang sepadan untuk menggunakannya dalam Python. Arahan pemasangan adalah seperti berikut:

pip install selenium

Kemudian, kita perlu menambah beberapa tetapan pada fail settings.py crawler untuk menggunakan pelayar Firefox untuk mengimbas kod QR untuk log masuk. Berikut ialah tetapan sampel:

DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware':700,
'scrapy_selenium.SeleniumMiddleware':800,
}

SELENIUM_DRIVER_NAME = 'firefox'
SELENIUM_DRIVER_EXECUTABLE_PATH = which('geckodriver')
SELENIUM_BROWSER_EXECUTABLE_PATH = '/usr/bin/firefox'

Kami boleh menetapkannya mengikut sistem pengendalian kami sendiri dan laluan pemasangan Firefox.

Seterusnya, kita perlu mencipta kelas Scrapy Spider tersuai untuk menggunakan penyemak imbas Firefox. Dalam kelas ini, kita perlu menetapkan beberapa pilihan untuk pelayar Firefox seperti yang ditunjukkan di bawah:

from selenium import webdriver
from scrapy.selector import Selector
from scrapy.spiders import CrawlSpider
from scrapy.http import Request

class MySpider(CrawlSpider):
   name = 'myspider'

   def __init__(self):
      self.driver = webdriver.Firefox(executable_path='geckodriver', firefox_binary='/usr/bin/firefox')
      self.driver.set_window_size(1400, 700)
      self.driver.set_page_load_timeout(30)
      self.driver.set_script_timeout(30)

   def parse(self, response):
      # 网站首页处理代码
      pass

Dalam kelas Spider tersuai ini, kami telah menggunakan kelas selenium.webdriver.Firefox untuk mencipta objek peranti kawalan pelayar Firefox. Objek pengawal pelayar Firefox digunakan untuk membuka halaman utama tapak web dan juga boleh melakukan operasi lain seperti yang diperlukan.

Untuk tapak web yang memerlukan pengimbasan kod QR untuk log masuk, kami boleh menggunakan penyemak imbas Firefox untuk mengenal pasti kod QR pada halaman dan menunggu hasil pengimbasan kod QR. Kita boleh menggunakan Selenium untuk mensimulasikan tingkah laku pengguna dalam Python untuk mengimbas kod QR dan log masuk ke tapak web. Kod log masuk pengimbasan kod lengkap adalah seperti berikut:

def parse(self, response):
   self.driver.get(response.url)
   # 等待页面加载完成
   time.sleep(5)
   # 寻找二维码及其位置
   frame = self.driver.find_element_by_xpath('//*[@class="login-qr-code iframe-wrap"]//iframe')
   self.driver.switch_to.frame(frame)
   qr_code = self.driver.find_element_by_xpath('//*[@id="login-qr-code"]/img')
   position = qr_code.location
   size = qr_code.size

   while True:
      # 判断是否已经扫描了二维码，
      # 如果扫描了，登录，并跳出循环
      try:
         result = self.driver.find_element_by_xpath('//*[@class="login-qr-code-close"]')
         result.click()
         break
      except:
         pass

      # 如果没有扫描，等待并继续寻找
      time.sleep(5)


   # 登录后处理的代码
   pass

Dalam kod di atas, kami mula-mula menggunakan kaedah self.driver.get() untuk membuka halaman utama tapak web, dan kemudian gunakan kaedah find_element_by_xpath() untuk mencari elemen kod QR Dapatkan kedudukan dan saiznya. Kemudian gunakan gelung sementara untuk menunggu hasil pengimbasan kod QR Jika ia telah diimbas, klik butang tutup pada kod QR dan lompat keluar dari gelung. Jika tiada imbasan, tunggu 5 saat dan teruskan mencari.

Apabila hasil pengimbasan kod QR tersedia, kami boleh melaksanakan logik log masuk kami sendiri Kaedah pemprosesan khusus bergantung pada situasi sebenar tapak web.

Ringkasnya, apabila menggunakan Scrapy untuk pembangunan crawler, jika kami menemui tapak web yang memerlukan log masuk, dan tapak web tersebut menggunakan kod pengesahan atau kod imbasan untuk log masuk, kami boleh menggunakan kaedah di atas untuk menyelesaikan masalah ini. Menggunakan penyemak imbas Selenium dan Firefox, kami boleh mensimulasikan operasi pengguna, mengendalikan isu log masuk kod QR dan mendapatkan data yang diperlukan.

Atas ialah kandungan terperinci Bagaimana untuk menggunakan Mozilla Firefox dalam Scrapy untuk menyelesaikan masalah mengimbas kod QR untuk log masuk?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!