亚马逊解析简单且完全由您自己完成-Python教程-PHP中文网

我在互联网上发现了一个脚本，可以让你解析来自亚马逊的产品卡。我只是需要一个解决这样的问题的方法。

我在寻找一种解析亚马逊产品卡的方法时绞尽脑汁。问题在于，亚马逊针对不同的输出使用不同的设计选项，特别是 - 如果您需要使用搜索查询“bags”解析卡片 - 卡片将按照我的需要垂直排列，但如果您采取，例如，“T恤” – 然后卡片将水平排列，这样脚本就会出错，它可以打开页面，但不想滚动。

Amazon parsing on easy level and all by yourself

此外，在阅读了用户对如何绕过亚马逊验证码感到困惑的各种文章后，我升级了脚本，现在它可以绕过验证码（它与 2captcha 一起使用）。该脚本在每次加载新页面后都会检查页面上是否存在验证码，如果出现验证码，则会向 2capcha 服务器发送请求，并在收到解决方案后替换它并继续工作。

然而，如何绕过验证码并不是最困难的问题，因为这在当今是一件微不足道的任务。更紧迫的问题是如何让脚本不仅适用于垂直排列的产品卡，还适用于水平排列的产品卡。

下面我将详细描述该脚本包含哪些内容，演示其工作原理，如果您可以帮助解决问题，如果您知道在脚本中添加（更改）什么以便它可以在卡片的水平设置上工作，我将不胜感激。

目前，该脚本至少可以在其有限的功能上为某人提供帮助。

那么，让我们把脚本一点一点地拆开吧！

准备

首先，脚本导入完成任务所需的模块

从 selenium 导入 webdriver
从 selenium.webdriver.common.keys 导入密钥
从 selenium.webdriver.common.action_chains 导入 ActionChains
从 selenium.webdriver.support.ui 导入 WebDriverWait
从 selenium.webdriver.support 导入预期条件作为 EC
导入 csv
导入操作系统
从时间导入睡眠
导入请求

让我们把它拆成几部分：

从 selenium 导入 webdriver

导入 webdriver 类，它允许您通过脚本控制浏览器（在我的例子中是 Firefox）

来自 selenium.webdriver.common.by 导入

导入 theBy 类，脚本将通过该类搜索要通过 XPath 解析的元素（它可以搜索其他属性，但在本例中将使用 Xpath）

从 selenium.webdriver.common.keys 导入密钥

导入 Keys 类，该类将用于模拟击键，在此脚本中，它将向下滚动页面 Keys.PAGE_DOWN

从 selenium.webdriver.common.action_chains 导入 ActionChains

导入 ActionChains 类来创建复杂的顺序操作，在我们的例子中 - 单击 PAGE_DOWN 按钮并等待页面上的所有元素加载（因为在 Amazon 上卡片在滚动时加载）

从 selenium.webdriver.support.ui 导入 WebDriverWait

导入 WebDriverWait 类，该类会等待加载我们要查找的信息，例如产品描述，我们将通过 Xpath 搜索该信息

从selenium.webdriver.support导入expected_conditions作为EC

它导入了expected_conditions类（缩写为EC），它与前一个类一起工作，并告诉WebDriverWait它需要等待哪个特定条件。这提高了脚本的可靠性，使其不会开始与尚未加载的内容交互。

导入 csv

导入 csv 模块以处理 csv 文件。

导入操作系统

导入 os 模块以与操作系统配合使用（创建目录、检查文件是否存在等）。

从时间导入睡眠

我们导入 sleep 函数 - 该函数会将脚本暂停特定时间（在我的例子中为 2 秒，但您可以设置更多），以便元素在滚动时加载。

导入请求

导入用于发送 HTTP 请求的 requests 库，以与 2captcha 识别服务交互。

配置

导入所有内容后，脚本开始配置浏览器以进行工作，特别是：

安装API密钥以访问2captcha服务

# 2Captcha 的 API 密钥
API_KEY =

该脚本包含一个为浏览器安装的用户代理（当然可以更改）。之后，浏览器将以指定的设置启动。

`user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 如 Gecko) Chrome/91.0.4472.124 Safari/537.36"

选项 = webdriver.FirefoxOptions()
options.add_argument(f"user-agent={user_agent}")

driver = webdriver.Firefox(options=options)
`

接下来是验证码解决方案模块。这正是用户在搜索如何解决验证码时寻找的地方。我们很长时间不会分析这段代码，因为它没有什么特别的问题。

简而言之，该脚本在每次页面加载后都会检查页面上是否存在验证码，如果发现它，则通过将其发送到 2captcha 服务器来解决它。如果没有验证码，则继续执行。

`defsolve_captcha(驱动程序):
# 检查页面上是否存在验证码
尝试：
captcha_element = driver.find_element(By.CLASS_NAME, 'g-recaptcha')
如果验证码元素：
print("检测到验证码。正在解决...")
site_key = captcha_element.get_attribute('data-sitekey')
current_url = driver.current_url

        # Send captcha request to 2Captcha
        captcha_id = requests.post(
            'http://2captcha.com/in.php', 
            data={
                'key': API_KEY, 
                'method': 'userrecaptcha', 
                'googlekey': site_key, 
                'pageurl': current_url
            }
        ).text.split('|')[1]

        # Wait for the captcha to be solved
        recaptcha_answer = ''
        while True:
            sleep(5)
            response = requests.get(f"http://2captcha.com/res.php?key={API_KEY}&action=get&id={captcha_id}")
            if response.text == 'CAPCHA_NOT_READY':
                continue
            if 'OK|' in response.text:
                recaptcha_answer = response.text.split('|')[1]
                break

        # Inject the captcha answer into the page
        driver.execute_script(f'document.getElementById("g-recaptcha-response").innerHTML = "{recaptcha_answer}";')
        driver.find_element(By.ID, 'submit').click()
        sleep(5)
        print("Captcha solved.")
except Exception as e:
    print("No captcha found or error occurred:", e)

登录后复制

解析
接下来是负责对页面进行排序、加载和滚动的代码部分

尝试：
base_url = "https://www.amazon.in/s?k=bags"

for page_number in range(1, 10): 
    page_url = f"{base_url}&page={page_number}"

    driver.get(page_url)
    driver.implicitly_wait(10)

    solve_captcha(driver)

    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//span[@class="a-size-medium a-color-base a-text-normal"]')))

    for _ in range(5):  
        ActionChains(driver).send_keys(Keys.PAGE_DOWN).perform()
        sleep(2)

登录后复制

接下来是产品数据的收集。最重要的部分。在此部分中，脚本检查加载的页面并获取从那里指定的数据。在我们的例子中，它是产品名称、评论数量、价格、URL、产品评级。

`product_name_elements = driver.find_elements(By.XPATH, '//span[@class="a-size-medium a-color-base a-text-normal"]')
rating_number_elements = driver.find_elements(By.XPATH, '//span[@class="a-size-base s-underline-text"]')
star_ rating_elements = driver.find_elements(By.XPATH, '//span[@class="a-icon-alt"]')
Price_elements = driver.find_elements(By.XPATH, '//span[@class="a-price-whole"]')
Product_urls = driver.find_elements(By.XPATH, '//a[@class="a-link-normal s-underline-text s-underline-link-text s-link-style a-text-normal"]')

    product_names = [element.text for element in product_name_elements]
    rating_numbers = [element.text for element in rating_number_elements]
    star_ratings = [element.get_attribute('innerHTML') for element in star_rating_elements]
    prices = [element.text for element in price_elements]
    urls = [element.get_attribute('href') for element in product_urls]

登录后复制

接下来，将指定的数据上传到文件夹（为每个页面创建一个csv文件，并将其保存到输出文件文件夹中）。如果该文件夹丢失，脚本会创建它。

`output_directory = "输出文件"
如果不是 os.path.exists(output_directory):
os.makedirs(输出目录)

    with open(os.path.join(output_directory, f'product_details_page_{page_number}.csv'), 'w', newline='', encoding='utf-8') as csvfile:
        csv_writer = csv.writer(csvfile)
        csv_writer.writerow(['Product Urls', 'Product Name', 'Product Price', 'Rating', 'Number of Reviews'])
        for url, name, price, star_rating, num_ratings in zip(urls, product_names, prices, star_ratings, rating_numbers):
            csv_writer.writerow([url, name, price, star_rating, num_ratings])

登录后复制

最后阶段是工作完成和资源释放。

最后：
driver.quit()

完整脚本

`从 selenium 导入 webdriver
从 selenium.webdriver.common.by 导入 By
从 selenium.webdriver.common.keys 导入密钥
从 selenium.webdriver.common.action_chains 导入 ActionChains
从 selenium.webdriver.support.ui 导入 WebDriverWait
从 selenium.webdriver.support 导入预期条件作为 EC
导入 csv
导入操作系统
从时间导入睡眠
导入请求

2Captcha 的 API 密钥

API_KEY = "您的 API 密钥"

设置自定义用户代理来模仿真实的浏览器

user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 如 Gecko) Chrome/91.0.4472.124 Safari/537.36"

选项 = webdriver.FirefoxOptions()
options.add_argument(f"user-agent={user_agent}")

driver = webdriver.Firefox(options=options)

defsolve_captcha(驱动程序):
# 检查页面上是否存在验证码
尝试：
captcha_element = driver.find_element(By.CLASS_NAME, 'g-recaptcha')
如果验证码元素：
print("检测到验证码。正在解决...")
site_key = captcha_element.get_attribute('data-sitekey')
current_url = driver.current_url

        # Send captcha request to 2Captcha
        captcha_id = requests.post(
            'http://2captcha.com/in.php', 
            data={
                'key': API_KEY, 
                'method': 'userrecaptcha', 
                'googlekey': site_key, 
                'pageurl': current_url
            }
        ).text.split('|')[1]

        # Wait for the captcha to be solved
        recaptcha_answer = ''
        while True:
            sleep(5)
            response = requests.get(f"http://2captcha.com/res.php?key={API_KEY}&action=get&id={captcha_id}")
            if response.text == 'CAPCHA_NOT_READY':
                continue
            if 'OK|' in response.text:
                recaptcha_answer = response.text.split('|')[1]
                break

        # Inject the captcha answer into the page
        driver.execute_script(f'document.getElementById("g-recaptcha-response").innerHTML = "{recaptcha_answer}";')
        driver.find_element(By.ID, 'submit').click()
        sleep(5)
        print("Captcha solved.")
except Exception as e:
    print("No captcha found or error occurred:", e)

登录后复制

尝试：
# 起始页 URL
base_url = "https://www.amazon.in/s?k=bags"

for page_number in range(1, 2): 
    page_url = f"{base_url}&page={page_number}"

    driver.get(page_url)
    driver.implicitly_wait(10)

    # Attempt to solve captcha if detected
    solve_captcha(driver)

    # Explicit Wait
    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//span[@class="a-size-medium a-color-base a-text-normal"]')))

    for _ in range(5):  
        ActionChains(driver).send_keys(Keys.PAGE_DOWN).perform()
        sleep(2)

    product_name_elements = driver.find_elements(By.XPATH, '//span[@class="a-size-medium a-color-base a-text-normal"]')
    rating_number_elements = driver.find_elements(By.XPATH, '//span[@class="a-size-base s-underline-text"]')
    star_rating_elements = driver.find_elements(By.XPATH, '//span[@class="a-icon-alt"]')
    price_elements = driver.find_elements(By.XPATH, '//span[@class="a-price-whole"]')
    product_urls = driver.find_elements(By.XPATH, '//a[@class="a-link-normal s-underline-text s-underline-link-text s-link-style a-text-normal"]')

    # Extract and print the text content of each product name, number of ratings, and star rating, urls
    product_names = [element.text for element in product_name_elements]
    rating_numbers = [element.text for element in rating_number_elements]
    star_ratings = [element.get_attribute('innerHTML') for element in star_rating_elements]
    prices = [element.text for element in price_elements]
    urls = [element.get_attribute('href') for element in product_urls]

    sleep(5)        
    output_directory = "output files"
    if not os.path.exists(output_directory):
        os.makedirs(output_directory)

    with open(os.path.join(output_directory, f'product_details_page_{page_number}.csv'), 'w', newline='', encoding='utf-8') as csvfile:
        csv_writer = csv.writer(csvfile)
        csv_writer.writerow(['Product Urls', 'Product Name', 'Product Price', 'Rating', 'Number of Reviews'])
        for url, name, price, star_rating, num_ratings in zip(urls, product_names, prices, star_ratings, rating_numbers):
            csv_writer.writerow([url, name, price, star_rating, num_ratings])

登录后复制

最后：
driver.quit()

这样脚本就不会出现错误，但仅适用于垂直产品卡。以下是该脚本如何工作的示例。

如果您对此有什么想说的，我很乐意在评论中讨论。

以上是亚马逊解析简单且完全由您自己完成的详细内容。更多信息请关注PHP中文网其他相关文章！