使用 Pydantic、Crawl 和 Gemini 构建异步电子商务网络爬虫

简而言之： 本指南演示了如何使用crawl4ai 的人工智能提取和 Pydantic 数据模型构建电子商务抓取工具。 抓取工具异步检索产品列表（名称、价格）和详细的产品信息（规格、评论）。

在 Google Colab 上访问完整代码

---

厌倦了电子商务数据分析的传统网络抓取的复杂性？本教程使用现代 Python 工具简化了该过程。我们将利用 crawl4ai 进行智能数据提取，并利用 Pydantic 进行稳健的数据建模和验证。

为什么选择 Crawl4AI 和 Pydantic？

• crawl4ai：使用人工智能驱动的提取方法简化网络爬行和抓取。
• Pydantic：提供数据验证和模式管理，确保抓取的数据结构化且准确。

为什么瞄准 Tokopedia？

印尼主要电商平台Tokopedia就是我们的例子。 （注：作者是印度尼西亚人，也是该平台的用户，但不隶属于该平台。）这些原则适用于其他电子商务网站。 这种抓取方法对于对电子商务分析、市场研究或自动数据收集感兴趣的开发人员来说是有益的。

是什么让这种方法与众不同？

我们不依赖复杂的CSS选择器或XPath，而是利用crawl4ai基于LLM的提取。这提供：

• 增强了对网站结构变化的适应能力。
• 更清晰、更结构化的数据输出。
• 减少维护开销。

设置您的开发环境

首先安装必要的软件包：

<code class="language-bash">%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic</code>

对于笔记本中的异步代码执行，我们还将使用 nest_asyncio:

<code class="language-python">import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()</code>

使用 Pydantic 定义数据模型

我们使用 Pydantic 来定义预期的数据结构。 以下是型号：

<code class="language-python">from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")</code>

这些模型充当模板，确保数据验证并提供清晰的文档。

抓取过程

刮刀分两个阶段运行：

1.抓取产品列表

首先，我们检索搜索结果页面：

<code class="language-python">async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...</code>

2.正在获取产品详细信息

接下来，对于每个产品 URL，我们获取详细信息：

<code class="language-python">async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...</code>

结合各个阶段

最后，我们整合两个阶段：

<code class="language-python">async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...</code>

运行爬虫

执行抓取工具的方法如下：

<code class="language-bash">%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic</code>

专业提示

1. 速率限制：尊重 Tokopedia 的服务器；在大规模抓取请求之间引入延迟。
2. 缓存：在开发过程中启用crawl4ai的缓存（cache_mode=CacheMode.ENABLED）。
3. 错误处理：为生产使用实现全面的错误处理和重试机制。
4. API 密钥： 将 Gemini API 密钥安全地存储在环境变量中，而不是直接存储在代码中。

后续步骤

这个刮刀可以扩展到：

• 将数据存储在数据库中。
• 监控价格随时间的变化。
• 分析产品趋势和模式。
• 比较多家商店的价格。

结论

crawl4ai 基于 LLM 的提取与传统方法相比显着提高了网页抓取的可维护性。 与 Pydantic 的集成确保了数据的准确性和结构。

在抓取之前始终遵守网站的robots.txt和服务条款。

---

重要链接：

爬行4AI

• 官方网站：https://www.php.cn/link/1026d8c97a822ee171c6cbf939fe4aca
• GitHub 存储库：https://www.php.cn/link/62c1b075041300455ec2b54495d93c99
• 文档：https://www.php.cn/link/1026d8c97a822ee171c6cbf939fe4aca/mkdocs/core/installation/

皮丹蒂克

• 官方文档：https://www.php.cn/link/a4d4ec4aa3c45731396ed6e65fee40b9
• PyPI 页面：https://www.php.cn/link/4d8ab89733dd9a88f1a9d130ca675c2e
• GitHub 仓库：https://www.php.cn/link/22935fba49f7d80d5adf1cfa6b0344f4

---

注意：完整的代码可以在Colab笔记本中找到。 请随意尝试并根据您的具体需求进行调整。

以上是使用 Pydantic、Crawl 和 Gemini 构建异步电子商务网络爬虫的详细内容。更多信息请关注PHP中文网其他相关文章！