简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Maison > développement back-end > tutoriel php > le corps du texte

抓取源码 - php有没有功能完整的网页数据采集开源项目呢

WBOY
Libérer： 2023-03-01 18:24:01
original
1425 Les gens l'ont consulté

请问有没有开源的工具来采集网页的数据

比如要包含连续规则抓取，例如先抓取分页信息，从中获取详情页，从详情页抓取真正需要的dom字段

包含最后自定义存到数据库，

包含可以伪造ip等

包含自动队列机制，自动延迟

等等

谢谢

回复内容：

请问有没有开源的工具来采集网页的数据

比如要包含连续规则抓取，例如先抓取分页信息，从中获取详情页，从详情页抓取真正需要的dom字段

包含最后自定义存到数据库，

包含可以伪造ip等

包含自动队列机制，自动延迟

等等

谢谢

有，你可以试试【神箭手云爬虫开发平台。】
神箭手云爬虫是一个帮助JS开发者快速开发爬虫系统的SaaS服务平台。神箭手提供上手简单，灵活开放的云爬虫开发框架，让开发者只需要在线写几行js代码就可以实现一个爬虫。并且爬虫将自动运行在云服务器上，爬取速度更快，效率更高。

phpcrawler,php爬虫,php采集器,多进程,多线程

phpQuery

Étiquettes associées：
php 数据采集 采集
source：php.cn
Article précédent：使用redis位操作记录用户性别 Article suivant：javascript - python写网页爬虫爬取 登录后可见 信息
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Derniers articles par auteur
Derniers numéros
Impossible d'obtenir l'élément d'entrée du site Web J'essaie donc d'obtenir un élément d'entrée de Twitter mais lorsque je l'exécute, cela con...
Depuis 2024-04-06 18:59:57
0
1
442
La mise à jour du statut ne fonctionne pas dans React-Native sur Android J'ai du code qui contient des paires d'images dans une galerie horizontale pouvant être gl...
Depuis 2024-04-06 16:54:10
0
1
410
Comment faire apparaître mon image sur l'écran principal de la page ? Ce que je veux faire, c'est recevoir des photos en utilisant NASAAPI. Ces photos sont ensu...
Depuis 2024-04-06 15:33:12
0
1
433
Possibilité de stocker le code ASP Classic sous forme de chaîne dans la base de données MYSQL Est-il possible de stocker du code asp classic dans une base de données MySQL et de lui fa...
Depuis 2024-04-06 13:38:43
0
1
358
Ajoutez les valeurs en double comptées dans le tableau filtré en utilisant ...new Set J'ai un tableau avec des valeurs en double que j'obtiens de l'API, le code suivant utilise...
Depuis 2024-04-04 19:03:41
0
1
313
Rubriques connexes
Plus>
Recommandations populaires
Tutoriels populaires
Plus>
Tutoriels associés
Recommandations populaires
Derniers cours
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal
À propos de nous Clause de non-responsabilité Sitemap
Site Web PHP chinois：Formation PHP en ligne sur le bien-être public，Aidez les apprenants PHP à grandir rapidement！