简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Maison > développement back-end > tutoriel php > le corps du texte

PHP或者python进行数据采集和分析，有什么比较成熟的框架？

WBOY
Libérer： 2016-10-20 10:08:53
original
870 Les gens l'ont consulté

我现在需要对一个网站的文章列表和列表里面的实际内容进行自动化数据采集，列表里面能够取得每个文章的id，而每个文章又是通过一个统一的接口（参数带上那个文章id即可获取到对应的json）里面又有一部分数据需要采集然后进行数据分析。

目前有什么比较成熟的框架或者轮子能够实现我的需求吗？（要多线程，而且可以7x24小时稳定运行，因为采集数量巨大）

另外问一下，采集到的内容如何存储（百万到千万），数据里面有一些数字数据，需要进行统计分析，用mysql可以吗？或者说还有其他更加成熟简便的轮子可以用吗？

Étiquettes associées：
c++ java node.js php python
source：php.cn
Article précédent：PC 手机兼容的 编辑器 Article suivant：php7 安装扩展 phpize 没有生成configure文件
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Derniers articles par auteur
Derniers numéros
Nuxt 3 ne sera pas rendu en SSR J'ai donc rencontré un problème lorsque j'essaie d'obtenir mes variables d'environnement p...
Depuis 2024-04-05 15:04:40
0
1
3642
Erreurs liées à Axios rencontrées lors de la création d'applications React à l'aide de vite Axios fonctionne parfaitement en production mais lors de la création de l'application, j'o...
Depuis 2024-04-05 13:20:02
0
1
326
Comment puis-je modifier ces cartes pour qu'elles soient réactives avec Boostrap 4 ? Comment puis-je faire en sorte que chaque ligne affiche 4 cartes, et bien sûr les empiler ...
Depuis 2024-04-05 10:48:45
0
1
4072
Problème d'initialisation de la propriété CommandText J'essaie de matérialiser les données dans 2 (plus tard 3) tables simultanément à l'aide d'...
Depuis 2024-04-04 22:43:24
0
1
385
Ajouter la valeur la plus élevée en tant que colonne à l'aide de la fonction de fenêtre J'ai une table comme celle-ci : Requête pour copier des données : DROPTABLEIFEXISTSunits_t...
Depuis 2024-04-04 12:18:16
0
2
405
Rubriques connexes
Plus>
Recommandations populaires
Tutoriels populaires
Plus>
Tutoriels associés
Recommandations populaires
Derniers cours
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal
À propos de nous Clause de non-responsabilité Sitemap
Site Web PHP chinois：Formation PHP en ligne sur le bien-être public，Aidez les apprenants PHP à grandir rapidement！