python - 前端er 想爬数据 从什么入门好?

Question

本人前端一枚

想做一个demo练手，需要得到爬取数据的本领，请问从哪里开始学习呢？

场景：爬取商品价格的数据，得到双十一前后的价格趋势变化，我可以如何入手呢？

我是JavaScript使用者，尽量使用node，如果Python学习成本比较高，求推荐教程和爬取数据的方法

Answer 1

추천 https://github.com/ alsotang/n...

Answer 2

크롤러 도구 체인:

슈퍼에이전트를 사용하여 http 요청을 시작합니다. 응답을 받은 후 Cherio를 사용하여 텍스트를 구문 분석합니다. 그런 다음 jQuery와 유사한 구문을 사용하여 Dom을 작동할 수 있습니다.

Mongodb를 데이터 저장용으로 사용할 수 있으며, 그에 상응하는 ORM 도구로 mongoose를 사용할 수 있습니다.

코드 예시
https://github.com/zhanyouwei...

Answer 3

파이썬을 배우는 비용이 가장 저렴하다고 알려져 있지 않나요? ? Python 크롤러를 시작하는 것은 쉽습니다.

Answer 4

scrapy가 단연 1위입니다! ! !

Answer 5

Node를 과감하게 시작해 보세요. 저의 초보 경험담을 참고하실 수 있습니다 https://github.com/hanzichi/f...

Answer 6

Python의 학습 비용은 그리 높지 않습니다. 제 경험을 이야기해 보겠습니다.
처음에는 urllib 또는 urllib2를 사용했는데 데이터를 크롤링하는 것이 매우 흥미로웠습니다
그런 다음 페이지를 보았습니다. Connection is Closed , httplib2
에 대해 알게 된 후 요청
을 보고 지금은 scrapy

를 보고 있습니다.

크롤링은 형이상학입니다. 질문의 목표는 가격 추세를 확인하는 것이 좋다고 생각하지만 먼저 작은 목표를 설정하고 바이두백과사전을 크롤링해도 될 것 같습니다~

Answer 7

노드 크롤러의 가격은 20입니다

Answer 8

노드제이 superagent + cheerio

Answer 9

nodejs request + cheerio도 좋습니다.