如何用node.js爬取动态数据
大家讲道理
大家讲道理 2017-04-17 15:38:59
0
5
415

如何爬取动态数据,就是ajax请求的数据
比如说在代码中

<html>

<head>
<title>开课课程信息</title>
<meta name="GENERATOR" content="Microsoft FrontPage 3.0">
</head>

<frameset border="false" frameborder="0" rows="30,*">
  <frame name="header" scrolling="no" noresize target="frmCourMain" src="akcjj.asp" marginwidth="0"
  marginheight="0">
  <frame name="frmCourMain" src="akechengdw.asp" scrolling="auto" target="frmCourMain">
  <noframes>
  <body>
  <p>This page uses frames, but your browser doesn't support them.</p>
  </body>
  </noframes>
</frameset>
</html>

从代码中可以看出来源的数据是框架的akechengdw.asp,但是如何爬取这样的数据

大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

全部回覆(5)
巴扎黑

如果是ajax請求的資料的話,一般有兩種思路。

1.是模擬瀏覽器去訪問。具體的可以穀歌模擬瀏覽器 爬蟲這個關鍵字,具體還是得自己實作。

2.去找相關的接口,去爬接口,注意一些請求頭就可以了。

巴扎黑

F12看ajax請求,注意偽裝一下就行,例如user agent、referrer之類的。
如果需要登入權限,那麼加上識別使用者的cookie就行,可以一個一個試試。
如果有csrf防禦機制,那就找出埋點的csrf token附帶過去就行。

阿神

兩種思路,補充樓上的

模擬瀏覽器,一般可以用一些 headless broswer,Node 的話有一些包可以,例如 https://github.com/amir20/pha...

Ty80

你至少貼個url吧, 建議你先去百度一下 “提問的藝術”,別說了這麼多, 都是口水話,提問題就要讓別人看得懂。

大家讲道理

phantomjs

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板