python - 如何獲得新浪微博某個用戶的轉發微博數和原始微博數
伊谢尔伦
伊谢尔伦 2017-05-18 10:46:47
0
1
873

1.問題描述
我正在做微博水軍相關分析,需要獲取微博用戶的轉發微博比和原始微博比,即用戶轉發他人微博數/所有微博數。

查閱文獻發現很多人的論文中有這一類數據,但不知道怎麼得到的。

我發現手機端和pc版本的微博,都可以利用篩選,查找一個人的轉發微博,但是當我在手機版這樣篩選時返回結果為空。

#而電腦版得到的結果,轉發微博數和原始微博數的和明顯遠小於全部微博數。

2.需要的幫助
(1)新浪微博的搜尋引擎是不是有問題
(2)能否透過某種搜尋方式得到一個人的原始微博數,和轉發微博數,API與爬蟲均可。 (不是用全部微博數-原創微博數,因為還包含不可見微博)。

伊谢尔伦
伊谢尔伦

小伙看你根骨奇佳,潜力无限,来学PHP伐。

全部回覆(1)
小葫芦

我開源了一個分散式的微博爬蟲,該專案最初是做關於熱門微博轉發的分析(和我本身工作相關)。後來經過我多次修改,加了很多新的功能,並把它開源出來了。關於第一個問題,微博的搜尋引擎是否有問題,我覺得有可能是它刻意為之,因為比如像用戶關注和用戶粉絲,微博系統就只會限制返回5頁數據,像按地方搜索用戶,也只會回傳幾萬條資料。也有可能是由於有些微博你沒權限查看,而它搜出來的結果是你有權限查看的。
你說的第二個問題,不可見微博肯定是拿不到的,爬蟲只能拿到普通用戶能看見的微博數據,這個我也是在代碼中實現了。因為私有微博的話,一定微博系統不會展示的,API應該也拿不到。因為微博這麼大的公司,還是得保護一下用戶隱私吧。
行動端你透過搜尋介面搜尋返回為空的原因,其實可能是因為微博刻意這麼做的。你可以仔細調查一下,會發現PC端的資訊比行動端的微博資訊豐富得多。所以如果要做爬蟲,且要求資料全面,一定得從PC端著手。

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板