Python 爬取張國榮最火的 8 首歌，60000 評論看完淚奔！-Python教學-PHP中文網

首頁

後端開發

Python教學

Python 爬取張國榮最火的 8 首歌，60000 評論看完淚奔！

little bottle

Apr 02, 2019 pm 02:19 PM

python

昨天是 4 月 1 日。

每年的這一天，

一部分人搜尋枯腸想盡辦法整蠱，

一部分人感懷四月該很好，倘若你還在。

甚至有人，用 AI 的方式來還原你。

但那終究不是你。

Python 爬取張國榮最火的 8 首歌，60000 評論看完淚奔！

圖片來源見水印

你走了16 年了，那些當年在課桌前趁老師不注意偷偷聽你歌的少年們，或許早已為人夫為人婦。

即便如此，每年卻有很多人在這人間四月天裡，藉著你給世界留下的不絕回音，去思念你、去給你留言，即便明明知道，永遠也不會收到回覆。

640 (1).gif

眼下，我們選擇以科技的方式，來紀念哥哥。

我們爬取了你在網易雲音樂上，評論最多的八首歌曲。

它們依序是：《沉默是金》《春夏秋冬》《倩女幽魂》《當愛已成往事》《我》《風繼續吹》《玻璃之情》《風再起時》。

總共 64540 則的評論中，出現最多的是「生日快樂」、「哥哥」、「加油」、「你若尚在場」、「新年快樂」和「哥哥，生日快樂」。

Python 爬取張國榮最火的 8 首歌，60000 評論看完淚奔！

詞雲圖裡很少有「4 月1 日」、「愚人節」的字眼，這並不是這一天去給你評論的人少，而是在這個日子，實在不適合對你說「快樂」。

來，先給大家看評論的程式碼。

# coding:utf-8
import json
import time
import requests
from fake_useragent import UserAgent
import random
import multiprocessing
import sys
#reload(sys)
#sys.setdefaultencoding(&#39;utf-8&#39;)

ua = UserAgent(verify_ssl=False)

song_list = [{&#39;186453&#39;:&#39;春夏秋冬&#39;},{&#39;188204&#39;:&#39;沉默是金&#39;},{&#39;188175&#39;:&#39;倩女幽魂&#39;},{&#39;188489&#39;:&#39;风继续吹&#39;},{&#39;187374&#39;:&#39;我&#39;},{&#39;186760&#39;:&#39;风雨起时&#39;}]
headers = {
    &#39;Origin&#39;:&#39;https://music.163.com&#39;,
    &#39;Referer&#39;: &#39;https://music.163.com/song?id=26620756&#39;,
    &#39;Host&#39;: &#39;music.163.com&#39;,
    &#39;User-Agent&#39;: ua.random
}

def get_comments(page,ite):
    # 获取评论信息
    # """
    for key, values in ite.items():
        song_id = key
        song_name = values
    ip_list = [IP列表]
    url = &#39;http://music.163.com/api/v1/resource/comments/R_SO_4_&#39;+ song_id +&#39;?limit=20&offset=&#39; + str(page)
    proxies = get_random_ip(ip_list)
    try:
        response = requests.get(url=url, headers=headers,proxies=proxies)
    except Exception as e:
        print (page)
        print (ite)
        return 0
    result = json.loads(response.text)
    items = result[&#39;comments&#39;]
    for item in items:
        # 用户名
        user_name = item[&#39;user&#39;][&#39;nickname&#39;].replace(&#39;,&#39;, &#39;，&#39;)
        # 用户ID
        user_id = str(item[&#39;user&#39;][&#39;userId&#39;])
        print(user_id)
        # 评论内容
        comment = item[&#39;content&#39;].strip().replace(&#39;\n&#39;, &#39;&#39;).replace(&#39;,&#39;, &#39;，&#39;)
        # 评论ID
        comment_id = str(item[&#39;commentId&#39;])
        # 评论点赞数
        praise = str(item[&#39;likedCount&#39;])
        # 评论时间
        date = time.localtime(int(str(item[&#39;time&#39;])[:10]))
        date = time.strftime("%Y-%m-%d %H:%M:%S", date)

登入後複製

八首歌的歌詞代碼：

import requests
from bs4 import BeautifulSoup
import re
import json
import time
import random
import os

headers = {
    &#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3355.4 Safari/537.36&#39;,
    &#39;Referer&#39;: &#39;http://music.163.com&#39;,
    &#39;Host&#39;: &#39;music.163.com&#39;
}


# 获取页面源码
def GetHtml(url):
    try:
        res = requests.get(url=url, headers=headers)
    except:
        return None
    return res.text


# 提取歌手歌词信息
def GetSongsInfo(url):
    print(&#39;[INFO]:Getting Songs Info...&#39;)
    html = GetHtml(url)
    soup = BeautifulSoup(html, &#39;lxml&#39;)
    links = soup.find(&#39;ul&#39;, class_=&#39;f-hide&#39;).find_all(&#39;a&#39;)
    if len(links) < 1:
        print(&#39;[Warning]:_GetSongsInfo <links> not find...&#39;)
    Info = {&#39;ID&#39;: [], &#39;NAME&#39;: []}
    for link in links:
        SongID = link.get(&#39;href&#39;).split(&#39;=&#39;)[-1]
        SongName = link.get_text()
        Info[&#39;ID&#39;].append(SongID)
        Info[&#39;NAME&#39;].append(SongName)
    # print(Info)
    return Info


def GetLyrics(SongID):
    print(&#39;[INFO]:Getting %s lyric...&#39; % SongID)
    ApiUrl = &#39;http://music.163.com/api/song/lyric?id={}&lv=1&kv=1&tv=-1&#39;.format(SongID)
    html = GetHtml(ApiUrl)
    html_json = json.loads(html)
    temp = html_json[&#39;lrc&#39;][&#39;lyric&#39;]
    rule = re.compile(r&#39;\[.*\]&#39;)
    lyric = re.sub(rule, &#39;&#39;, temp).strip()
    print(lyric)
    return lyric


def main():
    SingerId = input(&#39;Enter the Singer ID:&#39;)
    url = &#39;http://music.163.com/artist?id={}&#39;.format(SingerId)
    # url = "http://music.163.com/artist?id=6457"
    Info = GetSongsInfo(url)
    IDs = Info[&#39;ID&#39;]
    i = 0
    for ID in IDs:
        lyric = GetLyrics(ID)
        SaveLyrics(Info[&#39;NAME&#39;][i], lyric)
        i += 1
        time.sleep(random.random() * 3)
        # print(&#39;[INFO]:All Done...&#39;)


def SaveLyrics(SongName, lyric):
    print(&#39;[INFO]: Start to Save {}...&#39;.format(SongName))
    if not os.path.isdir(&#39;./results&#39;):
        os.makedirs(&#39;./results&#39;)
    with open(&#39;./results/{}.txt&#39;.format(SongName), &#39;w&#39;, encoding=&#39;utf-8&#39;) as f:
        f.write(lyric)

登入後複製

《沉默是金》

是錯永遠不會對真永是真

任你怎說安守我本份

#總是相信沉默是金

這首歌是你自己譜曲的。

當時，「譚張爭霸」（1986-1989 年，譚詠麟和張國榮為爭奪樂壇地位，而在音樂上展開了全面競爭角逐）已經進入白熱化。

你討厭爭來爭去，於是藉歌明志，推出了《沉默是金》。

你說，「任你怎說安守我本份，始終相信，沉默是金。」

清者自清，你的沉默，愈加彰顯純真本色。

《春夏秋冬》

秋天該很好你若尚在場