1: はじめに

今回は、Himalaya の人気コラムの下にあるすべてのラジオ局の各チャンネルの情報と、チャンネル内の各音声データのさまざまな情報をクロールし、後で使用できるようにクロールされたデータを mongodb に保存しました。今回のデータ量は約70万件です。音声データには、音声ダウンロードアドレス、チャンネル情報、紹介文などが含まれており、多数あります。
昨日初めて面接を受けました。2年生の夏休みにインターンに行く予定だったので、音声データを解析するために来ました。ヒマラヤ。データが這い降りてくる。現在、3件の面接、もしくは最終面接の連絡を待っている状態です。 (一定の評価が得られるので成功失敗問わずとても嬉しいです)

2: 実行環境

IDE: Pycharm 2017
Python3.6
pymongo 3.4.0
リクエスト 2.14.2
lxml 3.7.2
BeautifulSoup 4.5.3

3: サンプル分析

1.各ページには、各チャネルの下に多数のオーディオがあり、一部のチャネルには多数のページネーションもあります。クロール計画: 84 ページをループし、各ページを解析して、各チャンネルの名前、画像リンク、チャンネルリンクを取得して、mongodb に保存します。

人気チャンネル

2. 開発者モードを開いてページを分析し、必要なデータの場所をすばやく取得します。次のコードは、すべての人気チャンネルの情報を取得して mongodb に保存することを実現します。

start_urls = [&#39;http://www.ximalaya.com/dq/all/{}&#39;.format(num) for num in range(1, 85)]for start_url in start_urls:html = requests.get(start_url, headers=headers1).text
    soup = BeautifulSoup(html, &#39;lxml&#39;)for item in soup.find_all(class_="albumfaceOutter"):content = {&#39;href&#39;: item.a[&#39;href&#39;],&#39;title&#39;: item.img[&#39;alt&#39;],&#39;img_url&#39;: item.img[&#39;src&#39;]
        }
        print(content)

ログイン後にコピー

チャンネルの分析

３次のステップは、各チャンネルのすべての音声データを分析ページから取得することです。たとえば、このリンクを入力した後のページ構造を分析します。各オーディオには特定の ID があり、div 内の属性から取得できることがわかります。個別の ID に変換するには、split() と int() を使用します。

チャンネルページ分析

4. 次に、オーディオリンクをクリックして開発者モードに入り、ページを更新して XHR をクリックし、json リンクをクリックしてこのオーディオの詳細情報をすべて表示します。

html = requests.get(url, headers=headers2).text
numlist = etree.HTML(html).xpath(&#39;//div[@class="personal_body"]/@sound_ids&#39;)[0].split(&#39;,&#39;)for i in numlist:
    murl = &#39;http://www.ximalaya.com/tracks/{}.json&#39;.format(i)html = requests.get(murl, headers=headers1).text
    dic = json.loads(html)

ログイン後にコピー

オーディオページ分析

5. 上記はチャンネルのメインページ上のすべてのオーディオ情報のみを分析しますが、実際にはチャンネルのオーディオリンクには多くのページネーションがあります。

html = requests.get(url, headers=headers2).text
ifanother = etree.HTML(html).xpath(&#39;//div[@class="pagingBar_wrapper"]/a[last()-1]/@data-page&#39;)if len(ifanother):num = ifanother[0]
    print(&#39;本频道资源存在&#39; + num + &#39;个页面&#39;)for n in range(1, int(num)):
        print(&#39;开始解析{}个中的第{}个页面&#39;.format(num, n))
        url2 = url + &#39;?page={}&#39;.format(n)# 之后就接解析音频页函数就行，后面有完整代码说明

ログイン後にコピー

Paging

6. 全コード
完全なコードアドレス github.com/rieuse/learnPython

__author__ = &#39;布咯咯_rieuse&#39;import jsonimport randomimport timeimport pymongoimport requestsfrom bs4 import BeautifulSoupfrom lxml import etree

clients = pymongo.MongoClient(&#39;localhost&#39;)
db = clients["XiMaLaYa"]
col1 = db["album"]
col2 = db["detaile"]

UA_LIST = []  # 很多User-Agent用来随机使用可以防ban，显示不方便不贴出来了
headers1 = {} # 访问网页的headers，这里显示不方便我就不贴出来了
headers2 = {} # 访问网页的headers这里显示不方便我就不贴出来了def get_url():
    start_urls = [&#39;http://www.ximalaya.com/dq/all/{}&#39;.format(num) for num in range(1, 85)]for start_url in start_urls:
        html = requests.get(start_url, headers=headers1).text
        soup = BeautifulSoup(html, &#39;lxml&#39;)for item in soup.find_all(class_="albumfaceOutter"):
            content = {&#39;href&#39;: item.a[&#39;href&#39;],&#39;title&#39;: item.img[&#39;alt&#39;],&#39;img_url&#39;: item.img[&#39;src&#39;]
            }
            col1.insert(content)
            print(&#39;写入一个频道&#39; + item.a[&#39;href&#39;])
            print(content)
            another(item.a[&#39;href&#39;])
        time.sleep(1)def another(url):
    html = requests.get(url, headers=headers2).text
    ifanother = etree.HTML(html).xpath(&#39;//div[@class="pagingBar_wrapper"]/a[last()-1]/@data-page&#39;)if len(ifanother):
        num = ifanother[0]
        print(&#39;本频道资源存在&#39; + num + &#39;个页面&#39;)for n in range(1, int(num)):
            print(&#39;开始解析{}个中的第{}个页面&#39;.format(num, n))
            url2 = url + &#39;?page={}&#39;.format(n)
            get_m4a(url2)
    get_m4a(url)def get_m4a(url):
    time.sleep(1)
    html = requests.get(url, headers=headers2).text
    numlist = etree.HTML(html).xpath(&#39;//div[@class="personal_body"]/@sound_ids&#39;)[0].split(&#39;,&#39;)for i in numlist:
        murl = &#39;http://www.ximalaya.com/tracks/{}.json&#39;.format(i)
        html = requests.get(murl, headers=headers1).text
        dic = json.loads(html)
        col2.insert(dic)
        print(murl + &#39;中的数据已被成功插入mongodb&#39;)if __name__ == &#39;__main__&#39;:
    get_url()

ログイン後にコピー

7. 非同期形式に変更するだけで高速になります。通常よりも 1 分あたり 100 個近く多くのデータを取得しようとしました。このソースコードはgithubにもあります。