Python 표준 라이브러리 Beautiful Soup 및 MongoDb 등반 히말라야 라디오 요약-파이썬 튜토리얼-php.cn

집

백엔드 개발

파이썬 튜토리얼

Python 표준 라이브러리 Beautiful Soup 및 MongoDb 등반 히말라야 라디오 요약

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jul 27, 2017 pm 02:46 PM

mongodb python

Beautiful Soup 표준 라이브러리는 HTML/XML 파일에서 데이터를 추출할 수 있는 Python 라이브러리로, 즐겨 사용하는 변환기를 통해 일반적인 문서 탐색, 검색 및 수정 방법을 실현하여 작업 시간을 절약할 수 있습니다. pymongo 표준 라이브러리는 MongoDb NoSql 데이터베이스와 Python 언어 사이의 브리지입니다. 데이터는 pymongo를 통해 MongoDb에 저장됩니다. 히말라야 라디오 데이터를 크롤링하려면 두 가지를 함께 사용하세요...

Beautiful Soup은 Python 표준 라이브러리의 HTML 파서를 지원하며 일부 타사 파서도 지원하며 그 중 하나는 lxml입니다. 이 기사에서는 lxml을 사용합니다. 이에 대해서는 Python 3.6 lxml 표준 라이브러리 lxml의 설치와 etree의 사용을 참조하십시오. 동시에 이 기사에서는 우리가 원하는 부분을 구문 분석하기 위해 XPath를 사용합니다. XPath 및 Beautiful Soup Beautiful Soup 4.4.0 문서 XPath 소개를 참조하세요
이 글에 포함된 Beautiful Soup 및 XPath에 대한 지식은 그다지 깊지 않습니다. .
pymongo 표준 라이브러리에 대해서는 더 이상 말도 안 됩니다. 자세한 내용은 Python 표준 라이브러리의 pymongo 모듈 경험을 참조하세요.

때로는 일반적으로 알려진 서버에 현재 요청을 보내는 클라이언트 유형을 확인해야 할 때가 있습니다. User-Agent, 줄여서 UA입니다. 웹을 탐색할 때 사용하는 브라우저는 UA의 한 종류입니다. 즉, HTTP 프로토콜에서는 User-Agent 요청 헤더가 사용됩니다. 사용자의 브라우저 유형, 운영 체제, 브라우저 커널 및 기타 정보 식별. 이 로고를 통해 방문한 웹사이트의 다양한 버전이 표시되어 사용자에게 더 나은 경험을 제공하거나 정보 통계를 수행할 수 있습니다. 일부 웹사이트에서는 해커나 우리 같은 지루한 사람들이 웹사이트의 데이터 정보를 크롤링하는 것을 방지하기 위해 공식적으로 UA를 사용합니다.

따라서 이 문서의 코드는 후속 크롤링 작업을 용이하게 하기 위해 먼저 모든 UA를 나열합니다.

크롤링하려는 데이터가 무엇인지 명확히 합시다.

우리에게 필요한 것은 이미지, 대체 등에 대한 링크입니다.

그런 다음 이미지 링크를 클릭하여 내부 세부 정보를 가져옵니다. , 일부 라디오 방송국에 여러 페이지가 있는 경우 xpath를 사용하여 순차적으로 액세스합니다. 동시에 페이지의 앨범에 있는 사운드 모듈의 sound_id를 얻습니다...

절차는 다음과 같습니다:

import random
import requests
from bs4 import BeautifulSoup
import json
from lxml import etree
import pymongo


clients = pymongo.MongoClient("localhost", 27017)
db = clients["XiMaLaYa"]
collection_1 = db["album"]
collection_2 = db["detail"]

UA_LIST = [
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
headers1 = {
    &#39;Accept&#39;: &#39;text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8&#39;,
    &#39;Accept-Encoding&#39;: &#39;gzip, deflate, sdch&#39;,
    &#39;Accept-Language&#39;: &#39;zh-CN,zh;q=0.8,en;q=0.6&#39;,
    &#39;Cache-Control&#39;: &#39;max-age=0&#39;,
    &#39;Proxy-Connection&#39;: &#39;keep-alive&#39;,
    &#39;Upgrade-Insecure-Requests&#39;: &#39;1&#39;,
    &#39;User-Agent&#39;: random.choice(UA_LIST)  # User_agence表示用户代理
}
headers2 = {
    &#39;Accept&#39;: &#39;text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8&#39;,
    &#39;Accept-Encoding&#39;: &#39;gzip, deflate, sdch&#39;,
    &#39;Accept-Language&#39;: &#39;zh-CN,zh;q=0.8,en;q=0.6&#39;,
    &#39;Cache-Control&#39;: &#39;max-age=0&#39;,
    &#39;Proxy-Connection&#39;: &#39;keep-alive&#39;,
    &#39;Referer&#39;: &#39;http://www.ximalaya.com/dq/all/2&#39;,
    &#39;Upgrade-Insecure-Requests&#39;: &#39;1&#39;,
    &#39;User-Agent&#39;: random.choice(UA_LIST)
}


# Beautiful库用来处理XML和HTML...
# 主要就是利用BeautifulSoup模块来处理requests模块获取的Html源码
# 利用lxml模块将html源码解析成树结构，xpath来处理树节点.
def get_url():
    start_urls = ["http://www.ximalaya.com/dq/all/{}".format(num) for num in range(1，85)]
    # start_urls = ["http://www.ximalaya.com/dq/all/1"]
    for start_url in start_urls:
        html = requests.get(start_url, headers=headers1).text
        soup = BeautifulSoup(html, "lxml")  # 使用lxml来处理
        for item in soup.find_all(class_="albumfaceOutter"):  # 解析并查找xml节点
            content = {
                &#39;href&#39;: item.a["href"],
                &#39;title&#39;: item.img[&#39;alt&#39;],
                &#39;img_url&#39;: item.img[&#39;src&#39;]
            }
            collection_1.insert(content)
            # another(item.a["href"])
    print(&#39;写入完成...&#39;)


# 进入电台具体页面 http://www.ximalaya.com/15836959/album/303085，并处理分页录音...
def another(url):
    html = requests.get(url, headers=headers1).text
    # / :表示从根节点选取....
    # // :表示匹配选择的当前节点选择文档中的节点，而不考虑他们的位置...
    ifanother = etree.HTML(html).xpath(&#39;//div[@class="pagingBar_wrapper"]/a[last()-1]/@data-page&#39;)  # 页面链接地址  ifanother是list类型...
    if len(ifanother):  # 判断一个video的录音是否分割成了多页....
        num = ifanother[0]  # 获取页面数...
        print(&#39;本频道保存在&#39; + num + &#39;个页面&#39;)
        for n in range(1, int(num)):
            url2 = url + &#39;?page={}&#39;.format(n)
            get_m4a(url2)
        get_m4a(url)


# 获取分页录音页面的详细数据...
def get_m4a(url):
    html = requests.get(url, headers=headers2).text
    numlist = etree.HTML(html).xpath(&#39;//div[@class="personal_body"]/@sound_ids&#39;)[0].split(&#39;,&#39;)
    for i in numlist:
        murl = &#39;http://www.ximalaya.com/tracks/{}.json&#39;.format(i)
        html = requests.get(murl, headers=headers1).text
        dic = json.loads(html)
        collection_2.insert(dic)


if __name__ == "__main__":
    get_url()

로그인 후 복사

위 내용은 Python 표준 라이브러리 Beautiful Soup 및 MongoDb 등반 히말라야 라디오 요약의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명

본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제

Gmail 이메일의 로그인 입구는 어디에 있나요?

7425

Cakephp 튜토리얼

1359

Steam의 계정 이름 형식은 무엇입니까?

Win11 활성화 키 영구

Related knowledge

C 언어 합계의 기능은 무엇입니까? Apr 03, 2025 pm 02:21 PM

C 언어에는 내장 합계 기능이 없으므로 직접 작성해야합니다. 합계는 배열 및 축적 요소를 가로 질러 달성 할 수 있습니다. 루프 버전 : 루프 및 배열 길이를 사용하여 계산됩니다. 포인터 버전 : 포인터를 사용하여 배열 요소를 가리키며 효율적인 합계는 자체 증가 포인터를 통해 달성됩니다. 동적으로 배열 버전을 할당 : 배열을 동적으로 할당하고 메모리를 직접 관리하여 메모리 누출을 방지하기 위해 할당 된 메모리가 해제되도록합니다.

XML을 그림으로 변환하는 방법 Apr 03, 2025 am 07:39 AM

XSLT 변환기 또는 이미지 라이브러리를 사용하여 XML을 이미지로 변환 할 수 있습니다. XSLT 변환기 : XSLT 프로세서 및 스타일 시트를 사용하여 XML을 이미지로 변환합니다. 이미지 라이브러리 : Pil 또는 Imagemagick와 같은 라이브러리를 사용하여 XML 데이터에서 이미지를 그리기 및 텍스트 그리기와 같은 이미지를 만듭니다.

누가 더 많은 파이썬이나 자바 스크립트를 지불합니까? Apr 04, 2025 am 12:09 AM

기술 및 산업 요구에 따라 Python 및 JavaScript 개발자에 대한 절대 급여는 없습니다. 1. 파이썬은 데이터 과학 및 기계 학습에서 더 많은 비용을 지불 할 수 있습니다. 2. JavaScript는 프론트 엔드 및 풀 스택 개발에 큰 수요가 있으며 급여도 상당합니다. 3. 영향 요인에는 경험, 지리적 위치, 회사 규모 및 특정 기술이 포함됩니다.

XML을 MP3로 변환하는 방법 Apr 03, 2025 am 09:00 AM

XML을 MP3로 변환하는 단계에는 다음이 포함됩니다. XML에서 오디오 데이터 추출 : XML 파일을 구문 분석하고, 오디오 데이터가 포함 된 Base64 인코딩 문자열을 찾아 이진 형식으로 디코딩하십시오. 오디오 데이터를 MP3로 인코딩합니다. MP3 인코더를 설치하고 인코딩 매개 변수를 설정하고 이진 오디오 데이터를 MP3 형식으로 인코딩 한 다음 파일에 저장하십시오.

XML 형식을 변경하는 방법 Apr 03, 2025 am 08:42 AM

XML 형식을 수정하는 방법에는 여러 가지가 있습니다. Notepad와 같은 텍스트 편집기로 수동으로 편집; XMLBeautifier와 같은 온라인 또는 데스크탑 XML 서식 도구와 자동 포맷; XSLT와 같은 XML 변환 도구를 사용하여 변환 규칙을 정의합니다. 또는 Python과 같은 프로그래밍 언어를 사용하여 구문 분석하고 작동합니다. 원본 파일을 수정하고 백업 할 때주의하십시오.

별개의 구별이 관련되어 있습니까? Apr 03, 2025 pm 10:30 PM

구별되고 구별되는 것은 구별과 관련이 있지만, 다르게 사용됩니다. 뚜렷한 (형용사)는 사물 자체의 독창성을 묘사하고 사물 사이의 차이를 강조하는 데 사용됩니다. 뚜렷한 (동사)는 구별 행동이나 능력을 나타내며 차별 과정을 설명하는 데 사용됩니다. 프로그래밍에서 구별은 종종 중복 제거 작업과 같은 컬렉션에서 요소의 독창성을 나타내는 데 사용됩니다. 홀수 및 짝수 숫자를 구별하는 것과 같은 알고리즘이나 함수의 설계에 별개가 반영됩니다. 최적화 할 때 별도의 작업은 적절한 알고리즘 및 데이터 구조를 선택해야하며, 고유 한 작업은 논리 효율성의 구별을 최적화하고 명확하고 읽을 수있는 코드 작성에주의를 기울여야합니다.

XML에서 데이터를 수정하는 방법 Apr 03, 2025 am 08:12 AM

XML 데이터 수정은 수동으로 수행하거나 프로그래밍 언어 및 라이브러리를 사용하여 수행 할 수 있습니다. 수동 수정은 요소 및 속성 추가, 수정 또는 삭제를 포함하여 작은 문서에 대한 소량의 수정에 적합합니다. 보다 복잡한 수정, Python 's XML.Dom 및 Java's Javax.xml.parsers와 같은 프로그래밍 언어 및 라이브러리를 위해 XML 데이터를 처리하는 도구를 제공합니다. XML 데이터를 수정할 때 유효성을 확인하고 백업을 생성하며 올바른 태그 및 속성을 포함하여 XML 구문 규칙을 따르십시오.

XML을 Word로 변환하는 방법 Apr 03, 2025 am 08:15 AM

XML을 Word로 변환하는 세 가지 방법이 있습니다. Microsoft Word를 사용하거나 XML 변환기를 사용하거나 프로그래밍 언어를 사용하십시오.

See all articles