Python 크롤러가 동영상을 크롤링할 수 있나요?

웹 스파이더라고도 알려진 웹 크롤러는 특정 규칙에 따라 웹에서 필요한 콘텐츠를 크롤링하는 스크립트 프로그램을 말합니다. 우리 모두 알고 있듯이 각 웹 페이지에는 일반적으로 다른 웹 페이지에 대한 입구가 포함되어 있으며 웹 크롤러는 하나의 URL을 사용하여 필요한 콘텐츠를 얻기 위해 순차적으로 다른 URL을 입력합니다.

크롤러 구조

크롤러 스케줄러(프로그램의 진입점, 전체 프로그램을 시작하는 데 사용됨)

url 관리자(크롤링되지 않은 URL 및 크롤링된 URL을 관리하는 데 사용됨) )

웹페이지 다운로더(분석을 위해 웹페이지 콘텐츠를 다운로드하는 데 사용)

웹페이지 파서(다운로드한 웹페이지를 구문 분석하고 새 URL과 필수 콘텐츠를 얻는 데 사용)

웹페이지 내보내기(얻은 콘텐츠를 파일 형식)

첫 번째 단계

웹 페이지 소스 코드를 분석합니다. 예: http://video.weibo.com/show?fid=1034:0988e59a12e5178acb7f23adc3fe5e97, 소스 코드를 보려면 마우스 오른쪽 버튼을 클릭하세요. 일반적으로 동영상에는 mp4 접미사가 붙습니다. 검색하면 찾을 수 없지만 일부는 찾을 수 없습니다. 메이파이 영상 등을 직접 볼 수 있습니다.

관련 추천: "python 비디오 튜토리얼"

두 번째 단계

패킷을 캡처하고 요청을 분석한 후 반환합니다. 이는 강력한 크롬을 통해서도 가능하며, 위의 예에서 마우스 오른쪽 버튼 클릭->요소 검사->NetWork를 누른 다음 F5로 웹페이지를 새로 고칩니다.

요청이 많은 것을 확인했기 때문에 하나씩 분석해 보세요. 사실 영상 형식은 mp4, flv, avi 로 한번에 보실 수 있습니다. 당연히 우리가 원하는 다운로드 링크입니다.

3단계

다운로드 링크와 동영상 링크의 패턴을 분석합니다. 즉, http://video.weibo.com/show?fid=1034:0988e59a12e5178acb7f23adc3fe5e97과 xxx.mp4 사이의 관계입니다. 이를 위해서는 다시 웹페이지 소스 코드를 분석해야 합니다. 실제로 위의 .m3u8 접미사가 있는 링크에 주의할 수 있습니다. m3u8은 인덱스 일반 텍스트 파일을 열 때 재생하지 않지만 찾습니다. 해당 파일의 네트워크 주소를 사용하여 온라인으로 재생하고 열고 원하는 다운로드 링크가 실제로 기록되어 있는지 확인하세요. 또한 .m3u8 접미사가 붙은 링크는 웹 페이지의 소스 코드에 있습니다.

Summary

처음 세 단계를 분석한 후, 동영상 다운로드 링크를 얻는 아이디어는 먼저 웹 페이지 소스 코드에서 .m3u8 접미사 링크를 얻는 것이고, 파일을 다운로드하고 비디오 다운로드 링크를 받으세요. 마지막으로 비디오

소스 코드

#coding=utf-8
import os
import re
import urllib2
import urllib
from common import Common
class SinaVideo():
 
    URL_PIRFIX = "http://us.sinaimg.cn/"
    def getM3u8(self,html):
        reg = re.compile(r'list=([\s\S]*?)&fid')
        result = reg.findall(html)
        return result[0]
 
 
    def getName(self,url):
         return url.split('=')[1]
 
    def getSinavideoUrl(self,filepath):
        f = open(filepath,'r')
        lines = f.readlines()
        f.close()
        for line in lines:
            if line[0] !='#':
                return line
 
    def download(self,url,filepath):
        #获取名称
        name = self.getName(url)
        html = Common.getHtml(url)
        m3u8 = self.getM3u8(html)
        Common.download(urllib.unquote(m3u8),filepath,name + '.m3u8')
        url = self.URL_PIRFIX + self.getSinavideoUrl(filepath+name+'.m3u8')
        Common.download(url,filepath,name+'.mp4')

#common.py
#coding=utf-8
import urllib2
import os
import re
 
 
class Common():
    #  获取网页源码
    @staticmethod
    def getHtml(url):
        html = urllib2.urlopen(url).read()
        print  "[+]获取网页源码:"+url
        return html
 
    # 下载文件
    @staticmethod
    def download(url,filepath,filename):
        headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
            'Accept-Charset': 'UTF-8,*;q=0.5',
            'Accept-Encoding': 'gzip,deflate,sdch',
            'Accept-Language': 'en-US,en;q=0.8',
            'User-Agent': 'Mozilla/5.0 (Linux; Android 4.4.2; Nexus 4 Build/KOT49H) 
            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.114 Mobile Safari/537.36'
        }
        request = urllib2.Request(url,headers = headers);
        response = urllib2.urlopen(request)
        path = filepath + filename
        with open(path,'wb') as output:
            while True:
                buffer = response.read(1024*256);
                if not buffer:
                    break
                # received += len(buffer)
                output.write(buffer)
 
        print "[+]下载文件成功:"+path
 
    @staticmethod
    def isExist(filepath):
        return os.path.exists(filepath)
 
    @staticmethod
    def createDir(filepath):
         os.makedirs(filepath,0777)

통화 방법:

url = "http://video.weibo.com/show?fid=1034:0988e59a12e5178acb7f23adc3fe5e97"sinavideo = SinaVideo()        
sinavideo.download(url,""/Users/cheng/Documents/PyScript/res/"")

결과:

위 내용은 Python 크롤러가 동영상을 크롤링할 수 있나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!