Python 크롤러로 캡처한 데이터를 PDF로 변환

이 기사에서는 Python 크롤러를 사용하여 "Liao Xuefeng의 Python 튜토리얼"을 PDF로 변환하는 방법과 코드를 공유합니다. 필요한 친구는 이를 참조할 수 있습니다.

크롤러를 작성하는 것은 사용하는 것보다 쉽지 않은 것 같습니다. 파이썬 맞습니다. 파이썬 커뮤니티에서 제공하는 크롤러 도구가 너무 많아서 직접 사용할 수 있는 다양한 라이브러리를 사용하면 몇 분 안에 크롤러를 작성할 수 있습니다. Liao Xuefeng의 Python 튜토리얼 누구나 오프라인에서 읽을 수 있는 PDF 전자책을 만드세요.

크롤러 작성을 시작하기 전에 먼저 웹사이트의 페이지 구조를 분석해 보겠습니다. 1. 웹 페이지의 왼쪽은 튜토리얼의 디렉토리 개요이며, 위쪽은 각 URL에 해당합니다. 오른쪽은 기사의 제목이고, 가운데는 기사의 텍스트 부분이고, 텍스트 내용은 우리가 관심을 두는 부분이고, 크롤링하려는 데이터는 모든 웹페이지의 텍스트 부분이고, 아래는 사용자의 댓글 영역입니다. , 댓글 영역은 우리에게 쓸모가 없으므로 무시해도 됩니다.

도구 준비

웹사이트의 기본 구조를 파악한 후 크롤러가 의존하는 도구 키트 준비를 시작할 수 있습니다. 에. 요청과 beautulsoup이 크롤러의 두 아티팩트인 경우reuqests는 네트워크 요청에 사용되고 beautifusoup는 html 데이터를 작동하는 데 사용됩니다. 이 두 개의 셔틀을 사용하면 작업을 빠르게 수행할 수 있습니다. 작은 프로그램에서 스크래피처럼 사용하는 것은 과도한 작업과 같습니다. 또한 html 파일을 pdf로 변환하려면 해당 라이브러리 지원도 있어야 합니다. wkhtmltopdf는 여러 플랫폼에서 html을 pdf로 변환하는 데 사용할 수 있는 매우 좋은 도구입니다. wkhtmltopdf의 Python 패키지. 먼저 다음 종속성 패키지를 설치한 다음 wkhtmltopdf

pip install requests
pip install beautifulsoup
pip install pdfkit

wkhtmltopdf 설치

Windows 플랫폼을 wkhtmltopdf 공식에 직접 설치합니다. 웹 사이트 2 안정 버전을 다운로드하여 설치합니다. 설치가 완료된 후 프로그램의 실행 경로를 시스템 환경 $PATH

변수

에 추가합니다. 그렇지 않으면 pdfkit이 wkhtmltopdf를 찾을 수 없으며 "wkhtmltopdf 실행 파일을 찾을 수 없습니다"라는 오류가 발생합니다. "가 나타납니다. Ubuntu 및 CentOS는 명령줄을 사용하여 직접 설치할 수 있습니다

$ sudo apt-get install wkhtmltopdf # ubuntu
$ sudo yum intsall wkhtmltopdf   # centos

크롤러 구현

모든 것이 준비되면 코딩을 시작할 수 있지만 그 전에 생각을 정리해야 합니다. 코드 작성 . 이 프로그램의 목적은 모든 URL에 해당하는 HTML 텍스트 부분을 로컬에 저장한 다음 pdfkit을 사용하여 이러한 파일을 pdf 파일로 변환하는 것입니다. 작업을 분할해 보겠습니다. 먼저 특정 URL에 해당하는 html 텍스트를 로컬에 저장한 다음 모든 URL을 찾아 동일한 작업을 수행합니다.

Chrome 브라우저를 사용하여 페이지의 본문 부분에서 태그를 찾고, F12를 눌러 본문에 해당하는 p 태그를 찾습니다.

, 여기서 p는 웹페이지의 본문 내용입니다. 요청을 사용하여 전체 페이지를 로컬로 로드한 후 beautifulsoup를 사용하여 HTML dom 요소를 작동하여 텍스트 콘텐츠를 추출할 수 있습니다.

<p >

구체적인 구현 코드는 다음과 같습니다. 수프.find_all 함수
를 사용하여 body 태그를 찾은 후 body 부분의 내용을 a에 저장합니다. .html 파일.

def parse_url_to_html(url):
  response = requests.get(url)
  soup = BeautifulSoup(response.content, "html5lib")
  body = soup.find_all(class_="x-wiki-content")[0]
  html = str(body)
  with open("a.html", 'wb') as f:
    f.write(html)

두 번째 단계는 페이지 왼쪽에 있는 모든 URL을 구문 분석하는 것입니다. 동일한 방법을 사용하여 왼쪽 메뉴 레이블

<ul >

특정 코드 구현 논리: uk-nav 및 uk-nav 측 클래스가 두 개 있기 때문입니다. 페이지

속성

이며 실제 디렉토리 목록은 두 번째입니다. 모든 URL을 얻었고, 첫 번째 단계에서 URL을 HTML로 변환하는 기능이 작성되었습니다.

def get_url_list():
  """
  获取所有URL目录列表
  """
  response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000")
  soup = BeautifulSoup(response.content, "html5lib")
  menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1]
  urls = []
  for li in menu_tag.find_all("li"):
    url = "http://www.liaoxuefeng.com" + li.a.get('href')
    urls.append(url)
  return urls

마지막 단계는 HTML을 PDF 파일로 변환하는 것입니다. pdfkit이 모든 로직을 캡슐화했기 때문에 pdf 파일로 변환하는 것은 매우 간단합니다. save_pdf 함수를 실행하려면 pdfkit.from_file

def save_pdf(htmls):
  """
  把所有html文件转换成pdf文件
  """
  options = {
    'page-size': 'Letter',
    'encoding': "UTF-8",
    'custom-header': [
      ('Accept-Encoding', 'gzip')
    ]
  }
  pdfkit.from_file(htmls, file_name, options=options)

함수만 호출하면 전자책 pdf 파일이 생성됩니다. . 렌더링:

요약

총 코드 양은 50줄 미만이지만, 실제로는 위에 제공된 코드는 기사 제목을 가져오는 방법과 같은 일부 세부 정보를 생략합니다. 텍스트 콘텐츠의 img 태그는 상대 경로를 사용합니다. PDF에서

그림

을 정상적으로 표시하려면 상대경로를 절대경로로 변경하고 저장해야 합니다. 임시 html 파일은 삭제해야 하며, 이 내용은 모두 github에 게시되어 있습니다. 【관련 추천】

1. Python 무료 동영상 튜토리얼

2. Python 객체 지향 동영상 튜토리얼

3. 🎜 >

위 내용은 Python 크롤러로 캡처한 데이터를 PDF로 변환의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!