記錄一次簡單的Python爬蟲實例

這次的這篇文章主要是和大家分享了一篇關於記錄一次簡單的Python爬蟲實例 ，有需要的小伙伴可以看一下。

主要流程分為：

#爬取、整理、儲存

##1.其中用到幾個包，包括

requests 用於向網站發送請求，並獲得網頁代碼

BeautifulSoup4 用於處理獲得的網頁代碼，提取有效資訊

pandas 用於儲存資訊

  其中在to_excel('docname.xlsx')時，可能會去要另外的包 openpyxl

import requests
from bs4 import BeautifulSoup
import re
import json
import pandas
import excel
import sqlite3
# import openpyxl

2.以爬取新浪網址中各個新聞的責任編輯為例子

可以按照倒推的方式確定def的functions

獲取到了當條新聞下的網頁網址後，如何獲得責任編輯？

d

ef getComments(url):
    # 向url对应网址发送请求，获取到的网页内容存储在res中
    res=requests.get(url)
    # 将res内容编码，编码的方式'utf-8'根据网页的charset而定
    res.encoding='utf-8'
    # 因为需要处理res，因此将文本存入soup
    # html.parser不清楚是干嘛的
    soup=BeautifulSoup(res.text,'html.parser')
    # 根据所需要的内容，通过BS4的select选择，得到数组，用[0]取出元素
    # 因为是文本所以直接通过.text得到所需要的内容
    return soup.select('.show_author')[0].text
# 在soup.select('.link')[0]中，若为id则带#
#                             若为class则带.
#                             其他的如a和h1等则无要求
#其中需要层层select并取[0]
#有些有多元素，则需通过for遍历

ii)  根據主頁如何取得各條新聞網頁的網址

某行檔案是在json中發現，因此透過comments=requests.get(' url')再

jd=json.loads(comments.text.strip('var data=')) 

jd=['result']['count']['total ']    ==>這裡為字典中的字典，可以從網頁檢查元素的preview中查看

==>可轉化為字典

  其中要恢復成字典，左右兩頭多出了什麼就要透過strip()去除

  有些需要分左右側分別刪除則透過lstrip()與rstrip(),即left和right

==>for ent in ～：

          ent['url']

***)   soup.select()到的所需元素在同一類別中，則可使用contents[0]區分

***）time與str間的轉換

from datetime import date time
Str==>time        dt=datetime.strptime(timesource,’%Y%m%d’)
time==>Str        dt.strftime(‘%Y-%m-%d’)

***)   將list[]各元素連結

‘-‘.join(list) #将list中的各元素以-方式连接
‘’.join([p.text.strip() for p in soup.select(‘#artibody p’)[:-1]])

***)   對於有多頁的網址，則需要找到page對應部分改為{}，

然後透過format()進行替換

news_total=[]
for i in range(1,3):
    newsurl=url.format(i)
    newsary=parseListlink(newsurl)
    new_total.extend(newsary)

3. 使用pandas儲存數據，其中是DataFrame()功能函數

df=pandas.DataFrame(list)
print(df.head(20))  #显示前20条信息
df.to_excel('news.xlsx') #转存为excel格式，名字为news.xlsx

其中list的格式為

for u in geturl(url):
    excel1 = [] # 循环开始清空数组
    result = {} # 循环开始清空字典
    try:
        # 每个条目在新字典赋值
        result['zeren']=getComments(u)
        result['id']=i
        i=i+1
    except:
        continue
    #每个条目形成数组
    excel1.append(result)
    #在列表中添加数组
    list.extend(excel1)

4. 儲存資料庫

df=pandas.DataFrame(list)
print(df.head(20))  #显示前20条信息
# df.to_excel('news.xlsx') #转存为excel格式，名字为news.xlsx
with sqlite3.connect('news.sqlite') as db:
    # 存入news.sqlite文件中的news表格
    df.to_sql('news',con=db)
    # 读取/查询news表格并将数据赋值给df2
    df2=pandas.read_sql_query('SELECT * FROM news',con=db)

以上是記錄一次簡單的Python爬蟲實例的詳細內容。更多資訊請關注PHP中文網其他相關文章！