Dapatkan data daripada internet menggunakan Excel dan Python

Artikel hari ini terutamanya dibahagikan kepada dua bahagian Satu ialah membina tapak web data melalui Python, dan satu lagi adalah menggunakan Excel dan Python untuk mendapatkan data daripada laman web Web bertulis.

1. Bina data tapak web untuk ujian

Bina tapak web Web dan perkhidmatan API Web masing-masing melalui rangka kerja Web Flask Python.

1. Bina tapak web

Buat skrip Python baharu bernama "5-5-WebTable.py" untuk mencipta halaman web ringkas yang mengandungi jadual. Jika pembaca tidak berminat dengan kaedah pembinaan, anda boleh melangkau kod berikut dan terus laksanakan skrip "5-5-WebTable.py" untuk membuka tapak web.

(1) Pasang bungkusan kelalang.

pip install flask

(2) Bina halaman web yang mengandungi jadual.

from flask import Flask

app = Flask(__name__)# 创建Falsk Web应用实例

# 将路由“/”映射到table_info函数，函数返回HTML代码
@app.route('/')
def table_info():

return """<h2 id="HTML表格实例-用于提供给Excel和Python读取">HTML表格实例，用于提供给Excel和Python读取</h2>
<table border="1">
<caption>用户信息表</caption>
<tbody><tr>
<th>姓名</th>
<th>性别</th>
<th>年龄</th>
</tr>
<tr>
<td>小米</td>
<td>女</td>
<td>22</td>
</tr>
……….
</tbody></table>"""

if __name__ == '__main__':
app.debug = True# 启用调试模式
app.run()# 运行，网站端口默认为5000

Mulakan tapak web melalui arahan "python ./5-5-WebTable.py", dan kemudian masukkan http://127.0.0.1:5000/ dalam penyemak imbas, seperti yang ditunjukkan dalam Rajah 1 kandungan web.

Rajah 1 Uji tapak web yang dibina menggunakan Flask

2. Bina perkhidmatan API Web

Buat yang baharu bernama "5-5 - WebAPI.py" Skrip Python yang menggunakan pakej flask_restplus untuk membina perkhidmatan API Web. Jika pembaca tidak berminat dengan kaedah pembinaan, anda boleh melangkau kod berikut dan terus laksanakan skrip "5-5-WebAPI.py" untuk membuka perkhidmatan API Web.

(1) Pasang pakej flask_restplus.

pip install flask-restplus

(2) Import perpustakaan yang diperlukan dan mulakan objek aplikasi.

from flask import Flask
# Api类是Web API应用的入口，需要用Flask应用程序初始化
from flask_restplus import Api

# Resource类是HTTP请求的资源的基类
from flask_restplus import Resource

# fields类用于定义数据的类型和格式
from flask_restplus import fields

app = Flask(__name__)# 创建Falsk Web应用实例

# 在flask应用的基础上构建flask_restplusApi对象
api = Api(app, version='1.0',
title='Excel集成Python数据分析-测试用WebAPI',
description='测试用WebAPI', )

# 使用namespace函数生成命名空间，用于为资源分组
ns = api.namespace('ExcelPythonTest', description='Excel与Python Web API测试')
# 使用api.model函数生成模型对象
todo = api.model('task_model', {
'id': fields.Integer(readonly=True,
 description='ETL任务唯一标识'),
'task': fields.String(required=True,
description='ETL任务详情')
})

(3) Kelas operasi data API Web, termasuk kaedah seperti tambah, padam, ubah suai dan pertanyaan.

class TodoDAO(object):

def __init__(self):
self.counter = 0
self.todos = []

def get(self, id):
for todo in self.todos:
if todo['id'] == id:
return todo
api.abort(404, "ETL任务 {} 不存在".format(id))

def create(self, data):
todo = data
todo['id'] = self.counter = self.counter + 1
self.todos.append(todo)
return todo

# 实例化数据操作，创建3条测试数据
DAO = TodoDAO()
DAO.create({'task': 'ETL-抽取数据操作'})
DAO.create({'task': 'ETL-数据清洗转换'})
DAO.create({'task': 'ETL-数据加载操作'})

(4) Bina pemetaan laluan API Web.

Kelas permintaan sumber HTTP mewarisi daripada kelas Sumber, dan kemudian memetakan ke laluan yang berbeza, sambil menyatakan kaedah HTTP yang boleh digunakan.

@ns.route('/')# 路由“/”对应的资源类为TodoList，可使用get方法和post方法进行请求
class TodoList(Resource):
@ns.doc('list_todos')# @doc装饰器对应API文档的信息
@ns.marshal_list_with(todo)# @marshal_xxx装饰器对模型数据进行格式转换与输出
def get(self):# 定义get方法获取所有的任务信息
return DAO.todos

@ns.doc('create_todo')
@ns.expect(todo)
@ns.marshal_with(todo, code=201)
def post(self):# 定义post方法获取所有的任务信息
return DAO.create(api.payload), 201

# 路由/<int:id>对应的资源类为Todo，可使用get、delete、put方法进行请求
@ns.route('/<int:id>')
@ns.response(404, '未发现相关ETL任务')
@ns.param('id', 'ETL任务ID号')
class Todo(Resource):
@ns.doc('get_todo')
@ns.marshal_with(todo)
def get(self, id):
return DAO.get(id)

@ns.doc('delete_todo')
@ns.response(204, 'ETL任务已经删除')
def delete(self, id):
DAO.delete(id)
return '', 204

@ns.expect(todo)
@ns.marshal_with(todo)
def put(self, id):
return DAO.update(id, api.payload)

if __name__ == '__main__':
app.run(debug=True, port=8000)# 启动Web API服务，端口为8000

(4) Mulakan perkhidmatan API Web.

Mulakan perkhidmatan API Web melalui arahan "python ./5-5-WebAPI.py" dan masukkan "http://127.0.0.1:8000/" dalam penyemak imbas, seperti ditunjukkan dalam Rajah 5- 23 Senarai kaedah permintaan perkhidmatan API Web ditunjukkan.

Rajah 2 Senarai kaedah permintaan perkhidmatan WebAPI

2 Menangkap data halaman web

Excel boleh diakses melalui "Data" tab Fungsi "dari tapak web" menangkap data halaman web. Python boleh menggunakan perpustakaan permintaan, pakej Beautiful Soup dan rangka kerja Scrapy untuk merangkak data halaman web.

1. Tangkap melalui Excel

Klik "Data" → "Dari Sumber Lain" → fungsi "Dari Laman Web". Terdapat had pada data halaman web yang Excel boleh baca: data halaman web dinamik tidak boleh dikenali secara automatik dan data bukan jadual tidak boleh dikenali secara automatik.

(1) Klik fungsi "Data" → "Dari Sumber Lain" → "Dari Laman Web".

(2) Pastikan laman web Web yang ditulis dalam Bahagian 5.5.1 telah dibuka.

(3) Masukkan alamat URL tapak web "http://127.0.0.1:5000/"

Klik butang "Lanjutan" untuk mengkonfigurasi maklumat permintaan HTTP yang lebih terperinci, dan kemudian klik " butang OK", seperti yang ditunjukkan dalam Rajah 3.

Rajah 3 Konfigurasikan URL tapak web untuk dibaca

(4) Pilih data import dalam tetingkap "Navigator".

Seperti yang ditunjukkan dalam Rajah 4, Excel secara automatik mengecam data jadual dalam halaman web, pilih nama jadual dan klik butang "Muat".

Rajah 4 Excel secara automatik mengecam data jadual dalam halaman web

2 Gunakan Python untuk merangkak

Yang berikut menunjukkan merangkak menggunakan permintaan perpustakaan Data dalam keseluruhan halaman web kemudiannya digunakan untuk menghuraikan halaman web menggunakan Sup Cantik. Pembaca boleh merujuk kepada fail bahan kod "5-5-web.ipynb" dalam buku ini untuk belajar.

(1) Baca data halaman web melalui permintaan.

import requests #导入requests包
url ='http://127.0.0.1:5000/'

strhtml= requests.get(url) #使用get方法请求网页数据

(2) Menghuraikan halaman web melalui Sup Cantik.

from bs4 import BeautifulSoup

soup = BeautifulSoup(strhtml.text)# 将网页内容作为参数，创建soup对象
table = soup.find('table')# 查找网页中的table元素
table_body = table.find('tbody')# 查找table元素中的tbody元素
data = []
rows = table_body.find_all('tr')# 查找表中的所有tr元素

for row in rows:# 遍历数据
cols = row.find_all('td')
cols = [ele.text.strip() for ele in cols]
data.append([ele for ele in cols if ele])
# 结果输出：[[],
['小米', '女', '22'],['小明','男','23'],……

3. Panggil perkhidmatan API Web

Excel boleh menghubungi perkhidmatan API Web melalui fungsi "Tapak Web Sendiri" di bawah tab "Data". Python boleh menggunakan perpustakaan permintaan, pakej Beautiful Soup dan rangka kerja Scrapy untuk memanggil API Web untuk mendapatkan data.

1. Gunakan Excel untuk memanggil

(1) Pastikan perkhidmatan API Web yang ditulis dalam Bahagian 5.5.1 telah dimulakan.

(2) Masukkan URL yang sepadan dengan kaedah API Web: http://127.0.0.1:8000/ExcelPythonTest/.

(3) Proses data yang dikembalikan.

Selepas memanggil perkhidmatan API Web, data dikembalikan dalam format JSON Proses data JSON mengikut kaedah yang diperkenalkan dalam Bahagian 5.4.3.

2. Gunakan Python untuk memanggil

Gunakan perpustakaan permintaan untuk memanggil kaedah API Web, dan kemudian memproses data JSON yang dikembalikan boleh merujuk kepada fail bahan kod "5-5-. api.ipynb" dalam buku ini "Untuk belajar.

import requests#导入requests包
url ='http://127.0.0.1:8000/ExcelPythonTest/'

strhtml= requests.get(url)#使用get方法获取网页数据

import pandas as pd

frame= pd.read_json(strhtml.text)#使用Pandas包中的read_json函数
print(frame)
#结果输出：
id task
0 1 ETL-抽取数据操作
1 2 ETL-数据清洗转换
2 3 ETL-数据加载操作

4、两种方法对比

表1所示为Excel和Python抓取互联网数据方法的对比。需要注意Excel从互联网抓取数据的功能并不完善。

表1   Excel和Python抓取互联网数据方法对比

Atas ialah kandungan terperinci Dapatkan data daripada internet menggunakan Excel dan Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!