Teknologi asas Python mendedahkan: cara menangkap dan menyimpan data

Teknologi asas Python didedahkan: cara melaksanakan penangkapan dan penyimpanan data, contoh kod khusus diperlukan

Dengan populariti Internet dan proses pendigitalan Dengan pecutan Internet, data menjadi semakin penting kepada perusahaan dan individu. Python telah menjadi salah satu bahasa arus perdana dalam bidang pemprosesan data kerana kelebihannya yang mudah dipelajari, berkuasa dan fleksibel. Artikel ini akan memperkenalkan teknologi asas Python dan meneroka secara mendalam cara menggunakan Python untuk menangkap dan menyimpan data melalui kod sampel.

1 Tangkapan data

1 Gunakan modul urllib

urllib ialah perpustakaan permintaan HTTP terbina dalam Python, yang menyediakan fungsi HTTP asas. Termasuk meminta data, menambah maklumat pengepala, pengesahan penyemak imbas, dsb. Berikut ialah contoh kod:

import urllib.request

url = 'https://www.baidu.com/'
response = urllib.request.urlopen(url)
html_str = response.read().decode("utf-8")
print(html_str)

2 Gunakan modul permintaan

requests ialah perpustakaan pihak ketiga yang perlu dipasang menggunakan pip. Berbanding dengan urllib, ia lebih mudah dan lebih praktikal. Ia juga boleh digunakan untuk menghantar permintaan HTTP, menambah maklumat pengepala, pengesahan penyemak imbas, dll. Berikut ialah kod sampel:

import requests

url = 'https://www.baidu.com/'
response = requests.get(url)
html_str = response.text
print(html_str)

3 Gunakan modul selenium

selenium ialah alat ujian automatik, tetapi ia juga boleh digunakan untuk merangkak data halaman web. Anda perlu memasang selenium dan pemacu penyemak imbas yang sepadan terlebih dahulu, dan gunakan objek pemacu web untuk membuka halaman web untuk operasi dan pengekstrakan data. Berikut ialah kod sampel:

from selenium import webdriver

url = 'https://www.baidu.com/'
browser = webdriver.Firefox()
browser.get(url)
html_str = browser.page_source
print(html_str)
browser.quit()

2. Storan data

1 Gunakan modul csv

csv ialah alat terbina dalam Python untuk. mengendalikan modul fail format csv. Fail CSV ialah fail teks biasa dengan nilai dipisahkan koma dan setiap baris mewakili satu rekod data. Berikut ialah contoh kod:

import csv

data = [['name', 'age', 'gender'],
        ['Anna', '25', 'female'],
        ['Bob', '30', 'male'],
        ['Cathy', '27', 'female']]

with open('data.csv', 'w') as f:
    writer = csv.writer(f)
    for row in data:
        writer.writerow(row)

2 Gunakan modul panda

pandas ialah perpustakaan pihak ketiga yang perlu dipasang menggunakan pip. Ia menyediakan struktur data dan alat analisis data yang pantas dan cekap, yang boleh melaksanakan pemprosesan dan penyimpanan data dengan mudah. Berikut ialah kod sampel:

import pandas as pd

data = {'name': ['Anna', 'Bob', 'Cathy'],
        'age': [25, 30, 27],
        'gender': ['female', 'male', 'female']}
df = pd.DataFrame(data)
df.to_csv('data.csv', index=False)

3 Gunakan modul sqlite3

sqlite3 ialah pangkalan data ringan terbina dalam Python yang boleh digunakan untuk menyimpan dan membuat pertanyaan data. Berikut ialah kod sampel:

import sqlite3

conn = sqlite3.connect('data.db')
cursor = conn.cursor()
cursor.execute('''CREATE TABLE students
                  (name text, age int, gender text)''')
data = [('Anna', 25, 'female'),
        ('Bob', 30, 'male'),
        ('Cathy', 27, 'female')]
cursor.executemany('INSERT INTO students VALUES (?,?,?)', data)
conn.commit()
conn.close()

Di atas ialah kaedah asas dan kod sampel untuk Python untuk melaksanakan penangkapan dan penyimpanan data. Perlu diingatkan bahawa dalam penggunaan sebenar, isu anti-merangkak, pengendalian pengecualian, multi-threading dan isu-isu lain perlu dipertimbangkan untuk mencapai pemprosesan data yang cekap, stabil dan sah. Pada masa yang sama, anda perlu mematuhi undang-undang, peraturan dan etika serta tidak menggunakan teknologi perangkak untuk mendapatkan dan menyalahgunakan data orang lain.

Atas ialah kandungan terperinci Teknologi asas Python mendedahkan: cara menangkap dan menyimpan data. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!