Petua untuk menghuraikan data XML berskala besar menggunakan Python

Petua dan contoh kod untuk menggunakan Python untuk menghuraikan data XML berskala besar

1. Pengenalan
XML (Bahasa Penanda Boleh Diperluas) ialah bahasa penanda yang digunakan untuk menyimpan dan menghantar data, serta menerangkan sendiri dan boleh dikembangkan. Apabila memproses fail XML berskala besar, teknik dan alatan khusus selalunya diperlukan untuk meningkatkan kecekapan dan mengurangkan penggunaan memori. Artikel ini akan memperkenalkan beberapa teknik biasa untuk menghuraikan data XML berskala besar dalam Python dan memberikan contoh kod yang sepadan.

2. Gunakan penghurai SAX
Gunakan modul xml.sax terbina dalam Python untuk menghuraikan data XML dalam cara yang didorong oleh peristiwa. Berbanding dengan penghurai DOM (Model Objek Dokumen), penghurai SAX (API Mudah untuk XML) mempunyai kelebihan yang jelas apabila memproses fail XML berskala besar. Ia tidak perlu memuatkan keseluruhan fail ke dalam memori, tetapi membaca data baris demi baris mengikut struktur fail XML, dan mencetuskan fungsi panggil balik yang sepadan untuk pemprosesan apabila ia menemui peristiwa tertentu (seperti teg mula, tag tamat, data aksara , dsb.).

Berikut ialah contoh kod yang menggunakan penghurai SAX untuk menghuraikan data XML berskala besar:

import xml.sax

class MyContentHandler(xml.sax.ContentHandler):
    def __init__(self):
        self.current_element = ""
        self.current_data = ""
    
    def startElement(self, name, attrs):
        self.current_element = name
    
    def characters(self, content):
        if self.current_element == "name":
            self.current_data = content
    
    def endElement(self, name):
        if name == "name":
            print(self.current_data)
            self.current_data = ""

parser = xml.sax.make_parser()
handler = MyContentHandler()
parser.setContentHandler(handler)
parser.parse("large.xml")

Dalam kod di atas, kami telah memperibadikan kelas pemproses MyContentHandler yang diwarisi daripada xml.sax.ContentHandler. Dalam fungsi panggil balik seperti startElement, aksara dan endElement, kami memproses data XML mengikut keperluan sebenar. Dalam contoh ini, kami hanya mengambil berat tentang data elemen nama dan mencetaknya.

3 Gunakan perpustakaan lxml untuk menghuraikan data XML
lxml ialah perpustakaan Python yang berkuasa yang menyediakan API yang cekap untuk memproses data XML dan HTML. Ia boleh digabungkan dengan XPath (bahasa untuk memilih nod XML) untuk mengekstrak dan memanipulasi data XML dengan mudah. Untuk memproses data XML berskala besar, lxml selalunya lebih cekap daripada modul xml terbina dalam.

Berikut ialah contoh kod untuk menghuraikan data XML berskala besar menggunakan perpustakaan lxml:

import lxml.etree as et

def process_xml_element(element):
    name = element.find("name").text
    print(name)

context = et.iterparse("large.xml", events=("end", "start"))
_, root = next(context)
for event, element in context:
    if event == "end" and element.tag == "entry":
        process_xml_element(element)
        root.clear()

Dalam kod di atas, kami menggunakan fungsi iterparse modul lxml.etree untuk menghuraikan data XML baris demi baris. Dengan menentukan parameter peristiwa sebagai ("akhir", "mula"), kita boleh melaksanakan logik pemprosesan yang sepadan pada permulaan dan penghujung setiap elemen XML. Dalam kod sampel, kami memanggil fungsi process_xml_element untuk memproses data elemen nama apabila elemen masukan dihuraikan.

4. Menghuraikan data XML berskala besar dalam ketulan
Apabila memproses data XML berskala besar, jika keseluruhan fail dimuatkan ke dalam memori untuk dihuraikan pada satu-satu masa, ia mungkin menyebabkan penggunaan memori yang berlebihan dan juga menyebabkan program ranap. Penyelesaian biasa adalah untuk memecahkan fail XML kepada ketulan kecil untuk dihuraikan.

Berikut ialah contoh kod untuk menghuraikan data XML berskala besar dalam ketulan:

import xml.etree.ElementTree as et

def process_xml_chunk(chunk):
    root = et.fromstringlist(chunk)
    for element in root.iter("entry"):
        name = element.find("name").text
        print(name)

chunk_size = 100000
with open("large.xml", "r") as f:
    while True:
        chunk = "".join(next(f) for _ in range(chunk_size))
        if chunk:
            process_xml_chunk(chunk)
        else:
            break

Dalam kod di atas, kami menghuraikan ketulan data XML demi ketul dengan membahagikan fail XML kepada ketulan kecil yang setiap satu mengandungi 100000 baris. Dalam fungsi process_xml_chunk, kami menggunakan fungsi fromstringlist modul xml.etree.ElementTree untuk menukar bongkah rentetan menjadi objek Elemen dan kemudian melaksanakan pemprosesan data seperti yang diperlukan.

5. Gunakan kumpulan proses untuk menghuraikan data XML secara selari.

Berikut ialah kod sampel yang menggunakan kumpulan proses untuk menghuraikan data XML berskala besar secara selari:

import xml.etree.ElementTree as et
from multiprocessing import Pool

def parse_xml_chunk(chunk):
    root = et.fromstringlist(chunk)
    entries = root.findall("entry")
    return [entry.find("name").text for entry in entries]

def process_xml_data(data):
    with Pool() as pool:
        results = pool.map(parse_xml_chunk, data)
    for result in results:
        for name in result:
            print(name)

chunk_size = 100000
data = []
with open("large.xml", "r") as f:
    while True:
        chunk = [next(f) for _ in range(chunk_size)]
        if chunk:
            data.append(chunk)
        else:
            break

process_xml_data(data)

Dalam kod di atas, fungsi "parse_xml_chunk" dihantar ke berbilang proses untuk pelaksanaan selari dan setiap proses bertanggungjawab untuk menghuraikan sebahagian kecil data XML . Selepas penghuraian selesai, proses utama menggabungkan hasil dan mengeluarkannya.

6. Ringkasan

Artikel ini memperkenalkan beberapa teknik biasa untuk menggunakan Python untuk menghuraikan data XML berskala besar dan menyediakan contoh kod yang sepadan. Dengan menggunakan kaedah seperti penghurai SAX, perpustakaan lxml, penghuraian ketulan dan keselarian kumpulan proses, kecekapan dan prestasi menghurai data XML berskala besar boleh dipertingkatkan. Dalam aplikasi praktikal, memilih kaedah yang sesuai mengikut keperluan sebenar dapat mengatasi cabaran pemprosesan data XML dengan lebih baik.

Atas ialah kandungan terperinci Petua untuk menghuraikan data XML berskala besar menggunakan Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!