Python通过DOM和SAX方式解析XML的应用实例分享
XML.DOM
需求
有一个表，里面数据量比较大，每天一更新，其字段可以通过xml配置文件进行配置，即，可能每次建表的字段不一样。
上游跑时会根据配置从源文件中提取，到入库这一步需要根据配置进行建表。
解决
写了一个简单的xml，配置需要字段及类型
上游读取到对应的数据
入库这一步，先把原表删除，根据配置建新表
XML文件
<?xml version="1.0" encoding="UTF-8"?> <!-- 表名 ,数据库名 可灵活配置插入哪个库哪个表 --> <table name="top_query" db_name="evaluting_sys"> <!-- 非业务主键，自增长,可配名，其他 INTEGER UNSIGNED AUTO_INCREMENT --> <primary_key> <name>id</name> </primary_key> <!-- 字段开始 --> <field> <name>query</name> <type>varchar(200)</type> <is_index>false</is_index> <description>query</description> </field> <field> <name>pv</name> <type>integer</type> <is_index>false</is_index> <description>pv</description> </field> <field> <name>avg_money</name> <type>integer</type> <is_index>false</is_index> <description></description> </field> <!-- 字段配置结束 --> </table>
处理脚本
#!/usr/bin/python
# -*- coding:utf-8 -*-
#author: wklken
#desc: use to read db xml config.
#-----------------------
#2012-02-18 created
#----------------------
import sys,os
from xml.dom import minidom, Node
def read_dbconfig_xml(xml_file_path):
content = {}
root = minidom.parse(xml_file_path)
table = root.getElementsByTagName("table")[0]
#read dbname and table name.
table_name = table.getAttribute("name")
db_name = table.getAttribute("db_name")
if len(table_name) > 0 and len(db_name) > 0:
db_sql = "create database if not exists `" + db_name +"`; use " + db_name + ";"
table_drop_sql = "drop " + table_name + " if exists " + table_name + ";"
content.update({"db_sql" : db_sql})
content.update({"table_sql" : table_drop_sql })
else:
print "Error:attribute is not define well! db_name=" + db_name + " ;table_name=" + table_name
sys.exit(1)
#print table_name, db_name
table_create_sql = "create table " + table_name +"("
#read primary cell
primary_key = table.getElementsByTagName("primary_key")[0]
primary_key_name = primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue
table_create_sql += primary_key_name + " INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY,"
#print primary_key.toxml()
#read ordernary field
fields = table.getElementsByTagName("field")
f_index = 0
for field in fields:
f_index += 1
name = field.getElementsByTagName("name")[0].childNodes[0].nodeValue
type = field.getElementsByTagName("type")[0].childNodes[0].nodeValue
table_create_sql += name + " " + type
if f_index != len(fields):
table_create_sql += ","
is_index = field.getElementsByTagName("is_index")[0].childNodes[0].nodeValue
table_create_sql += ");"
content.update({"table_create_sql" : table_create_sql})
#character set latin1 collate latin1_danish_ci;
print content
if __name__ == "__main__":
read_dbconfig_xml(sys.argv[1])
涉及方法
root = minidom.parse(xml_file_path) 获取dom对象
root.getElementsByTagName("table") 根据tag获取节点列表
table.getAttribute("name") 获取属性
primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue 获取子节点的值（id 得到id）
SAX
需求
读取xml数据文件，文件较大，需要实时处理插入到数据库
xml文档
<PERSONS> <person> <id>100000</id> <sex>男</sex> <address>北京，海淀区</address> <fansNum>437</fansNum> <summary>1989</summary> <wbNum>333</wbNum> <gzNum>242</gzNum> <blog>null</blog> <edu>大学</edu> <work></work> <renZh>1</renZh> <brithday>2月14日</brithday> </person> </PERSONS>
处理
sax处理时并不会像dom一样可以以类似节点的维度进行读取,它只有 开始标签 内容 结束标签 之分
处理思想是：通过一个handler，对开始标签，内容，结束标签各有一个处理函数
代码及注解
person 处理类
from xml.sax import handler,parseString
class PersonHandler(handler.ContentHandler):
def __init__(self, db_ops):
#db op obj
self.db_ops = db_ops
#存储一个person的map
self.person = {}
#当前的tag
self.current_tag = ""
#是否是tag之间的内容 ，目的拿到tag间内容，不受空白的干扰
self.in_quote = 0
#开始，清空map
def startElement(self, name, attr):
#以person，清空map
if name == "person":
self.person = {}
#记录 状态
self.current_tag = name
self.in_quote = 1
#结束，插入数据库
def endElement(self, name):
#以person结尾 代表读取一个person的信息结束
if name == "person":
#do something
in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])
print in_sql % in_fields
db_ops.insert( in_sql%(in_fields))
#处理
self.in_quote = 0
def characters(self, content):
#若是在tag之间的内容，更新到map中
if self.in_quote:
self.person.update({self.current_tag: content})
加上入库的完整代码
#!/usr/bin/python
# -*- coding:utf-8 -*-
#parse_person.py
#version : 0.1
#author : wukunliang@163.com
#desc : parse person.xml and out sql
import sys,os
import MySQLdb
reload(sys)
sys.setdefaultencoding('utf-8')
in_sql = "insert into person(id,sex,address,fansNum,summary,wbNum,gzNum,blog,edu,work,renZh,brithday) values(%s, %s, %s, %s, %s, %s,
%s, %s, %s, %s, %s, %s)"
fields = ("id","sex","address","fansNum","summary","wbNum","gzNum","blog","edu","work","renZh","brithday")
#数据库方法
class Db_Connect:
def __init__(self, db_host, user, pwd, db_name, charset="utf8", use_unicode = True):
print "init begin"
print db_host, user, pwd, db_name, charset , use_unicode
self.conn = MySQLdb.Connection(db_host, user, pwd, db_name, charset=charset , use_unicode=use_unicode)
print "init end"
def insert(self, sql):
try:
n = self.conn.cursor().execute(sql)
return n
except MySQLdb.Warning, e:
print "Error: execute sql '",sql,"' failed"
def close(self):
self.conn.close()
#person 处理类
from xml.sax import handler,parseString
class PersonHandler(handler.ContentHandler):
def __init__(self, db_ops):
#db op obj
self.db_ops = db_ops
#存储一个person的map
self.person = {}
#当前的tag
self.current_tag = ""
#是否是tag之间的内容
self.in_quote = 0
#开始，清空map
def startElement(self, name, attr):
#以person，清空map
if name == "person":
self.person = {}
#记录 状态
self.current_tag = name
self.in_quote = 1
#结束，插入数据库
def endElement(self, name):
#以person结尾 代表读取一个person的信息结束
if name == "person":
#do something
in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])
print in_sql % in_fields
db_ops.insert( in_sql%(in_fields))
#处理
self.in_quote = 0
def characters(self, content):
#若是在tag之间的内容，更新到map中
if self.in_quote:
self.person.update({self.current_tag: content})
if __name__ == "__main__":
f = open("./person.xml")
#如果源文件gbk 转码 若是utf-8，去掉decode.encode
db_ops = Db_Connect("127.0.0.1", "root", "root", "test")
parseString(f.read().decode("gbk").encode("utf-8"), PersonHandler(db_ops))
f.close()
db_ops.close()
平时拿python来分析数据，工具脚本还有hadoop streamming，但是用的面和深度实在欠缺 只能说道行还浅，需要多多实践
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7685
15
1639
14
1393
52
1287
25
1229
29
PHP와 Python : 다른 패러다임이 설명되었습니다
Apr 18, 2025 am 12:26 AM
PHP는 주로 절차 적 프로그래밍이지만 객체 지향 프로그래밍 (OOP)도 지원합니다. Python은 OOP, 기능 및 절차 프로그래밍을 포함한 다양한 패러다임을 지원합니다. PHP는 웹 개발에 적합하며 Python은 데이터 분석 및 기계 학습과 같은 다양한 응용 프로그램에 적합합니다.
PHP와 Python 중에서 선택 : 가이드
Apr 18, 2025 am 12:24 AM
PHP는 웹 개발 및 빠른 프로토 타이핑에 적합하며 Python은 데이터 과학 및 기계 학습에 적합합니다. 1.PHP는 간단한 구문과 함께 동적 웹 개발에 사용되며 빠른 개발에 적합합니다. 2. Python은 간결한 구문을 가지고 있으며 여러 분야에 적합하며 강력한 라이브러리 생태계가 있습니다.
Python vs. JavaScript : 학습 곡선 및 사용 편의성
Apr 16, 2025 am 12:12 AM
Python은 부드러운 학습 곡선과 간결한 구문으로 초보자에게 더 적합합니다. JavaScript는 가파른 학습 곡선과 유연한 구문으로 프론트 엔드 개발에 적합합니다. 1. Python Syntax는 직관적이며 데이터 과학 및 백엔드 개발에 적합합니다. 2. JavaScript는 유연하며 프론트 엔드 및 서버 측 프로그래밍에서 널리 사용됩니다.
VScode 확장자가 악의적입니까?
Apr 15, 2025 pm 07:57 PM
VS 코드 확장은 악의적 인 코드 숨기기, 취약성 악용 및 합법적 인 확장으로 자위하는 등 악성 위험을 초래합니다. 악의적 인 확장을 식별하는 방법에는 게시자 확인, 주석 읽기, 코드 확인 및주의해서 설치가 포함됩니다. 보안 조치에는 보안 인식, 좋은 습관, 정기적 인 업데이트 및 바이러스 백신 소프트웨어도 포함됩니다.
Python에서 비주얼 스튜디오 코드를 사용할 수 있습니다
Apr 15, 2025 pm 08:18 PM
VS 코드는 파이썬을 작성하는 데 사용될 수 있으며 파이썬 애플리케이션을 개발하기에 이상적인 도구가되는 많은 기능을 제공합니다. 사용자는 다음을 수행 할 수 있습니다. Python 확장 기능을 설치하여 코드 완료, 구문 강조 및 디버깅과 같은 기능을 얻습니다. 디버거를 사용하여 코드를 단계별로 추적하고 오류를 찾아 수정하십시오. 버전 제어를 위해 git을 통합합니다. 코드 서식 도구를 사용하여 코드 일관성을 유지하십시오. 라인 도구를 사용하여 잠재적 인 문제를 미리 발견하십시오.
PHP와 Python : 그들의 역사에 깊은 다이빙
Apr 18, 2025 am 12:25 AM
PHP는 1994 년에 시작되었으며 Rasmuslerdorf에 의해 개발되었습니다. 원래 웹 사이트 방문자를 추적하는 데 사용되었으며 점차 서버 측 스크립팅 언어로 진화했으며 웹 개발에 널리 사용되었습니다. Python은 1980 년대 후반 Guidovan Rossum에 의해 개발되었으며 1991 년에 처음 출시되었습니다. 코드 가독성과 단순성을 강조하며 과학 컴퓨팅, 데이터 분석 및 기타 분야에 적합합니다.
vScode를 Mac에 사용할 수 있습니다
Apr 15, 2025 pm 07:36 PM
VS 코드는 Mac에서 사용할 수 있습니다. 강력한 확장, GIT 통합, 터미널 및 디버거가 있으며 풍부한 설정 옵션도 제공합니다. 그러나 특히 대규모 프로젝트 또는 고도로 전문적인 개발의 경우 VS 코드는 성능 또는 기능 제한을 가질 수 있습니다.
시각적 스튜디오 코드가 Python을 실행할 수 있습니다
Apr 15, 2025 pm 08:00 PM
VS 코드는 Python을 실행할 수있을뿐만 아니라 Python Extensions를 설치 한 후 Python 파일을 자동으로 식별하고 코드 완료, 구문 강조 표시, 디버깅 및 기타 기능을 제공하는 등 강력한 기능을 제공합니다. 설치된 파이썬 환경에 의존하면 확장은 브리지 연결 편집 및 파이썬 환경 역할을합니다. 디버깅 기능에는 중단 점 설정, 단계별 디버깅, 변수 값보기 및 디버깅 효율 향상이 포함됩니다. 통합 터미널은 단위 테스트 및 패키지 관리와 같은 복잡한 명령을 실행하는 것을 지원합니다. 확장 구성을 지원하고 코드 형식, 분석 및 버전 제어와 같은 기능을 향상시킵니다.
