데이터 저장을 위해 Python Pymysql을 사용하는 방법은 무엇입니까?

Python은 주로 Pymysql 모듈을 통해 MySQL 데이터베이스를 연결하고 운영합니다. 여기서는 캡처된 데이터를 MySQL 데이터베이스에 저장하는 방법을 설명합니다.

스토리지 데이터 테이블 만들기

우선 MySQL 데이터베이스가 컴퓨터에 설치되어 있는지 확인한 후 다음과 같이 진행해야 합니다.

# 1. 连接到mysql数据库
mysql -h227.0.0.1 -uroot -p123456
# 2. 建库
create database maoyandb charset utf8;
# 3. 切换数据库
use maoyandb;
# 4. 创建数据表
create table filmtab(
name varchar(100),
star varchar(400),
time varchar(30)
);

Pymysql 기본 사용

1) 데이터베이스 연결

db = pymysql.connect('localhost','root','123456','maoyandb')

매개변수 설명:

• localhost: 로컬 MySQL 서버 주소 또는 원격 데이터베이스의 IP 주소.

• root: 데이터에 연결하는 데 사용되는 사용자 이름입니다.

• password: 데이터베이스에 연결하는 데 사용되는 비밀번호, 로컬 MySQL 서버 비밀번호는 "123456"입니다.

• db: 연결된 데이터베이스의 이름입니다.

2) 커서 객체 생성

cursor = db.cursor()

3) sql 명령 실행

execute() 메소드를 사용하여 SQL 문을 실행합니다. 아래와 같이:

#第一种方法：编写sql语句，使用占位符传入相应数据
sql = "insert into filmtab values('%s','%s','%s')" % ('刺杀,小说家','雷佳音','2021')
cursor.excute(sql)
第二种方法：编写sql语句，使用列表传参方式
sql = 'insert into filmtab values(%s,%s,%s)'
cursor.execute(sql,['刺杀,小说家','雷佳音','2021'])

4) 데이터 제출

db.commit()

5) 데이터베이스 닫기

cursor.close()
db.close()

전체 코드는 다음과 같습니다.

# -*-coding:utf-8-*-
import pymysql
#创建对象
db = pymysql.connect('localhost','root','123456','maoyandb')
cursor = db.cursor()
# sql语句执性，单行插入
info_list = ['刺杀,小说家','雷佳音,杨幂','2021-2-12']
sql = 'insert into movieinfo values(%s,%s,%s)'
#列表传参
cursor.execute(sql,info_list)
db.commit()
# 关闭
cursor.close()
db.close()

다음과 같이 데이터 결과를 쿼리합니다.

mysql> select * from movieinfo;
+------------+------+------------+
| | 별                                                                    --+
| 암살, 소설가 2021-2-12 |
+---------------+------------ -- -----+------------+
1개 행(0.01초)

executemany()를 사용하여 여러 데이터 조각을 삽입하는 더 효율적인 방법도 있습니다. 동시에. 예는 다음과 같습니다.

db = pymysql.connect('localhost','root','123456','maoyandb',charset='utf8')
cursor = db.cursor()
# sql语句执性，列表元组
info_list = [('我不是药神','徐峥','2018-07-05'),('你好,李焕英','贾玲','2021-02-12')]
sql = 'insert into movieinfo values(%s,%s,%s)'
cursor.executemany(sql,info_list)
db.commit()
# 关闭
cursor.close()
db.close()

삽입 결과를 다음과 같이 쿼리합니다.

mysql> select * from movieinfo;

+-------------+--------- -- ---------+---+
| 이름                                                                                                                         ----------------+- -------+
| 나는 의술의 신이 아니다 | 쉬젱 | 2018-07-05 |
| 안녕하세요, 리환잉 | 2021-02-12 |
+---------------+------+--- ----- ----+
2행 세트(0.01초)

크롤러 프로그램 수정

이제 캡처된 데이터를 MySQL 데이터베이스에 저장하도록 크롤러 프로그램을 수정하세요. 아래와 같이:

# coding=gbk
from urllib import request
import re
import time
import random
from ua_info import ua_list
import pymysql
class MaoyanSpider(object):
    def __init__(self):
        #初始化属性对象
        self.url = 'https://maoyan.com/board/4?offset={}'
        #数据库连接对象
        self.db = pymysql.connect(
            'localhost','root','123456','maoyandb',charset='utf8')
        #创建游标对象
        self.cursor = self.db.cursor()
    def get_html(self,url):
        headers = {'User-Agent':random.choice(ua_list)}
        req = request.Request(url=url,headers=headers)
        res = request.urlopen(req)
        html = res.read().decode()
        # 直接解析
        self.parse_html(html)
    def parse_html(self,html):
        re_bds = &#39;<div class="movie-item-info">.*?title="(.*?)".*?<p class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>&#39;
        pattern = re.compile(re_bds,re.S)
        r_list = pattern.findall(html)
        self.save_html(r_list)
    def save_html(self, r_list):
        L = []
        sql = &#39;insert into movieinfo values(%s,%s,%s)&#39;
        # 整理数据
        for r in r_list:
            t = (
                r[0].strip(),
                r[1].strip()[3:],
                r[2].strip()[5:15]
            )
            L.append(t)
            print(L)
        # 一次性插入多条数据 L:[(),(),()]
        try:
            self.cursor.executemany(sql,L)
            # 将数据提交数据库
            self.db.commit()
        except:
            # 发生错误则回滚
            self.db.rollback()
    def run(self):
        for offset in range(0,11,10):
            url = self.url.format(offset)
            self.get_html(url)
            time.sleep(random.uniform(1,3))
        # 断开游标与数据库连接
        self.cursor.close()
        self.db.close()
if __name__ == &#39;__main__&#39;:
    start=time.time()
    spider = MaoyanSpider()
    spider.run()
    end=time.time()
    print("执行时间:%.2f" % (end-start))

데이터베이스 쿼리는 결과를 다음과 같이 저장합니다.

mysql> movieinfo에서 * 선택;
+---+---------------------- -----------------------+------------+ | ---------+
| 나는 의술의 신이 아니다 | Xu Zheng, Zhou Yiwei, Wang Chuanjun | 2018-07-05 |
| 쇼생크 구원 | 팀 로빈스, 모건 프리먼, 밥 건턴                                                             10 |
| 그린 북 | Viggo Mortensen, Mahershala Ali, Linda Cardellini | Tim Ross, Bill · ; Nunn, Clarence Williams III                                          2018-08-03 |
| 첩 | 장펑이(Zhang Fengyi), 공리(Gong Li)                                                                                                                                                                               , 저스티노 두르 아노, 세르지오 비니 버스테릭 2020-01-03 |
| 이 킬러는 별로 차갑지 않아 | Jean Reno, Gary Ord Mann, Natalie Portman                                            | 2010-09-01 |
+----------------+-------------------------------- ---------+--------------- ------+
10행 세트(0.01초)

위 내용은 데이터 저장을 위해 Python Pymysql을 사용하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!