Python の増分ループが MySQL テーブルデータを削除する-Python チュートリアル-php.cn

ホームページ

バックエンド開発

Python チュートリアル

Python の増分ループが MySQL テーブルデータを削除する

高洛峰

Feb 24, 2017 pm 04:04 PM

要件シナリオ:

MySQL バージョン 5.5 を使用するビジネスデータベースがあり、毎日大量のデータが書き込まれます。複数のテーブルのデータを「指定された期間より前に」削除する必要があります。 SQL SERVER では、いくつかの WHILE ループを記述するだけで簡単に実行できます。MySQL にも同様の関数がありますが、私はそれに習熟していないので、あまり言うことはありません。スクリプト:

# coding: utf-8
import MySQLdb
import time
# delete config
DELETE_DATETIME = &#39;2016-08-31 23:59:59&#39;
DELETE_ROWS = 10000
EXEC_DETAIL_FILE = &#39;exec_detail.txt&#39;
SLEEP_SECOND_PER_BATCH = 0.5
DATETIME_FORMAT = &#39;%Y-%m-%d %X&#39;
# MySQL Connection Config
Default_MySQL_Host = &#39;localhost&#39;
Default_MySQL_Port = 3358
Default_MySQL_User = "root"
Default_MySQL_Password = &#39;roo@01239876&#39;
Default_MySQL_Charset = "utf8"
Default_MySQL_Connect_TimeOut = 120
Default_Database_Name = &#39;testdb001&#39;
def get_time_string(dt_time):
"""
获取指定格式的时间字符串
:param dt_time: 要转换成字符串的时间
:return: 返回指定格式的字符串
"""
global DATETIME_FORMAT
return time.strftime(DATETIME_FORMAT, dt_time)
def print_info(message):
"""
将message输出到控制台，并将message写入到日志文件
:param message: 要输出的字符串
:return: 无返回
"""
print(message)
global EXEC_DETAIL_FILE
new_message = get_time_string(time.localtime()) + chr(13) + str(message)
write_file(EXEC_DETAIL_FILE, new_message)
def write_file(file_path, message):
"""
将传入的message追加写入到file_path指定的文件中
请先创建文件所在的目录
:param file_path: 要写入的文件路径
:param message: 要写入的信息
:return:
"""
file_handle = open(file_path, &#39;a&#39;)
file_handle.writelines(message)
# 追加一个换行以方便浏览
file_handle.writelines(chr(13))
file_handle.close()
def get_mysql_connection():
"""
根据默认配置返回数据库连接
:return: 数据库连接
"""
conn = MySQLdb.connect(
host=Default_MySQL_Host,
port=Default_MySQL_Port,
user=Default_MySQL_User,
passwd=Default_MySQL_Password,
connect_timeout=Default_MySQL_Connect_TimeOut,
charset=Default_MySQL_Charset,
db=Default_Database_Name
)
return conn
def mysql_exec(sql_script, sql_param=None):
"""
执行传入的脚本，返回影响行数
:param sql_script:
:param sql_param:
:return: 脚本最后一条语句执行影响行数
"""
try:
conn = get_mysql_connection()
print_info("在服务器{0}上执行脚本:{1}".format(
conn.get_host_info(), sql_script))
cursor = conn.cursor()
if sql_param is not None:
cursor.execute(sql_script, sql_param)
row_count = cursor.rowcount
else:
cursor.execute(sql_script)
row_count = cursor.rowcount
conn.commit()
cursor.close()
conn.close()
except Exception, e:
print_info("execute exception:" + str(e))
row_count = 0
return row_count
def mysql_query(sql_script, sql_param=None):
"""
执行传入的SQL脚本，并返回查询结果
:param sql_script:
:param sql_param:
:return: 返回SQL查询结果
"""
try:
conn = get_mysql_connection()
print_info("在服务器{0}上执行脚本:{1}".format(
conn.get_host_info(), sql_script))
cursor = conn.cursor()
if sql_param != &#39;&#39;:
cursor.execute(sql_script, sql_param)
else:
cursor.execute(sql_script)
exec_result = cursor.fetchall()
cursor.close()
conn.close()
return exec_result
except Exception, e:
print_info("execute exception:" + str(e))
def get_id_range(table_name):
"""
按照传入的表获取要删除数据最大ID、最小ID、删除总行数
:param table_name: 要删除的表
:return: 返回要删除数据最大ID、最小ID、删除总行数
"""
global DELETE_DATETIME
sql_script = """
SELECT
MAX(ID) AS MAX_ID,
MIN(ID) AS MIN_ID,
COUNT(1) AS Total_Count
FROM {0}
WHERE create_time <=&#39;{1}&#39;;
""".format(table_name, DELETE_DATETIME)
query_result = mysql_query(sql_script=sql_script, sql_param=None)
max_id, min_id, total_count = query_result[0]
# 此处有一坑，可能出现total_count不为0 但是max_id 和min_id 为None的情况
# 因此判断max_id和min_id 是否为NULL
if (max_id is None) or (min_id is None):
max_id, min_id, total_count = 0, 0, 0
return max_id, min_id, total_count
def delete_data(table_name):
max_id, min_id, total_count = get_id_range(table_name)
temp_id = min_id
while temp_id <= max_id:
sql_script = """
DELETE FROM {0}
WHERE id <= {1}
and id >= {2}
AND create_time <=&#39;{3}&#39;;
""".format(table_name, temp_id + DELETE_ROWS, temp_id, DELETE_DATETIME)
temp_id += DELETE_ROWS
print(sql_script)
row_count = mysql_exec(sql_script)
print_info("影响行数：{0}".format(row_count))
current_percent = (temp_id - min_id) * 1.0 / (max_id - min_id)
print_info("当前进度{0}/{1},剩余{2},进度为{3}%".format(temp_id, max_id, max_id - temp_id, "%.2f" % current_percent))
time.sleep(SLEEP_SECOND_PER_BATCH)
print_info("当前表{0}已无需要删除的数据".format(table_name))
delete_data(&#39;TB001&#39;)
delete_data(&#39;TB002&#39;)
delete_data(&#39;TB003&#39;)

ログイン後にコピー

実行効果:

Python の増分ループが MySQL テーブルデータを削除する実装原理:

テーブルには自己増加する ID があるため、ループ内で段階的に削除する機会が与えられます。削除条件を満たす最大IDと最小IDを見つけて、その次に小さい範囲(10,000件など)で削除するたびにIDずつ増加します。

実装の利点:

「小さな斧が大きな薪を割る」効果を実現し、トランザクションが小さく、ラインへの影響が小さい現在処理されている「ID」を出力し、コードを少し変更するだけでいつでも閉じることができます。これは便利です。

実装の欠点:

マスターとスレーブの遅延が大きくなりすぎるのを防ぐために、毎回 1 秒間の SLEEP を削除する方法は、このレプリケーションリンクを定期的にスキャンするのが比較的大雑把です。いずれにせよ、遅延に応じて SLEEP を調整します。サイクルはすべてスクリプト化されているので、もっとインテリジェントに設定してみてはいかがでしょうか。

上記は、編集者が紹介した MySQL テーブルデータの Python 増分ループ削除です。ご質問があれば、メッセージを残してください。編集者がすぐに返信します。また、PHP 中国語 Web サイトをサポートしていただきありがとうございます。

MySQL テーブルデータの Python 増分ループ削除に関連するその他の記事については、PHP 中国語 Web サイトに注目してください。

このウェブサイトの声明

この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。