Sichern Sie die MYSQL-Datenbank mit Python

Für berufliche Zwecke habe ich gerade angefangen, Python zu lernen, also habe ich mir eine Reihe einfacher Python-Lehrvideos angesehen und einfach ein Backup-Skript geschrieben. Ich habe persönlich Interesse an den Klassen und Funktionen von Python geäußert. und eingebaute Funktionen, private Variablen, globale Variablen usw. Ich habe keine Ahnung, wie ich sie verwenden soll, wann ich sie verwenden soll usw. Ich nehme sie hier nur auf und freue mich auch über vorbeikommende Pythoner, die mir Ratschläge geben.

Einige mir bekannte Probleme:

1. Das Skript muss erfordern, dass alle Verhaltensweisen in der MySQL-Konfigurationsdatei im Schlüssel=Wert-Format vorliegen und es dürfen keine redundanten Kommentare vorhanden sein, andernfalls Das ConfigParser-Modul analysiert die Konfiguration. Beim Schreiben der Datei ist ein Fehler aufgetreten. Da ich nicht untersucht habe, ob ConfigParser über fehlertolerante Methoden verfügt, die aufgerufen werden können, und ich keine Zeit habe, eine fehlertolerante Verarbeitung zu schreiben, habe ich das Problem durch Aussortieren gelöst die Konfigurationsdatei my.ini, damit sie den Anforderungen von ConfigParser entspricht. Die von mir verwendete MySQL-Konfigurationsdatei wird später angehängt.

2. Umfangreiche Verwendung von klassenprivaten Mitgliedsvariablen, da ich nicht weiß, wann Python-Variablen, Klassenmethoden usw. privatisiert werden sollten und was die Unterschiede sind. Ich weiß nur, dass klassenprivate Mitgliedsvariablen sind in andere Skripte importiert oder bei Vererbung unsichtbar.

3. Es gibt viele Dateioperationen und Wertübertragungsoperationen. Derzeit stellen wir nur sicher, dass es keine Probleme bei der Übergabe von Werten im richtigen Format gibt und keine redundante Fehlertoleranzverarbeitung durchgeführt wird. 4. Es ist das erste Mal, dass ich ein betriebs- und wartungsbezogenes Skript schreibe. Da ich Systembefehle aufrufen und viele Parameter übergeben muss, kenne ich das Unterprozessmodul nicht Ich weiß, wie andere Betriebs- und Wartungsskripte schreiben, also habe ich es einfach direkt gespleißt.

5. Andere unbekannte Fehler, unentdeckte logische Fehler usw.

Umgebung:

- Server: Dell PowerEdge T110

- Betriebssystem: CentOS 6.3_x86_64

- PythonVersion: 2.7.3

- MysqlVersion: 5.5.28 Linux x86_64

MysqlBackupScript.py

#!/usr/bin/env python
# coding: utf8
# script MysqlBackupScript
# by Becareful
# version v1.0
  
"""
This scripts provides auto backup mysql(version == 5.5.x) database .
"""
  
import os
import sys
import datetime         #用于生成备份文件的日期
import linecache        #用于读取文件的指定行
import ConfigParser     #解析mysql配置文件
  
  
class DatabaseArgs(object):
    """
  
    """
  
    __MYSQL_BASE_DIR = r'/usr/local/mysql'            #mysql安装目录
    __MYSQL_BIN_DIR = __MYSQL_BASE_DIR + '/bin'       #mysql二进制目录
    __MYSQL_CONFIG_FILE = r'/usr/local/mysql/my.cnf'  #mysql配置文件
  
    __ONEDAY = datetime.timedelta(days=1)             #一天的时长，用于计算下面的前一天和后一天日期
    __TODAY = datetime.date.today()      #当天日期格式为 YYYY-MM-DD
    __YESTERDAY = __TODAY - __ONEDAY                  #计算昨天日期
    __TOMORROW = __TODAY + __ONEDAY                   #计算明天日期
    __WEEKDAY = __TODAY.strftime('%w')                #计算当天是一星期的星期几
  
    __MYSQL_DUMP_ARGS = {                             #用一个字典存储mysqldump 命令备份数据库的参数
        'MYISAM': ' -v -E -e -R --triggers -F  -n --opt --master-data=2 --hex-blob -B ',
        'INNODB': ' -v -E -e -R --triggers -F --single-transaction -n --opt --master-data=2 --hex-blob -B '
    }
  
    __DUMP_COMMAND = __MYSQL_BIN_DIR + '/mysqldump'   #mysqldump 命令的 路径 用于dump mysql数据
    __FLUSH_LOG_COMMAND = __MYSQL_BIN_DIR + '/mysqladmin'    #mysqladmin 命令的路径 ，用于执行 flush-logs 生成每天增量binlog
  
    __BACKUP_DIR = r'/backup/'                        # 指定备份文件存放的目录
  
    __PROJECTNAME = 'example'                         # 指定需要备份的数据库对应的项目名，将来会生成 projectname-YYYY-MM-DD.sql 等文件
    __DATABASE_LIST = []                              # 指定需要备份的数据库名，可以是多个，使用列表
    __HOST = 'localhost'
    __PORT = 3306
    __USERNAME = 'root'
    __PASSWORD = ''
    __LOGINARGS = ''                                  # 如果在localhost登陆，需要密码，可以设定登陆的参数，具体在下面有说明
    __LOGFILE = __BACKUP_DIR + '/backup.logs'
  
    def __init__(self, baseDir=__MYSQL_BASE_DIR, backDir=__BACKUP_DIR, engine='MYISAM', projectName=__PROJECTNAME,
                 dbList=__DATABASE_LIST, host=__HOST, port=__PORT, user=__USERNAME, passwd=__PASSWORD):
  
        """
            实例化对象时传入的参数，如不传入默认使用类的私有成员变量作为默认值
    :param baseDir:   
    :param backDir:
    :param engine:
    :param projectName:
    :param dbList:
    :param host:
    :param port:
    :param user:
    :param passwd:
    """
        self.__MYSQL_BASE_DIR = baseDir
        self.__BACKUP_DIR = backDir
        self.__PROJECTNAME = projectName
        self.__DATABASE_LIST = dbList
        self.__HOST = host
        self.__PORT = port
        self.__USERNAME = user
        self.__PASSWORD = passwd
        self.__ENGINE = self.__MYSQL_DUMP_ARGS[engine]
        #下面定义了如需登陆时，参数 其实就是生成 这样的格式  “-hlocalhost -uroot --password=‘xxxx’”
        self.__LOGINARGS = " -h" + self.__HOST + " -P" + str(
            self.__PORT) + " -u" + self.__USERNAME + " --password='" + self.__PASSWORD + "'"
        self.checkDatabaseArgs()   #调用检查函数
  
    def __getconfig(self, cnf=__MYSQL_CONFIG_FILE, item=None):  # 解析mysql配置文件的小函数，简单封装了下，传入一个值作为my.cnf的key去查找对应的value
  
        __mycnf = ConfigParser.ConfigParser()
        __mycnf.read(cnf)
        try:
            return __mycnf.get("mysqld", item)
        except BaseException, e:
            sys.stderr.write(str(e))
            sys.exit(1)
  
    def __getBinlogPath(self): #  取每天需要增量备份的binlog日志的绝对路径，从mysql的binlog.index文件取倒数第二行
  
        __BINLOG_INDEX = self.__getconfig(item='log-bin') + '.index'
  
        if not os.path.isfile(__BINLOG_INDEX):
            sys.stderr.write('BINLOG INDEX FILE: [' + __BINLOG_INDEX + ' ] NOT FOUND! \n')
            sys.exit(1)
        else:
            try:
                __BINLOG_PATH = linecache.getline(__BINLOG_INDEX, len(open(__BINLOG_INDEX,'r').readlines()) - 1)
                linecache.clearcache()
            except BaseException, e:
                sys.stderr.write(str(e))
                sys.exit(1)
            return __BINLOG_PATH.strip()
  
    def flushDatabaseBinlog(self):  # 调用此函数，将会执行  mysqladmin flush-logs ,刷新binlog日志
        return os.popen(self.__FLUSH_LOG_COMMAND + self.__LOGINARGS + ' flush-logs')
  
    def dumpDatabaseSQL(self):  #|通过mysqladmin 对指定数据库进行全备
        if not os.path.isfile(self.__BACKUP_DIR + '/' + self.__PROJECTNAME + '/' + str(self.__YESTERDAY) + '-' + self.__PROJECTNAME + '.sql'):
            return os.popen(self.__DUMP_COMMAND + self.__LOGINARGS + self.__ENGINE + ' '.join(
                self.__DATABASE_LIST) + ' >> ' + self.__BACKUP_DIR + '/' + self.__PROJECTNAME + '/' +str(
                self.__YESTERDAY) + '-' + self.__PROJECTNAME + '.sql')
        else:
            sys.stderr.write('Backup File [' + str(self.__YESTERDAY) + '-' + self.__PROJECTNAME +'.sql]  already exists.\n')
  
  
  
    def dumpDatabaseBinlog(self):#通过copy2() 将需要备份的binlog日志复制到指定备份目录
  
        if not os.path.isfile(self.__BACKUP_DIR + '/' + self.__PROJECTNAME + '/' +str(self.__YESTERDAY) + '-' + os.path.split(self.__getBinlogPath())[1]):
            from shutil import copy2
            try:
                copy2(self.__getBinlogPath(), self.__BACKUP_DIR + '/' + self.__PROJECTNAME + '/' +str(self.__YESTERDAY) + '-' + os.path.split(self.__getBinlogPath())[1])
            except BaseException, e:
                sys.stderr.write(str(e))
        else:
            sys.stderr.write('Binlog File [' + str(self.__YESTERDAY) + '-' +os.path.split(self.__getBinlogPath())[1] + '] already exists\n' )
  
  
    def checkDatabaseArgs(self):  #对一些必要条件进行检查
        __rv = 0
  
        if not os.path.isdir(self.__MYSQL_BASE_DIR):  #检查指定的mysql安装目录是否存在
            sys.stderr.write('MYSQL BASE DIR: [ ' + self.__MYSQL_BASE_DIR + ' ] NOT FOUND\n')
            __rv += 1
  
        if not os.path.isdir(self.__BACKUP_DIR):   #检查指定的备份目录是否存在，如不存在自动创建
            sys.stderr.write('BACKUP DIR: [ ' + self.__BACKUP_DIR + '/' + self.__PROJECTNAME +  ' ] NOT FOUND ,AUTO CREATED\n')
            os.makedirs(self.__BACKUP_DIR + '/' + self.__PROJECTNAME)
  
        if not os.path.isfile(self.__MYSQL_CONFIG_FILE): #检查mysql配置文件是否存在
            sys.stderr.write('MYSQL CONFIG FILE: [' + self.__MYSQL_CONFIG_FILE + ' ] NOT FOUND\n')
            __rv += 1
  
        if not os.path.isfile(self.__DUMP_COMMAND):  #检查备份数据库时使用的mysqldump命令是否存在
            sys.stderr.write('MYSQL DUMP COMMAND: [' + self.__DUMP_COMMAND + ' ] NOT FOUND\n')
            __rv += 1
  
        if not os.path.isfile(self.__FLUSH_LOG_COMMAND): #检查刷新mysql binlog日志使用的mysqladmin命令是否存在
            sys.stderr.write('MYSQL FLUSH LOG COMMAND: [' + self.__DUMP_COMMAND + ' ] NOT FOUND\n')
            __rv += 1
  
        if not self.__DATABASE_LIST:  #检查需要备份的数据库列表是否存在
            sys.stderr.write('Database List is None \n')
            __rv += 1
  
        if __rv:   # 判断返回值，由于上述任何一步检查失败，都会导致 __rv 值 +1 ，只要最后__rv ！= 0就直接退出了。
            sys.exit(1)
  
  
def crontab():  # 使用字典，来进行相关参数传递，并实例化对象，调用相关方法进行操作
  
    zabbix = {
        'baseDir': '/usr/local/mysql/',
        'backDir': '/backup/',
        'projectName': 'Monitor',
        'dbList': ['zabbix'],
        'host': 'localhost',
        'port': 3306,
        'user': 'root',
        'passwd': 'xxxxxxx'
    }
  
    monitor = DatabaseArgs(**zabbix)
    monitor.dumpDatabaseSQL()
    monitor.dumpDatabaseBinlog()
    monitor.flushDatabaseBinlog()
  
if __name__ == '__main__':
    crontab()

my.cnf

[client]
port                            = 3306
socket                          = /mysql/var/db.socket
  
[mysqld]
socket                          = /mysql/var/db.socket
datadir                         = /mysql/db/
skip-external-locking           = 1
skip-innodb                     = 0
key_buffer_size                 = 256M
max_allowed_packet              = 10M
table_open_cache                = 2048
sort_buffer_size                = 4M
read_buffer_size                = 4M
read_rnd_buffer_size            = 8M
myisam_sort_buffer_size         = 64M
myisam_max_sort_file_size       = 1G
myisam_repair_threads           = 1
myisam_recover                  = DEFAULT
thread_cache_size               = 32
query_cache_size                = 32M
query_cache_min_res_unit        = 2k
bulk_insert_buffer_size         = 64M
tmp_table_size                  = 128M
thread_stack                    = 192K
skip-name-resolve               = 1
max_connections                 = 65500
default-storage-engine          = myisam
federated                       = 0
server-id                       = 1
slave-skip-errors               = all
#log                            = /var/log/sql_query.log
slow-query-log                  = 1
slow-query-log-file             = /mysql/log/sql_query_slow.log
long-query-time                 = 5
log-queries-not-using-indexes   = 1
log-slow-admin-statements       = 1
log-bin                         = /mysql/var/log/binlog/bin-log
log-error                       = /mysql/var/log/mysql.err
master-info-file                = /mysql/var/log/master.info
relay-log                       = /mysql/var/log/relay-bin/relay-bin
relay-log-index                 = /mysql/var/log/relay-bin/relay-bin.index
relay-log-info-file             = /mysql/var/log/relay-bin/relay-bin.info
binlog_cache_size               = 8M
binlog_format                   = MIXED
max_binlog_cache_size           = 20M
max_binlog_size                 = 1G
binlog-ignore-db                = mysql
binlog-ignore-db                = performance_schema
binlog-ignore-db                = information_schema
replicate-ignore-db             = mysql
replicate-ignore-db             = performance_schema
replicate-ignore-db             = information_schema
  
innodb_data_home_dir            = /mysql/ibdata/
innodb_data_file_path           = ibdata:156M:autoextend
innodb_log_group_home_dir       = /mysql/ibdata/
log-slave-updates               = 0
back_log                        = 512
transaction_isolation           = READ-COMMITTED
max_heap_table_size             = 246M
interactive_timeout             = 120
wait_timeout                    = 120
innodb_additional_mem_pool_size = 16M
innodb_buffer_pool_size         = 512M
innodb_file_io_threads          = 4
innodb_thread_concurrency       = 8
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size          = 16M
innodb_log_file_size            = 128M
innodb_log_files_in_group       = 3
innodb_max_dirty_pages_pct      = 90
innodb_lock_wait_timeout        = 120
innodb_file_per_table           = 1
innodb_open_file                = 327500
open_files_limit                = 327500
  
[mysqldump]
quick                           = 1
max_allowed_packet              = 50M
  
[mysql]
auto-rehash                     = 1
socket                          = /mysql/var/db.socket
safe-updates                    = 0
  
[myisamchk]
key_buffer_size                 = 256M
sort_buffer_size                = 256M
read_buffer                     = 2M
write_buffer                    = 2M
  
[mysqlhotcopy]
interactive-timeout             = 100

Die endgültig generierte Backup-Verzeichnisstruktur sieht so aus

[root@zabbix backup]# find ./
./
./Monitor
./Monitor/2013-03-16-bin-log.000008
./Monitor/2013-03-14-bin-log.000006
./Monitor/2013-03-16-Monitor.sql
./Monitor/2013-03-15-Monitor.sql
./Monitor/2013-03-15-bin-log.000007
./Monitor/2013-03-14-Monitor.sql
  
~END~