Django バックグラウンド バッチ インポート データ
実稼働環境では、多くの場合、数個または数百個のデータが存在します。たとえば、会社の全従業員の従業員番号またはアカウント パスワードをバックグラウンドにインポートするとします。レコードはバックグラウンドで 1 つずつ追加されます
xml から svn レコードをバッチインポートする方法
ステップ 1:
データのモデルを構築します
@python_2_unicode_compatible class SVNLog(models.Model): vision = models.IntegerField(verbose_name=u"修订版本", blank=False, null=False,) author = models.CharField(verbose_name=u"作者", max_length=60, blank=True, null=True) date = models.DateTimeField(verbose_name=u"修订时间",null=True ) msg = models.TextField(verbose_name=u"注释消息", blank=False, null=False, default=u"") paths = models.TextField(verbose_name=u"影响的文件", blank=False, null=False, default=u"") created_time = models.DateTimeField(verbose_name=u"创建时间", auto_now_add=True, ) update_time = models.DateTimeField(verbose_name=u"修改时间", auto_now=True, ) class Meta: ordering = ['revision'] def __str__(self): return u'r%s' % (self.revision or u"", )
モデルが確立されたので、始めましょう。XML ファイルを受け入れるモデルを作成します
。上記のコードでは、データのモデルを定義し、ファイルをアップロードしましたデータベースを同期します
@python_2_unicode_compatible class ImportLogFile(models.Model): LogFile = models.FileField(upload_to='LogFile') FileName = models.CharField(max_length=50, verbose_name=u'文件名') class Meta: ordering = ['FileName'] def __str__(self): return self.FileName
python manage.py makemigrations python manage.py migrate
理由ファイルをアップロードしてファイルを読み取り、ファイルを解析してデータベースを操作する必要があります。ファイルをアップロードするときに、戻りパラメータ obj にファイルをアップロードするためのパスが含まれます。ファイルを解析する次のステップです。ファイルとデータベースの操作に使用するツール クラスを操作するために、このアプリ フォルダーに新しい utils.py を作成します。簡単にするために、次のように関数を作成しました。テストする XML ファイル
class ImportLogAdmin(admin.ModelAdmin): list_display = ('LogFile','FileName',) list_filter = ['FileName',] def save_model(self, request, obj, form, change): re = super(YDImportLogAdmin,self).save_model(request, obj, form, change) update_svn_log(self, request, obj, change) return re
出力結果の形式
qwert2016-09-27T07:16:37.396449Z/aaa/README20160927 151630VisualSVN Server2016-09-20T05:03:12.861315Z/branches/tags/trunkhello word
XML を解析するために、コンテンツを効率的な orderdict 型に解析します。 Dictionary
この XML でさらに複雑なのは、パス内のパスです。この XML には 2 つの要素が含まれており、最初の要素のパスには 1 つのパスしか含まれておらず、2 番目の要素のパスには 3 つのパスが含まれている必要があります。r2 | qwer | 2016-09-27 15:16:37 +0800 (二, 27 9 2016) | 1 line Changed paths: A /xxx/README 20160927 151630 ------------------------------------------------------------------------ r1 | VisualSVN Server | 2016-09-20 13:03:12 +0800 (二, 20 9 2016) | 1 line Changed paths: A /branches A /tags A /trunk Initial structure. from .models import SVNLog import xmltodict def update_svn_log(self, request, obj, change): headers = ['r','a','d','m','p'] filepath = obj.LogFile.path xmlfile = xmltodict.parse(open(filepath, 'r')) xml_logentry = xml.get('log').get('logentry') info_list = [] pathlist = [] sql_insert_list = [] sql_update_list = [] for j in xml: data_dict = {} # get path paths = j.get('paths').get('path') if isinstance(paths,list): for path in paths: action = path.get('@action') pathtext = path.get('#text') pathtext = action + ' ' + pathtext pathlist.append(pathtext) _filelist = u'\n'.join(pathlist) _paths = u"Changed paths:\n {}".format(_filelist) print _paths else: _filelist = paths.get('@action') + ' ' + paths.get('#text') _paths = u"Changed paths:\n {}".format(_filelist) print _paths # get revision vision = j.get('@vision') # get auth author = j.get('author') #get date date = j.get('date') #get msg msg = j.get('msg') data_dict[headers[0]] = int(vision) data_dict[headers[1]] = author data_dict[headers[2]] = date data_dict[headers[3]] = msg data_dict[headers[4]] = _paths info_list.append(data_dict) _svnlog = SVNLog.objects.filter().order_by('-vision').first() _last_version = _svnlog.vision if _svnlog else 0 for value in info_list: vision = value['r'] author = value['a'] date = value['d'] msg = value['m'] paths = value['p'] print vision,author _svnlog = YDSVNLog.objects.filter().order_by('-revision').first() _last_version = _svnlog.revision if _svnlog else 0 if vision > _last_version: sql_insert_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths)) else: sql_update_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths)) SVNLog.objects.bulk_create(sql_insert_list) SVNLog.objects.bulk_create(sql_update_list)
このパスがリスト型であるかどうかを判断します。そうでない場合は、単一の方法で処理します。それを出力結果形式に従って処理し、他のコンテンツを取得します
paths = j.get('paths').get('path') if isinstance(paths,list): pass
最後に、取得した要素を辞書に格納します
現在のバージョン番号とデータベース内のバージョン番号を判断しますループ、元のループより小さい場合は更新操作を実行し、それ以外の場合は挿入操作を実行します
最後に、Bulk_create を使用してデータベースを操作します。これにより、データベース操作によるリソースの無駄が回避されますループのたびに