将sqlite查询结果导入到文本文件
将sqlite查询结果导入到文本文件 下班前接到一个需求,要将sqlite数据库中的某个字段导出保存到一个文本中,数据大概有1000w左右,于是我就写了一个python脚本,来做这个事情。 www.2cto.com 01 #!/usr/xxx/bin/python 02 03 import os,sys 04 import sqlite
将sqlite查询结果导入到文本文件
下班前接到一个需求,要将sqlite数据库中的某个字段导出保存到一个文本中,数据大概有1000w左右,于是我就写了一个python脚本,来做这个事情。
www.2cto.com
01
#!/usr/xxx/bin/python
02
03
import os,sys
04
import sqlite3
05
import logging
06
07
sys.path.append('.')
08
# logger configure
09
logger = logging.getLogger()
10
handler = logging.FileHandler('/home/admin/tmp/xxx.txt')
11
logger.addHandler(handler)
12
logger.setLevel(logging.NOTSET)
13
14
sqlfile_path = '/home/admin/tmp/user.sql'
15
16
def write_to_file(guid):
17
total_count = get_total_count(guid)
18
page_size = 10000
19
offset_num = 0
20
op_num = 0
21
while op_num
22
array_list = get_data([guid,page_size,op_num])
23
offset_num = offset_num + 1
24
op_num = offset_num * page_size
25
for n in array_list:
26
logger.info(n)
27
28
def get_total_count(guid):
29
conn = sqlite3.connect(sqlfile_path)
30
cur = conn.cursor()
31
cur.execute('select count(*) from table_name where id = \'' + guid + '\'')
32
try:
33
count = cur.fetchone()[0]
34
except:
35
count = 0
36
cur.close()
37
conn.close()
38
return count
39
40
def get_data(item):
41
conn = sqlite3.connect(sqlfile_path)
42
cur = conn.cursor()
43
cur.execute('select name from table_name where id = \'' + item[0] + '\' limit ' + item[1] + ' offset ' + item[2])
44
array_list = []
45
for r in cur.fetchall():
46
array_list.append(r[0])
47
cur.close()
48
conn.close()
49
return array_list
50
51
if '__maiin__' == __name__:
52
for guid in ['123456789','987654321']:
53
write_to_file(guid)
考虑到数据还是有一点大的,所以就每次查询10000条操作,写完后运行起来,然后我就下班走人了,第二天上班发现这个脚本居然还在跑着,一晚上还没有结束。那叫一个头疼啊。。。 这不是 GC 。
既然这么慢,那我就慢慢等吧,然后开始做其他事情去了,GC来了,兄弟我在测试其他程序的时候,一个不小心,在运行脚本的时候,把python脚本跑出来的文本给删了,连python脚本也一起全删了,当我意识过来的时候,泪流满面啊。。。
就在我沮丧的时候,旁边一同学问了我情况,然后默默的给了我一行代码:
1 sqlite3 user.sql "select name from table_name where id = '123456789'" >> xxx.txt
之后十分钟,数据全导出来了,效率真TM高。

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

夸克网盘和百度网盘都是现在最常用的储存文件的网盘软件,如果想要将夸克网盘内的文件保存到百度网盘,要怎么操作呢?本期小编整理了夸克网盘电脑端的文件转移到百度网盘的教程步骤,一起来看看是怎么操作吧。 夸克网盘的文件怎么保存到百度网盘?要将夸克网盘的文件转移到百度网盘,首先需在夸克网盘下载所需文件,然后在百度网盘客户端中选择目标文件夹并打开。接着,将夸克网盘中下载的文件拖放到百度网盘客户端打开的文件夹中,或者使用上传功能将文件添加至百度网盘。确保上传完成后在百度网盘中查看文件是否成功转移。这样就

在电脑中删除或解压缩文件夹,时有时候会弹出提示对话框“错误0x80004005:未指定错误”,如果遇到这中情况应该怎么解决呢?提示错误代码0x80004005的原因其实有很多,但大部分因为病毒导致,我们可以重新注册dll来解决问题,下面,小编给大伙讲解0x80004005错误代码处理经验。有用户在使用电脑时出现错误代码0X80004005的提示,0x80004005错误主要是由于计算机没有正确注册某些动态链接库文件,或者计算机与Internet之间存在不允许的HTTPS连接防火墙所引起。那么如何

我们在使用这款平台来听歌的时候,应该大部分都是有着你们所想听的一些歌曲的,当然有些事可能因为没有版权而听不了,当然我们也可以直接的使用导入本地的一些歌曲到上面,这样就可以听了。我们可以下载一些歌曲直接的转化为mp3类型的一些格式,这样在手机上面就可以扫描来进行一些导入等情况了。不过对于大多数的用户们来说,导入本地的一些歌曲内容等方面都是并不怎么了解的,所以为了能够很好的解决这些问题,今日小编也会给大家们来好好的讲解一下其中的内容方法,让大家们可以更好的对其进行一些选择都是没问的,有兴趣的话,

最近有很多网友问小编,hiberfil.sys是什么文件?hiberfil.sys占用了大量的C盘空间可以删除吗?小编可以告诉大家hiberfil.sys文件是可以删除的。下面就来看看详细的内容。hiberfil.sys是Windows系统中的一个隐藏文件,也是系统休眠文件。通常存储在C盘根目录下,其大小与系统安装内存大小相当。这个文件在计算机休眠时被使用,其中包含了当前系统的内存数据,以便在恢复时快速恢复到之前的状态。由于其大小与内存容量相等,因此它可能会占用较大的硬盘空间。 hiber

学信网如何查询自己的学历?在学信网中是可以查询到自己的学历,很多用户都不知道如何在学信网中查询到自己的学历,接下来就是小编为用户带来的学信网查询自己学历方法图文教程,感兴趣的用户快来一起看看吧!学信网使用教程学信网如何查询自己的学历一、学信网入口:https://www.chsi.com.cn/二、网站查询:第一步:点击上方学信网地址,进入首页点击【学历查询】;第二步:在最新的网页中点击如下图箭头所示的【查询】;第三步:之后在新页面点击【的登陆学信档案】;第四步:在登陆页面输入信息点击【登陆】;

12306订票app下载最新版是一款大家非常满意的出行购票软件,想去哪里就去那里非常方便,软件内提供的票源非常多,只需要通过实名认证就能在线购票,所有用户的出行车票机票都可以轻松买到,享受不同的优惠折扣。还能提前开启预约抢票,预约酒店、专车接送都是可以的,有了它想去哪里就去那里一键购票,出行更加简单方便,让大家的出行体验更舒服,现在小编在线详细为12306用户们带来查看历史购票记录的方法。 1.打开铁路12306,点击右下角我的,点击我的订单 2.在订单页面点击已支付。 3.在已支付页

标题:解决Oracle导入中文数据乱码问题的方法及代码示例在Oracle数据库中导入中文数据时,经常会出现乱码的情况,这可能是由于数据库字符集设置不正确或者导入过程中出现编码转换问题所致。为了解决这个问题,我们可以采取一些方法来保证导入的中文数据能够正确显示。下面是一些解决方案及具体的代码示例:一、检查数据库字符集设置在Oracle数据库中,字符集的设置对于

你们知道在汽水音乐上面是怎么来导入外部歌单的吗?汽水音乐App最新版很多用户们在进行一些歌单导入的时候,是不是都喜欢自己的歌曲导入到歌单里面对不对,这样有限耳时候就能够很好的管理到自己的一些歌曲的分类什么的都可以,所以有想法的朋友们一定要错过了解一番,我相信你们一定会喜欢的,有什么想法都可以。 汽水音乐导入外部歌单步骤教程: 1、汽水音乐app页面,点击选择右下角创建歌单。 2、创建页面,输入歌单名称,点击保存。 3、我的歌单页面,选择添加歌曲。 4、搜索选择喜欢的歌曲,加入播放歌
