首页 数据库 mysql教程 将sqlite查询结果导入到文本文件

将sqlite查询结果导入到文本文件

Jun 07, 2016 pm 02:53 PM
sqlite 导入 文件 文本 查询 结果

将sqlite查询结果导入到文本文件 下班前接到一个需求,要将sqlite数据库中的某个字段导出保存到一个文本中,数据大概有1000w左右,于是我就写了一个python脚本,来做这个事情。 www.2cto.com 01 #!/usr/xxx/bin/python 02 03 import os,sys 04 import sqlite


将sqlite查询结果导入到文本文件

 

下班前接到一个需求,要将sqlite数据库中的某个字段导出保存到一个文本中,数据大概有1000w左右,于是我就写了一个python脚本,来做这个事情。

  www.2cto.com  

01

#!/usr/xxx/bin/python

02

 

03

import os,sys

04

import sqlite3

05

import logging

06

 

07

sys.path.append('.')

08

# logger configure

09

logger = logging.getLogger()

10

handler = logging.FileHandler('/home/admin/tmp/xxx.txt')

11

logger.addHandler(handler)

12

logger.setLevel(logging.NOTSET)

13

 

14

sqlfile_path = '/home/admin/tmp/user.sql'

15

 

16

def write_to_file(guid):

17

    total_count = get_total_count(guid)

18

    page_size = 10000

19

    offset_num = 0

20

    op_num = 0

21

    while op_num

22

        array_list = get_data([guid,page_size,op_num])

23

        offset_num = offset_num + 1

24

        op_num = offset_num * page_size

25

    for n in array_list:

26

            logger.info(n)

27

 

28

def get_total_count(guid):

29

    conn = sqlite3.connect(sqlfile_path)

30

    cur = conn.cursor()

31

    cur.execute('select count(*) from table_name where id = \'' + guid + '\'')

32

    try:

33

        count = cur.fetchone()[0]

34

    except:

35

        count = 0

36

    cur.close()

37

    conn.close()

38

    return count

39

 

40

def get_data(item):

41

    conn = sqlite3.connect(sqlfile_path)

42

    cur = conn.cursor()

43

    cur.execute('select name from table_name where id = \'' + item[0] + '\' limit ' + item[1] + ' offset ' + item[2])

44

    array_list = []

45

    for r in cur.fetchall():

46

        array_list.append(r[0])

47

    cur.close()

48

    conn.close()

49

    return array_list

50

     

51

if '__maiin__' == __name__:

52

    for guid in ['123456789','987654321']:

53

        write_to_file(guid)

考虑到数据还是有一点大的,所以就每次查询10000条操作,写完后运行起来,然后我就下班走人了,第二天上班发现这个脚本居然还在跑着,一晚上还没有结束。那叫一个头疼啊。。。 这不是 GC 。

 

既然这么慢,那我就慢慢等吧,然后开始做其他事情去了,GC来了,兄弟我在测试其他程序的时候,一个不小心,在运行脚本的时候,把python脚本跑出来的文本给删了,连python脚本也一起全删了,当我意识过来的时候,泪流满面啊。。。

 

就在我沮丧的时候,旁边一同学问了我情况,然后默默的给了我一行代码:

 

1 sqlite3 user.sql "select name from table_name where id = '123456789'" >> xxx.txt

之后十分钟,数据全导出来了,效率真TM高。

 

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

出现0x80004005错误代码怎么办 小编教你0x80004005错误代码解决方法 出现0x80004005错误代码怎么办 小编教你0x80004005错误代码解决方法 Mar 21, 2024 pm 09:17 PM

在电脑中删除或解压缩文件夹,时有时候会弹出提示对话框“错误0x80004005:未指定错误”,如果遇到这中情况应该怎么解决呢?提示错误代码0x80004005的原因其实有很多,但大部分因为病毒导致,我们可以重新注册dll来解决问题,下面,小编给大伙讲解0x80004005错误代码处理经验。有用户在使用电脑时出现错误代码0X80004005的提示,0x80004005错误主要是由于计算机没有正确注册某些动态链接库文件,或者计算机与Internet之间存在不允许的HTTPS连接防火墙所引起。那么如何

夸克网盘的文件怎么转移到百度网盘? 夸克网盘的文件怎么转移到百度网盘? Mar 14, 2024 pm 02:07 PM

  夸克网盘和百度网盘都是现在最常用的储存文件的网盘软件,如果想要将夸克网盘内的文件保存到百度网盘,要怎么操作呢?本期小编整理了夸克网盘电脑端的文件转移到百度网盘的教程步骤,一起来看看是怎么操作吧。  夸克网盘的文件怎么保存到百度网盘?要将夸克网盘的文件转移到百度网盘,首先需在夸克网盘下载所需文件,然后在百度网盘客户端中选择目标文件夹并打开。接着,将夸克网盘中下载的文件拖放到百度网盘客户端打开的文件夹中,或者使用上传功能将文件添加至百度网盘。确保上传完成后在百度网盘中查看文件是否成功转移。这样就

网易云音乐本地歌曲怎么导入 本地歌曲导入方法 网易云音乐本地歌曲怎么导入 本地歌曲导入方法 Mar 13, 2024 am 11:19 AM

  我们在使用这款平台来听歌的时候,应该大部分都是有着你们所想听的一些歌曲的,当然有些事可能因为没有版权而听不了,当然我们也可以直接的使用导入本地的一些歌曲到上面,这样就可以听了。我们可以下载一些歌曲直接的转化为mp3类型的一些格式,这样在手机上面就可以扫描来进行一些导入等情况了。不过对于大多数的用户们来说,导入本地的一些歌曲内容等方面都是并不怎么了解的,所以为了能够很好的解决这些问题,今日小编也会给大家们来好好的讲解一下其中的内容方法,让大家们可以更好的对其进行一些选择都是没问的,有兴趣的话,

hiberfil.sys是什么文件?hiberfil.sys可以删除吗? hiberfil.sys是什么文件?hiberfil.sys可以删除吗? Mar 15, 2024 am 09:49 AM

  最近有很多网友问小编,hiberfil.sys是什么文件?hiberfil.sys占用了大量的C盘空间可以删除吗?小编可以告诉大家hiberfil.sys文件是可以删除的。下面就来看看详细的内容。hiberfil.sys是Windows系统中的一个隐藏文件,也是系统休眠文件。通常存储在C盘根目录下,其大小与系统安装内存大小相当。这个文件在计算机休眠时被使用,其中包含了当前系统的内存数据,以便在恢复时快速恢复到之前的状态。由于其大小与内存容量相等,因此它可能会占用较大的硬盘空间。  hiber

12306怎么查询历史购票记录 查看历史购票记录的方法 12306怎么查询历史购票记录 查看历史购票记录的方法 Mar 28, 2024 pm 03:11 PM

  12306订票app下载最新版是一款大家非常满意的出行购票软件,想去哪里就去那里非常方便,软件内提供的票源非常多,只需要通过实名认证就能在线购票,所有用户的出行车票机票都可以轻松买到,享受不同的优惠折扣。还能提前开启预约抢票,预约酒店、专车接送都是可以的,有了它想去哪里就去那里一键购票,出行更加简单方便,让大家的出行体验更舒服,现在小编在线详细为12306用户们带来查看历史购票记录的方法。  1.打开铁路12306,点击右下角我的,点击我的订单  2.在订单页面点击已支付。  3.在已支付页

学信网如何查询自己的学历 学信网如何查询自己的学历 Mar 28, 2024 pm 04:31 PM

学信网如何查询自己的学历?在学信网中是可以查询到自己的学历,很多用户都不知道如何在学信网中查询到自己的学历,接下来就是小编为用户带来的学信网查询自己学历方法图文教程,感兴趣的用户快来一起看看吧!学信网使用教程学信网如何查询自己的学历一、学信网入口:https://www.chsi.com.cn/二、网站查询:第一步:点击上方学信网地址,进入首页点击【学历查询】;第二步:在最新的网页中点击如下图箭头所示的【查询】;第三步:之后在新页面点击【的登陆学信档案】;第四步:在登陆页面输入信息点击【登陆】;

MySQL中.ibd文件的作用详解及相关注意事项 MySQL中.ibd文件的作用详解及相关注意事项 Mar 15, 2024 am 08:00 AM

MySQL中.ibd文件的作用详解及相关注意事项MySQL是一种流行的关系型数据库管理系统,数据库中的数据存储在不同的文件中。其中,.ibd文件是InnoDB存储引擎中的数据文件,用于存储表中的数据和索引。本文将对MySQL中.ibd文件的作用进行详细解析,并提供相关代码示例以帮助读者更好地理解。一、.ibd文件的作用:存储数据:.ibd文件是InnoDB存

MySQL与PL/SQL的异同比较 MySQL与PL/SQL的异同比较 Mar 16, 2024 am 11:15 AM

MySQL与PL/SQL是两种不同的数据库管理系统,分别代表了关系型数据库和过程化语言的特点。本文将比较MySQL和PL/SQL的异同点,并附带具体的代码示例进行说明。MySQL是一种流行的关系型数据库管理系统,采用结构化查询语言(SQL)来管理和操作数据库。而PL/SQL是Oracle数据库特有的过程化语言,用于编写存储过程、触发器和函数等数据库对象。相同

See all articles