首頁 資料庫 mysql教程 将sqlite查询结果导入到文本文件

将sqlite查询结果导入到文本文件

Jun 07, 2016 pm 02:53 PM
sqlite 導入 文件 文字 查詢 結果

将sqlite查询结果导入到文本文件 下班前接到一个需求,要将sqlite数据库中的某个字段导出保存到一个文本中,数据大概有1000w左右,于是我就写了一个python脚本,来做这个事情。 www.2cto.com 01 #!/usr/xxx/bin/python 02 03 import os,sys 04 import sqlite


将sqlite查询结果导入到文本文件

 

下班前接到一个需求,要将sqlite数据库中的某个字段导出保存到一个文本中,数据大概有1000w左右,于是我就写了一个python脚本,来做这个事情。

  www.2cto.com  

01

#!/usr/xxx/bin/python

02

 

03

import os,sys

04

import sqlite3

05

import logging

06

 

07

sys.path.append('.')

08

# logger configure

09

logger = logging.getLogger()

10

handler = logging.FileHandler('/home/admin/tmp/xxx.txt')

11

logger.addHandler(handler)

12

logger.setLevel(logging.NOTSET)

13

 

14

sqlfile_path = '/home/admin/tmp/user.sql'

15

 

16

def write_to_file(guid):

17

    total_count = get_total_count(guid)

18

    page_size = 10000

19

    offset_num = 0

20

    op_num = 0

21

    while op_num

22

        array_list = get_data([guid,page_size,op_num])

23

        offset_num = offset_num + 1

24

        op_num = offset_num * page_size

25

    for n in array_list:

26

            logger.info(n)

27

 

28

def get_total_count(guid):

29

    conn = sqlite3.connect(sqlfile_path)

30

    cur = conn.cursor()

31

    cur.execute('select count(*) from table_name where id = \'' + guid + '\'')

32

    try:

33

        count = cur.fetchone()[0]

34

    except:

35

        count = 0

36

    cur.close()

37

    conn.close()

38

    return count

39

 

40

def get_data(item):

41

    conn = sqlite3.connect(sqlfile_path)

42

    cur = conn.cursor()

43

    cur.execute('select name from table_name where id = \'' + item[0] + '\' limit ' + item[1] + ' offset ' + item[2])

44

    array_list = []

45

    for r in cur.fetchall():

46

        array_list.append(r[0])

47

    cur.close()

48

    conn.close()

49

    return array_list

50

     

51

if '__maiin__' == __name__:

52

    for guid in ['123456789','987654321']:

53

        write_to_file(guid)

考虑到数据还是有一点大的,所以就每次查询10000条操作,写完后运行起来,然后我就下班走人了,第二天上班发现这个脚本居然还在跑着,一晚上还没有结束。那叫一个头疼啊。。。 这不是 GC 。

 

既然这么慢,那我就慢慢等吧,然后开始做其他事情去了,GC来了,兄弟我在测试其他程序的时候,一个不小心,在运行脚本的时候,把python脚本跑出来的文本给删了,连python脚本也一起全删了,当我意识过来的时候,泪流满面啊。。。

 

就在我沮丧的时候,旁边一同学问了我情况,然后默默的给了我一行代码:

 

1 sqlite3 user.sql "select name from table_name where id = '123456789'" >> xxx.txt

之后十分钟,数据全导出来了,效率真TM高。

 

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱門文章

倉庫:如何復興隊友
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱門文章

倉庫:如何復興隊友
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱門文章標籤

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

夸克網盤的檔案怎麼轉移到百度網盤? 夸克網盤的檔案怎麼轉移到百度網盤? Mar 14, 2024 pm 02:07 PM

夸克網盤的檔案怎麼轉移到百度網盤?

出現0x80004005錯誤代碼怎麼辦 小編教你0x80004005錯誤代碼解決方法 出現0x80004005錯誤代碼怎麼辦 小編教你0x80004005錯誤代碼解決方法 Mar 21, 2024 pm 09:17 PM

出現0x80004005錯誤代碼怎麼辦 小編教你0x80004005錯誤代碼解決方法

網易雲音樂本地歌曲怎麼導入 本地歌曲導入方法 網易雲音樂本地歌曲怎麼導入 本地歌曲導入方法 Mar 13, 2024 am 11:19 AM

網易雲音樂本地歌曲怎麼導入 本地歌曲導入方法

hiberfil.sys是什麼檔案? hiberfil.sys可以刪除嗎? hiberfil.sys是什麼檔案? hiberfil.sys可以刪除嗎? Mar 15, 2024 am 09:49 AM

hiberfil.sys是什麼檔案? hiberfil.sys可以刪除嗎?

學信網如何查詢自己的學歷 學信網如何查詢自己的學歷 Mar 28, 2024 pm 04:31 PM

學信網如何查詢自己的學歷

12306怎麼查詢歷史購票紀錄 查看歷史購票紀錄的方法 12306怎麼查詢歷史購票紀錄 查看歷史購票紀錄的方法 Mar 28, 2024 pm 03:11 PM

12306怎麼查詢歷史購票紀錄 查看歷史購票紀錄的方法

Oracle導入中文資料時出現亂碼怎麼解決? Oracle導入中文資料時出現亂碼怎麼解決? Mar 10, 2024 am 09:54 AM

Oracle導入中文資料時出現亂碼怎麼解決?

汽水音樂怎麼導入外部歌單 汽水音樂導入外部歌單方法 汽水音樂怎麼導入外部歌單 汽水音樂導入外部歌單方法 Mar 22, 2024 pm 03:51 PM

汽水音樂怎麼導入外部歌單 汽水音樂導入外部歌單方法

See all articles