python怎麼讀取csv文件

Python讀寫csv檔案

#前言

逗號分隔值（Comma-Separated Values，CSV，有時也稱為字元分隔值，因為分隔字元也可以不是逗號），其檔案以純文字形式儲存表格資料（數字和文字）。純文字意味著該檔案是一個字元序列，不含必須像二進位數字那樣被解讀的資料。 CSV檔案由任意數目的記錄組成，記錄間以某種換行符分隔；每筆記錄由欄位組成，字段間的分隔符號是其它字元或字串，最常見的是逗號或製表符。通常，所有記錄都有完全相同的欄位序列.

特點

#讀取出的資料一般為字元類型，如果是數字需要人為轉換為數字

以行為單位讀取資料

列之間以半角逗號或製表符為分隔，一般為半角逗號

一般為每行開頭不空格，第一行是屬性列，資料列之間以間隔符號為間隔無空格，行之間無空白行。

行之間無空白行十分重要，如果有空行或資料集中行末有空格，讀取資料時一般會出錯，引發[list index out of range]錯誤。 PS：已經被這個錯誤坑過很多次！

使用python I/O寫入和讀取CSV檔案

#使用PythonI/O寫入csv檔

以下是將"birthweight.dat"低出生體重的dat檔案從作者來源下載下來，並且將其處理後儲存到csv檔案中的程式碼。

import csv
import os
import numpy as np
import random
import requests
# name of data file
# 数据集名称
birth_weight_file = 'birth_weight.csv'
# download data and create data file if file does not exist in current directory
# 如果当前文件夹下没有birth_weight.csv数据集则下载dat文件并生成csv文件
if not os.path.exists(birth_weight_file):
    birthdata_url = 'https://github.com/nfmcclure/tensorflow_cookbook/raw/master/01_Introduction/07_Working_with_Data_Sources/birthweight_data/birthweight.dat'
    birth_file = requests.get(birthdata_url)
    birth_data = birth_file.text.split('\r\n')
    # split分割函数,以一行作为分割函数，windows中换行符号为'\r\n',每一行后面都有一个'\r\n'符号。
    birth_header = birth_data[0].split('\t')
    # 每一列的标题，标在第一行，即是birth_data的第一个数据。并使用制表符作为划分。
    birth_data = [[float(x) for x in y.split('\t') if len(x) >= 1] for y in birth_data[1:] if len(y) >= 1]
    print(np.array(birth_data).shape)
    # (189, 9)
    # 此为list数据形式不是numpy数组不能使用np,shape函数,但是我们可以使用np.array函数将list对象转化为numpy数组后使用shape属性进行查看。
    with open(birth_weight_file, "w", newline='') as f:
    # with open(birth_weight_file, "w") as f:
        writer = csv.writer(f)
        writer.writerows([birth_header])
        writer.writerows(birth_data)
        f.close()

常見錯誤list index out of range

其中我們重點需要講的是with open(birth_weight_file, "w" , newline='') as f: 這個語句。表示寫入csv檔,如果不加上參數 newline='' 表示以空格作為換行符，而是用 with open(birth_weight_file, "w") as f: 語句。則產生的表格中會出現空白行。

不只是用python I/O進行csv數據的讀寫時，利用其餘方法讀寫csv數據，或者從網上下載好csv數據集後都需要查看其每行後有沒有空格，或有沒有多餘的空行。避免不必要的錯誤~影響資料分析時的判斷。

使用PythonI/O讀取csv檔

使用python I/O方法進行讀取時即是新建一個List 列表然後按照先行後列的順序(類似C語言中的二維數組)將資料存到空的List物件中，如果需要將其轉換為numpy 數組也可以使用np.array(List name)進行物件之間的轉換。

birth_data = []
with open(birth_weight_file) as csvfile:
    csv_reader = csv.reader(csvfile)  # 使用csv.reader读取csvfile中的文件
    birth_header = next(csv_reader)  # 读取第一行每一列的标题
    for row in csv_reader:  # 将csv 文件中的数据保存到birth_data中
        birth_data.append(row)
birth_data = [[float(x) for x in row] for row in birth_data]  # 将数据从string形式转换为float形式
birth_data = np.array(birth_data)  # 将list数组转化成array数组便于查看数据结构
birth_header = np.array(birth_header)
print(birth_data.shape)  # 利用.shape查看结构。
print(birth_header.shape)
#
# (189, 9)
# (9,)

使用Pandas讀取CSV檔案

import pandas as pd
csv_data = pd.read_csv('birth_weight.csv')  # 读取训练数据
print(csv_data.shape)  # (189, 9)
N = 5
csv_batch_data = csv_data.tail(N)  # 取后5条数据
print(csv_batch_data.shape)  # (5, 9)
train_batch_data = csv_batch_data[list(range(3, 6))]  # 取这20条数据的3到5列值(索引从0开始)
print(train_batch_data)
#      RACE  SMOKE  PTL
# 184   0.0    0.0  0.0
# 185   0.0    0.0  1.0
# 186   0.0    1.0  0.0
# 187   0.0    0.0  0.0
# 188   0.0    0.0  1.0

使用Tensorflow讀取CSV檔案

本人平時一般都是使用Tensorflow處理各類數據，所以對於使用Tensorflow讀取數據在此不過多的進行解釋，下面貼上一段程式碼。

'''使用Tensorflow读取csv数据'''
filename = 'birth_weight.csv'
file_queue = tf.train.string_input_producer([filename])  # 设置文件名队列，这样做能够批量读取文件夹中的文件
reader = tf.TextLineReader(skip_header_lines=1)  # 使用tensorflow文本行阅读器，并且设置忽略第一行
key, value = reader.read(file_queue)
defaults = [[0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.]]  # 设置列属性的数据格式
LOW, AGE, LWT, RACE, SMOKE, PTL, HT, UI, BWT = tf.decode_csv(value, defaults)
# 将读取的数据编码为我们设置的默认格式
vertor_example = tf.stack([AGE, LWT, RACE, SMOKE, PTL, HT, UI])  # 读取得到的中间7列属性为训练特征
vertor_label = tf.stack([BWT])  # 读取得到的BWT值表示训练标签
# 用于给取出的数据添加上batch_size维度，以批处理的方式读出数据。可以设置批处理数据大小，是否重复读取数据，容量大小，队列末尾大小，读取线程等属性。
example_batch, label_batch = tf.train.shuffle_batch([vertor_example, vertor_label], batch_size=10, capacity=100, min_after_dequeue=10)
# 初始化Session
with tf.Session() as sess:
    coord = tf.train.Coordinator()  # 线程管理器
    threads = tf.train.start_queue_runners(coord=coord)
    print(sess.run(tf.shape(example_batch)))  # [10  7]
    print(sess.run(tf.shape(label_batch)))  # [10  1]
    print(sess.run(example_batch)[3])  # [ 19.  91.   0.   1.   1.   0.   1.]
    coord.request_stop()
    coord.join(threads)
'''
对于使用所有Tensorflow的I/O操作来说开启和关闭线程管理器都是必要的操作
with tf.Session() as sess:
    coord = tf.train.Coordinator()  # 线程管理器
    threads = tf.train.start_queue_runners(coord=coord)
    #  Your code here~
    coord.request_stop()
    coord.join(threads)
'''

還有其他使用python讀取檔案的各種方法，這裡介紹三種，不定期進行補充。

以上是python怎麼讀取csv文件的詳細內容。更多資訊請關注PHP中文網其他相關文章！