我有几千只股票的csv数据,需要算所有股票在特定时间段内的收益率。
但是数据里的日期信息并不统一,有的csv到2011年就没有了之后的信息了,有的csv仅有2012年1月后的数据。
所以用pandas读取数据后,希望筛选数据一个特定时间段里的数据(比如2012-07到2012-08两个月的数据)。
但是把时间作为索引后,根本无法将没有该时间段内数据的股票给跳过,总是报错,搜了各种pandas处理时间的方法也没能解决。
以下是csv数据截图/所有csv文件都是这样的形式
import os
import pandas as pd
import numpy as np
stdic=os.listdir(os.listdir(os.getcwd())[1])
del stdic[0]
date=['2012-07','2012-08']
#计算排序期J、持有期K内的对数收益率
def creturn(data,J,K):
r=['','']
r[0] = np.log(data[date[J-1]]['Adj Close'][0]/data[date[0]]['Adj Close'][-1]) #排序期收益率
r[1] = np.log(data[date[J+K-1]]['Adj Close'][0]/data[date[J]]['Adj Close'][-1]) #持有期内收益率
return r
rank=[]
#对每一个股票csv数据进行以上的计算并放入rank列表中
for item in stdic:
fname = 'data/'+item
data=pd.read_csv(fname)
data=data.dropna()
data['Date'] = pd.to_datetime(data['Date'])
data = data[(data['Date'] >='20120701') & (data['Date'] <= '20120831')]
data=data.set_index(['Date'])
rank.append(creturn(data,1,1)[0])
报错的原因发现是,到了第10个csv文件的时候,csv里根本没有2012-07的数据,所以无法进行计算。
但是,就是无法把这种没有特定时段数据的文件跳过,不知道怎么筛选。。
希望各位大神能指点训斥一下。。。!
看样子pd.read_csv(fname) 的data['Date'] 并没有转化为date类型,
所以你这样的比较是字符串比较,因此不对了
提供一个方法:
参考:
http://pandas.pydata.org/pand...
我也遇到过类似情况 查询出的数据库表中行信息的时候 有些行有A字段 有些行没有A字段 没有A字段时去取A字段信息时必定报错 报错就把这个错误捕获了 然后再给存储A字段信息的变量一个默认值就OK 就能达到跳过的需求。 类似思想可试一下