05.03 CSV 文件和 csv 模块

CSV 文件和 csv 模块

标准库中有自带的 csv (逗号分隔值) 模块处理 csv 格式的文件:

1import csv

读 csv 文件

假设我们有这样的一个文件:

1%%file data.csv
2"alpha 1",  100, -1.443
3"beat  3",   12, -0.0934
4"gamma 3a", 192, -0.6621
5"delta 2a",  15, -4.515
Writing data.csv

打开这个文件,并产生一个文件 reader:

1fp = open("data.csv")
2r = csv.reader(fp)

可以按行迭代数据:

1for row in r:
2    print row
3    
4fp.close()
['alpha 1', '  100', ' -1.443']
['beat  3', '   12', ' -0.0934']
['gamma 3a', ' 192', ' -0.6621']
['delta 2a', '  15', ' -4.515']

默认数据内容都被当作字符串处理,不过可以自己进行处理:

1data = []
2
3with open('data.csv') as fp:
4    r = csv.reader(fp)
5    for row in r:
6        data.append([row[0], int(row[1]), float(row[2])])
7    
8data
[['alpha 1', 100, -1.443],
 ['beat  3', 12, -0.0934],
 ['gamma 3a', 192, -0.6621],
 ['delta 2a', 15, -4.515]]
1import os
2os.remove('data.csv')

写 csv 文件

可以使用 csv.writer 写入文件,不过相应地,传入的应该是以写方式打开的文件,不过一般要用 'wb' 即二进制写入方式,防止出现换行不正确的问题:

1data = [('one', 1, 1.5), ('two', 2, 8.0)]
2with open('out.csv', 'wb') as fp:
3    w = csv.writer(fp)
4    w.writerows(data)

显示结果:

1!cat 'out.csv'
one,1,1.5
two,2,8.0

更换分隔符

默认情况下,csv 模块默认 csv 文件都是由 excel 产生的,实际中可能会遇到这样的问题:

1data = [('one, \"real\" string', 1, 1.5), ('two', 2, 8.0)]
2with open('out.csv', 'wb') as fp:
3    w = csv.writer(fp)
4    w.writerows(data)
1!cat 'out.csv'
"one, ""real"" string",1,1.5
two,2,8.0

可以修改分隔符来处理这组数据:

1data = [('one, \"real\" string', 1, 1.5), ('two', 2, 8.0)]
2with open('out.psv', 'wb') as fp:
3    w = csv.writer(fp, delimiter="|")
4    w.writerows(data)
1!cat 'out.psv'
"one, ""real"" string"|1|1.5
two|2|8.0
1import os
2os.remove('out.psv')
3os.remove('out.csv')

其他选项

numpy.loadtxt()pandas.read_csv() 可以用来读写包含很多数值数据的 csv 文件:

1%%file trades.csv
2Order,Date,Stock,Quantity,Price
3A0001,2013-12-01,AAPL,1000,203.4
4A0002,2013-12-01,MSFT,1500,167.5
5A0003,2013-12-02,GOOG,1500,167.5
Writing trades.csv

使用 pandas 进行处理,生成一个 DataFrame 对象:

1import pandas
2df = pandas.read_csv('trades.csv', index_col=0)
3print df
             Date Stock  Quantity  Price
Order                                   
A0001  2013-12-01  AAPL      1000  203.4
A0002  2013-12-01  MSFT      1500  167.5
A0003  2013-12-02  GOOG      1500  167.5

通过名字进行索引:

1df['Quantity'] * df['Price']
Order
A0001    203400
A0002    251250
A0003    251250
dtype: float64
1import os
2os.remove('trades.csv')