IO编程
IO在计算机中指的是Input/Output,也就是输入和输出。在这一节我们首先需要了解一个概念,同步IO和异步IO。由于CPU和内存的速度远远高于外设的速度,所以在IO编程中存在速度严重不匹配的问题。举个例子来说,比如要把100M的数据写入磁盘,CPU输出100M的数据只需要0.01秒,可是磁盘要接收这100M数据可能需要10秒,怎么办呢?有两种办法:
第一种是CPU等着,也就是程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再接着往下执行,这种模式称为同步IO;
另一种是CPU不等待,后续代码可以继续接着执行,而磁盘呢,照着正常速度写入磁盘,写完了就通知CPU说“我写完了”,这种模式称为异步IO。
同步和异步的区别就在于是否等待IO执行的结果。
文件读写
读写文件是最常见的IO操作。python内置了读写文件的函数。读写文件前,我们先必须了解一下,在磁盘上读写文件的功能都是由操作系统提供的,现代操作系统不允许普通的程序直接操作磁盘,所以,读写文件就是请求操作系统打开一个文件对象(通常称为文件描述符),然后,通过操作系统提供的接口从这个文件对象中读取数据(读文件),或者把数据写入这个文件对象(写文件)。
python内置了函数open(),它返回文件对象,通常的用法需要两个参数:open(filename, mode)
f = open('day10.py', 'r')
第一个参数是一个含有文件名的字符串。第二个参数也是一个字符串,含有描述如何使用该文件的几个字符。mode 为 ‘r’ 时表示只是读取文件;’w’ 表示只是写入文件(已经存在的同名文件将被删掉);’a’ 表示打开文件进行追加,写入到文件中的任何数据将自动添加到末尾。 ‘r+’ 表示打开文件进行读取和写入。mode 参数是可选的,默认为 ‘r’。
如果文件不存在,open()函数就会抛出IOError的错误。
>>> f = open('day10.py', 'r')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
FileNotFoundError: [Errno 2] No such file or directory: 'day10'
要读取非UTF-8编码的文本文件,需要给open()函数传入encoding参数,例如,读取GBK编码的文件:
f = open('day10.py', 'r', encoding='gbk')
f.read()
遇到有些编码不规范的文件,我们可能会遇到UnicodeDecodeError,因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况,open()函数还接收一个errors参数,表示如果遇到编码错误后如何处理。最简单的方式是直接忽略:
f = open('day10.py', 'r', encoding='gbk', errors='ignore')
文件对象方法
如果文件打开成功,我们可以使用f.read(size)要读取文件内容,该方法读取若干数量的数据并以字符串形式返回其内容,size是可选的数值,指定字符串长度。如果没有指定size或者指定为负数,就会读取并返回整个文件。如果到了文件末尾,f.read()会返回一个空字符串’’:
f = open('day10.py', 'r')
f.read()
f.read()
f.close()
调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回list。因此要根据需要决定怎么调用。如果文件很小,read()一次性读取最方便;如果不能确定文件大小,反复调用read(size)比较保险;如果是配置文件,调用readlines()最方便:
for line in f.readlines():
print(line.strip()) # 把末尾的'\n'删掉
你可以循环遍历文件对象来读取文件中的每一行。这是一种内存高效、快速,并且代码简介的方式:
for line in f:
print(line, end='')
f.write(string) 方法将 string 的内容写入文件,并返回写入字符的长度:
f.write('This is a test\n')
想要写入其他非字符串内容,首先要将它转换为字符串:
value = ('the answer', 42)
s = str(value)
f.write(s)
最后一步是调用close()方法关闭文件。文件使用完毕后必须关闭,因为文件对象会占用操作系统的资源,并且操作系统同一时间能打开的文件数量也是有限的。在调用 f.close() 方法后,试图再次使用该文件对象将会自动失败。
>>> f.close()
>>> f.read()
Traceback (most recent call last):
File "<stdin>", line 1, in ?
ValueError: I/O operation on closed file
由于文件读写时都有可能产生IOError,一旦出错,就停止运行,那么后面的f.close()就不会调用。所以为了保证无论是否出错都能正确地关闭文件,我们可以使用try … finally来实现:
try:
f = open('day10.py', 'r')
print(f.read())
finally:
if f:
f.close()
python提供了关键字with处理文件对象,它的先进之处在于文件用完后会自动关闭,就算发生异常也没关系。它是 try-finally 块的简写:
with open('workfile', 'r') as f:
read_data = f.read()
使用json存储结构化数据
从文件中读写字符串很容易。数值就要多费点儿周折,因为 read() 方法只会返回字符串,应将其传入 int() 这样的函数,就可以将 ‘123’ 这样的字符串转换为对应的数值 123。当你想要保存更为复杂的数据类型,例如嵌套的列表和字典,手工解析和序列化它们将变得更复杂。
Python 允许你使用常用的数据交换格式JSON(JavaScript Object Notation)。标准模块json可以接受Python数据结构,并将它们转换为字符串表示形式;此过程称为 序列化。从字符串表示形式重新构建数据结构称为 反序列化。序列化和反序列化的过程中,表示该对象的字符串可以存储在文件或数据中,也可以通过网络连接传送给远程的机器。
JSON表示的对象就是标准的JavaScript语言的对象,JSON和Python内置的数据类型对应如下:
| JSON类型 | Python类型 |
|---|---|
| {} | dict |
| [] | list |
| “string” | str |
| 1234.56 | int或者float |
| true/false | True/False |
| null | None |
如果你有一个对象 x,你可以用简单的一行代码查看其 JSON 字符串表示形式:
import json
x = [1, 'simple', 'list']
json.dumps(x)
dumps() 函数的另外一个变体 dump(),直接将对象序列化到一个file-like Object。所以如果 f 是为写入而打开的一个file-like Object,我们可以这样做:
json.dump(x, f)
要把JSON反序列化为Python对象,用loads()或者对应的load()方法,前者把JSON的字符串反序列化,后者从file-like Object中读取字符串并反序列化:
json_str = '{"age": 20, "score": 88, "name": "Bob"}'
json.loads(json_str)
为了重新解码对象,如果 f 是为读取而打开的file-like Object:
x = json.load(f)
操作文件和目录
读取csv文件
Python 中还有一个 csv 的标准库,可以方便我们使用csv文件。
import csv
csv_reader = csv.reader(open("day10.csv"))
for row in csv_reader:
print row