PyCharm等IDE開發(fā)工具指定的項(xiàng)目工程和文件的字符編碼:它的主要作用是告訴Pycharm等IDE開發(fā)工具保存文件時應(yīng)該將字符轉(zhuǎn)換為怎樣的字節(jié)表示形式,以及打開并展示文件內(nèi)容時應(yīng)該以什么字符編碼將字節(jié)碼轉(zhuǎn)換為人類可識別的字符。
Python源代碼文件頭部指定的字符編碼,如*-*coding:utf-8-*-:它的主要作用是告訴Python解釋器當(dāng)前python代碼文件保存時所使用的字符編碼,Python解釋器在執(zhí)行代碼之前,需要先從磁盤讀取該代碼文件中的字節(jié)然后通過這里指定的字符編碼將其解碼為unicode字符。Python解釋器執(zhí)行Python代碼的過程與IDE開發(fā)工具是沒有什么關(guān)聯(lián)性的。
那么這里為什么又要談起字符編碼的問題呢?
或者換個問法,既然從上面已經(jīng)指定了字符編碼,為什么對文件進(jìn)行讀寫時還要指定字符編碼呢?從前面的描述可以看出:上面兩個地方指定的是Python代碼文件的字符編碼,是給Python解釋器和Pycharm等程序軟件用的;而被讀寫文件的字符編碼與Python代碼文件的字符編碼沒有必然聯(lián)系,讀寫文件時指定的字符編碼是給我們寫的程序軟件用的。這是不同的主體和過程,希望我說明白了。
讀寫文件時怎樣指定字符編碼呢?
上面解釋了讀寫文件為什么要指定字符編碼,這里要說下怎樣指定字符編碼(其實(shí)這里主要討論是讀取外部數(shù)據(jù)時的情形)。這個問題其實(shí)在上面的文件讀取示例中已經(jīng)使用過了,這里我們再詳細(xì)的說一下。
首先,再次看一下Python2和Python3中open函數(shù)的定義:
#Python2
open(name[,mode[,buffering]])
#Python3
open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)
可以看到,Python3的open函數(shù)中多了幾個參數(shù),其中包括一個encoding參數(shù)。是的,這個encoding就是用來指定被操作文件的字符編碼的。
#讀操作
withopen('song.txt','r',encoding='utf-8')asf:
print(f.read())
#寫操作
withopen('song.txt','w',encoding='utf-8')asf:
print(f.write('你好'))
那么Python2中怎樣指定呢?Python2中的對文件的read和write操作都是字節(jié),也就說Python2中文件的read相關(guān)方法讀取的是字節(jié)串(如果包含中文字符,會發(fā)現(xiàn)len()方法的結(jié)果不等于讀取到的字符個數(shù),而是字節(jié)數(shù))。如果我們要得到正確的字符串,需要手動將讀取到的結(jié)果decode(解碼)為字符串;相反,要以特定的字符編碼保存要寫入的數(shù)據(jù)時,需要手動encode(編碼)為字節(jié)串。這個encode()和decode()函數(shù)可以接收一個字符編碼參數(shù)。Python3中read和write操作的都是字符串,實(shí)際上是Python解釋器幫我們自動完成了寫入時的encode(編碼)和讀取時的decode(解碼)操作,因此我們只需要在打開文件(open函數(shù))時指定字符編碼就可以了。
#讀操作
withopen('song.txt','r')asf:
print(f.read().decode('utf-8'))
#寫操作
withopen('song2.txt','w')asf:
#f.write(u'你好'.encode('utf-8'))
#f.write('你好'.decode('utf-8').encode('utf-8'))
f.write('你好')
文件讀寫時有沒有默認(rèn)編碼呢?
Python3中open函數(shù)的encoding參數(shù)顯然是可以不指定的,這時候就會用一個“默認(rèn)字符編碼”。
看下Python3中open函數(shù)文檔對encoding參數(shù)的說明:
encodingisthenameoftheencodingusedtodecodeorencodethe
file.Thisshouldonlybeusedintextmode.Thedefaultencodingis
platformdependent,butanyencodingsupportedbyPythoncanbe
passed.Seethecodecsmoduleforthelistofsupportedencodings.
也就是說,encoding參數(shù)的默認(rèn)值是與平臺有關(guān)的,比如Window上默認(rèn)字符編碼為GBK,Linux上默認(rèn)字符編碼為UTF-8。
而對于Python2來說,在進(jìn)行文件寫操作時,字節(jié)會被直接保存;在進(jìn)行文件讀操作時,如果不手動進(jìn)行來decode操作自然也就用不著默認(rèn)字符編碼了。但是這時候在不同的字符終端打印的時候,會用當(dāng)前平臺的字符編碼自動將字節(jié)解碼為字符,此時可能會出現(xiàn)亂碼。如song.txt文件時UTF-8編碼的,在windows(字符編碼為GBK)的命令行終端進(jìn)行如下操作就會出現(xiàn)亂碼:
>>>withopen('song.txt','r')asf:
...print(f.read())
...
我們應(yīng)該盡可能的獲取被操作文件的字符編碼,并明確指定encoding參數(shù)的值。
以上內(nèi)容為大家介紹了python文件讀寫與字符編碼,希望對大家有所幫助,如果想要了解更多Python相關(guān)知識,請關(guān)注IT培訓(xùn)機(jī)構(gòu):千鋒教育。