[Python/CSVファイルの読み込みと書き込みの編集]

ページへ戻る

− Links

印刷

Python/CSVファイルの読み込みと書き込みの編集

詳細な入力項目を表示

ページタイトル( 空白で自動設定 ):
ページ並び順( 0-9 小数可標準:1 ):
ページ別名(複数は[改行]で区切る):

ページ内容:

*始めに [#xbdfb8a8]

仕事などのデータをExcelやGoogleスプレッドシートなどでいただくことが多くあります。数百行ぐらいならそのまま使えますが、数千行とかになるとなかなか管理が難しくなってきます。

毎回マクロなどで対応するのも大変なので、CSVに書き出ししてPythonでsqliteなどのデータベースに入れて管理したりしています。するとSQLが使えるので、集計などが自動化でき、かつ高速です。

特にGoogleスプレッドシートの場合は、権限によってはCSVでダウンロードするところからPythonで処理することも可能なので、表示の重い画面を開かずに更新の有無などをチェックできて、管理するのがとても楽になります。

以下でそんな時に必要となるPython2.7でのCSV処理について簡単にまとめます。

*CSVファイルの読み込み [#rf8c79ef]

まず以下のテストファイルを「test.csv」という名前で用意したとします。

ID,name,comment
 1,山本,こんにちは
 2,松本,こんばんは
 3,中本,さようなら

文字コードはUTF-8を使って下さい。ファイル形式がそれ以外の場合はUTF-8に変換してから処理するのが無難です。

csvファイルの読み込みは以下のようにできます。

import csv
 
 f = open("test.csv")
 
 csvData = csv.reader(f)
 
 for row in csvData:
     print row[0],row[1],row[2]
 
 f.close()

結果

ID name comment
 1 山本 こんにちは
 2 松本 こんばんは
 3 中本 さようなら

次の記法でも全く同じことができます。

import csv
 
 with open('test.csv', 'rb') as f:
     reader = csv.reader(f)
     for row in reader:
         print row[0],row[1],row[2]

読み出しの型はstrになっています。

with open('test.csv', 'rb') as f:
     reader = csv.reader(f)
     for row in reader:
         print type(row[1])
結果
 <type 'str'>
 <type 'str'>
 <type 'str'>
 <type 'str'>

最初からUTF-8として読み込めないかとやってみましたが、エラーとなりました。

f = codecs.open("test.csv", 'r', 'utf_8')
 csvData = csv.reader(f)
 
 for low in csvData:
     print low[0],type(low[1]),low[2]
 
 f.close()

結果
 ID <type 'str'> comment
 Traceback (most recent call last):
   File "csvTest.py", line 15, in <module>
     for low in csvData:
 UnicodeEncodeError: 'ascii' codec can't encode characters in position 2-3: ordinal not in range(128)

読み込んだあとにUTF-8に変換すると良いでしょう。変換方法は「[[Python/Unicodeの取り扱い]]」を参照のこと。

引用符で囲まれ、改行コードを含むようなデータにも対応しています。

test.csvを以下のように書き換えると、
 ID,name,comment
 1,山本,こんにちは
 2,松本,こんばんは
 3,中本,"さようなら
 また明日"

全てのデータを書き出した結果は、

ID name comment
 1 山本 こんにちは
 2 松本 こんばんは
 3 中本 さようなら
 また明日

となり、問題なく引用符が消され、改行コードも残っています。

csvのフォーマットについてはデフォルトではエクセルの書き出しの書式になっているようです。変更可能ですが、ほとんどの場合そのままで良いのでここでは省略します。

*CSVファイルの書き込み [#xda09f1c]

CSVファイルの書き込みの簡単な例として、さきほどのtest.csvをtest_out.csvというファイルに書き込む方法をあげます。そのコードは以下のようになります。

inFile = open("test.csv", 'r')
 outFile = open('test_out.csv', 'w')
 
 csvData = csv.reader(inFile)
 
 writer = csv.writer(outFile)
 
 for row in csvData:
     writer.writerow(row)
 
 inFile.close()
 outFile.close()

上の例ではwriterowというメソッドを使って一行ずつ書きましたが、二次元配列に対応したwriterowsというメソッドもあるので、一気に書き出すこともできます。

inFile = open("test.csv", 'r')
 
 outFile = open('test_out.csv', 'w')
 
 csvData = csv.reader(inFile)
 
 writer = csv.writer(outFile)
 writer.writerows(csvData)
 
 inFile.close()
 outFile.close()

UTF-8で試してみると予想通りエラーが出ます。

for row in csvData:
     r1utf = row[1].decode("utf_8")
     writer.writerow((row[0],r1utf,row[2]))

結果
 Traceback (most recent call last):
   File "csvTest.py", line 16, in <module>
     writer.writerow((row[0],r1utf,row[2]))
 UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

書き込むときはstrに変換するのを忘れないようにしましょう。

出力形式はやはりデフォルトではエクセルのCSV書き出しと同じようです。変更も可能ですが、こちらもほとんどの場合そのままで問題ないと思うのでここでは省略します。

編集の要約:

Q & A 認証: ページ更新時は次の質問にお答えください。(プレビュー時は必要ありません)
Q: 「名古屋」の読みがな？(ひらがなで)
A:

お名前: タイムスタンプを変更しない

テキスト整形のルールを表示する^[1]

添付ファイル^[2]:

Links list

(This host) = https://njf.jp

^{(This host)}/cms/modules/xpwiki/?cmd=edit&help=true&page=Python%2FCSV%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AE%E8%AA%AD%E3%81%BF%E8%BE%BC%E3%81%BF%E3%81%A8%E6%9B%B8%E3%81%8D%E8%BE%BC%E3%81%BF
^{(This host)}/cms/modules/xpwiki/?plugin=attach&pcmd=list&refer=Python%2FCSV%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AE%E8%AA%AD%E3%81%BF%E8%BE%BC%E3%81%BF%E3%81%A8%E6%9B%B8%E3%81%8D%E8%BE%BC%E3%81%BF

Python​/CSVファイルの読み込みと書き込み の編集 :: NJF Wiki

Python/CSVファイルの読み込みと書き込み の編集

Links list

Python/CSVファイルの読み込みと書き込みの編集 :: NJF Wiki

Python/CSVファイルの読み込みと書き込みの編集