ページへ戻る
− Links
印刷
Python/データベースの選択
の編集 ::
NJF Wiki
xpwiki
:
Python
/
データベースの選択
の編集
# k57307d2 の編集
ページ内容:
**1データ1ファイルの問題点 [#k57307d2] 誰でも最初に思いつくデータ管理法として、1データを1ファイルごとに入れていく、という物があります。しかしこれには大きな問題があります。 実例として以下のようなことがありました。 以前、仕事で通信系のプログラムのテスト用に1通信を1ファイルにして流し込む、ということをやっていた同僚がいました。 かなり頻繁に通信を行うプログラムで、そのファイルが数十〜百万以上になっていました。するとどうなるかというと、通常のOSはそのような大量のファイルを効率よくあつかうようにはなっていないため、ファイルをリストで表示することもできず、移動にも大変な時間がかかるという、とてもやっかいなことになりました。例えばlsコマンドを打ってファイル名を表示するだけで数分かかって、しかも大量の表示が流れてしまい、実質役に立たない、tarなどでまとめないと開発機からテスト機へデータを移すだけで数時間かかる、そのtarコマンドの実行にも時間がかかる、といったぐあいです。 テスト用の使い捨てのプログラムだったため、いくつかのフォルダに分割したり、xargsなどのコマンドを駆使しながら乗り切りましたが、現実に運用するシステムなら大変な事になっていたでしょう。 このようなとき、データベースを使っていれば、運用はとても楽になります。データベースソフトは通常大量のデータを一つのファイルにまとめているので、データの一覧表示や消去、移動、検索もあっという間にできます。 経験的には、ファイル数が1000を越えたら、データベースを使ったり、複数ファイルを一つにまとめる独自フォーマットのファイルを作るべきです。 特殊なフォーマットでデータベースが使えないときは独自フォーマットを使うしかありませんが、そうではないならデータベースを使えば既存の機能が使えて便利です。
編集の要約:
Q & A 認証:
ページ更新時は次の質問にお答えください。(プレビュー時は必要ありません)
Q:
日本の首都は?(漢字で)
A:
お名前:
タイムスタンプを変更しない
テキスト整形のルールを表示する
[1]
Links list
(This host) = https://njf.jp
(This host)
/cms/modules/xpwiki/?cmd=edit&help=true&page=Python%2F%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E3%81%AE%E9%81%B8%E6%8A%9E