IT Rescue IT関連Tips情報

Linux 1個のディレクトリに大量ファイルの処理

2012年10月5日サーバ管理

一つのディレクトリに大量のファイル(10万以上)を作成してしまい「コピーもできない、ファイルの確認もできないで困っている」というエマージェンシーコールを受けた事が何度かあります。サーバ運用におけるありがちなトラブルの一つです。

あるお客さんのサーバではWebアプリケーションで作成されるcacheファイルが45万個ありました。また、別のお客さんのサーバではMaildirのメールスプールにエラーメールが190万個ありました…。

そんな時の対処法を紹介します。

ファイルの確認

最近のLinuxディストリビューションであればフォーマット時に dir_index オプションが有効になっているはず。なので実は大量ファイルを作成する事自体は極端なパフォーマンス悪化にはなりません。

パフォーマンスの問題を実感するのは、大量ファイルを持つディレクトリで安易に ls を実行したとき。これは ls がファイルの一覧を取得し sort を行うから。なのでソートを行わないオプション(-U)を使えばそんなに遅くないのです、本当は。

$ /bin/ls -U manyfiles/
00235610
00303636
00121968
00164484
00147265
00205845
00335831
00179442
00351647
00146621

/bin/ls と絶対パスで起動しているのは”ls”に設定されている alias を無効にするためです。
以下のように色付けされて表示されるようオプションが無意識に設定されている可能性があります。

 $ which ls
alias ls='ls --color=auto'
/bin/ls

ls -U の実行結果ではファイル名の一覧だけが取得できます。ファイルのパスが欲しい場合は find コマンドを使います。ls -U より若干遅いですが。

$ find manyfiles
manyfiles
manyfiles/00684423
manyfiles/00235610
manyfiles/00303636
manyfiles/00121968
manyfiles/00164484
manyfiles/00147265
manyfiles/00828936
manyfiles/00205845
manyfiles/00335831

これでファイルの中身を確認するなど何とか可能なはずです。

ファイルの削除

大量のファイルができてしまうという事はそのディレクトリに関しては今までほったらかしだったはずです。なので、現実的な対策は丸ごと削除する という事になります。削除にもそれなりに時間がかかるので、パーミッションが同一のディレクトリを予め作成しておき、入れ替える処理を行います。

$ echo manyfiles |cpio -pdm new
$ mv manyfiles manyfiles.REMOVE ; mv new/manyfiles .

これで空の manyfiles と、大量ファイルが存在する manyfiles.REMOVE ができます。manyfiles.REMOVE は普通に rm -fr などで削除します。

manyfiles 以下にサブディレクトリやシンボリックリンク等、保存しておきたい場合は以下のようにコピーしておきます。

$ find manyfiles -type d | cpio -pdm new
$ find manyfiles -type l | cpio -pdm new

manyfiles 以下で最近アクセスしたファイルは残したいなどの要求も find と cpio でコピーしておきます。

$ find manyfiles -atime -7 |cpio -pdm new

最終アクセス時刻が7日以内の場合はコピー対象になります。

ゆっくり削除

サーバに負荷をかけずに削除したい場合は以下のコマンドでできます。

$ cat filelist | perl -lne 'unlink; sleep(2) if $.%200==0'

200個のファイルを削除するたびに2秒間sleepを行います。負荷の程度や処理時間に応じて調整してください。sleepする時間を大きくする、sleepを入れるタイミング(削除するファイル数)を少なくするとよりサーバへの影響が少なくなります。ディレクトリの削除は行いませんので、ファイル削除後に手動で対処します。

まとめ

  • ファイルの一覧を取得するのは遅くない。
  • 対処法はばっさり削除が現実的。
  • 一つのディレクトリに大量ファイルを作成しない設計方針を採用する。
  • /usr/sbin/tmpwatch などで定期的に削除する運用を採用する。

コメントをどうぞ

免責事項

著作権者の文書による承諾を得ずに、本サイトの内容の一部、全部を無断で複写、複製、転載することは、禁じられています。
また、当ウェブサイト に記載された情報の完全性・正確性に対して一切の保証を与えるものではありません。当ウェブサイトに含まれる情報もしくは内容を利用することで直接・間接的に生じた損失に関し一切責任を負わないものとします。