ext4のフォーマットのメモ

linuxのファイルシステムのext4のフォーマットについて、Evernoteにも書いてるけど一応ブログにもメモ。

周りのサーバ屋さんはもうほとんどext3ではなくext4を使っていて、自分も人から「読み込み速度が体感で違うと分かるくらい早い」と言われてから使ってます。

でも、具体的にext3とどう違うのかは知らないのでなんとくなくググってみたら結構違うみたいですね。

ext3とext4比較 | 相方が携帯紛失
http://neet.waterblue.net/2009/11/23/ext3%E3%81%A8ext4%E6%AF%94%E8%BC%83/

そういうわけでやり方をコピペできるように。
——————-

CentOS5ならOSインストール時に
linux vesa ext4
と入力するする必要あり。

対象は/dev/sdb1という仮定で。

#ext4でフォーマット
mkfs -t ext4 /dev/sdb1

ext4だとtune2fsコマンドではなく、tune4fsとなってます。

#hddのチェック期限設定
tune4fs -i 0 /dev/sdb1

こんな感じ。

そいや、barrierオプションを有効にしているとパフォーマンスが下がるという記事をチラッと見ました。
ext4もDisk I/Oの点で若干不安要素があるんですかね?

「copying to tmp table on disk」が出て重い

まくらアンテナのDBのインデックスが大きくなったせいで、

copying to tmp table on disk
という処理にだいぶMySQLが時間を食うようになってました。

なので、my.cnfをいじって「max_heap_table_size」と「tmp_table_size」の値をちょっとだけ増やしてみたー。

サーバのメモリがまだ2Gくらいは余裕あるのに、勝手にメモリの節約を図られても
マイッチングマッチョ先生なんよ(・ω・`)

[参考]
MySQL/チューニング – がしまっくす
http://www.gashimax.com/wiki/index.php?MySQL%2F%A5%C1%A5%E5%A1%BC%A5%CB%A5%F3%A5%B0

Linuxでの複数ファイル内文字列の一括置換メモ

Linux上でのファイル内の文字列検索と、ファイル内文字列の一括置換をググってたら下記のURLがすごく参考になったのでメモメモ。

Linux上で複数ファイルから文字列を一括検索/置換するコマンド – スーパーソフトウエア 世界最強のホットテクノロジー – アプリ開発
http://tokyo.supersoftware.co.jp/superlabs/2012/07/261755.html

以下、引用。

#複数ファイルから文字列を一括検索
find ./ -type f -print | xargs grep -l ‘hoge’
‘hoge’が含まれているファイルを検索

#複数ファイルから文字列を一括置換
find ./ -type f | xargs sed -i ‘s/hoge/hage/g’
ファイル内の’hoge’を’hage’に置換

んで、実際に置換しようとしたところ、ファイル内に「/(スラッシュ)」がいくつも存在していたために

「sへのオプションが未知です」

というエラー。

そこでさらにググると下記URLに解決方法が。

sed – Sed Wiki*
http://wikiwiki.jp/sed/?sed

別に区切り文字は「/」で無くてもいいみたい。
というわけで「%」を区切り文字にして一括置換すると無事解決。

複数ファイルから文字列を一括置換(区切り文字を’%’に変更)
find ./ -type f | xargs sed -i ‘s%hoge%hage%g’

いつもはその都度ググってたので、今後の参照用にブログにメモメモ。

サーバ復活!サーバ復活!

昨日一日落ちっぱなしだった当サーバを直すついでにメモリを1Gから8Gに増やしました。
32bitCPUなのでkernelPAE入れました。

そんで改めて確認してみたら最大でメモリを3.8Gまで消費していることが判明。
そりゃスワップも食いつぶされてサーバ落ちます。

さすがに8G全部が消費されることは無いと思うのでしばらくは安泰ですかね。

               / ̄ ̄\
              /  !、_ 八\  1G → 8G に増設やでぇ!
             (●)(● ))⌒ |  見てみぃ!カッチコチやで!
             (__人__)     |  カッチコチやで!
.               (,`⌒ ´      |
              {         ト、_____
              {       ..:.::::::|ヽ、   ̄`ヽ、
              人     .:.:.:::::ノ:!::. :. . ……….:::=≧=‐- 、
             _/ .:ヽ :i::::::::/.: /:::’:.. .:..,. ”. ::     . :.:.:`ヽ
      , –―’´;.:.、… .: .:i :i::/:  .:::..:,.‐””.    .      .:、  :.:::}
     /   . :.:.ノ:. ..\.ヽヽ:  , -‐”´ ..::: ..    :     .::l . :.:.::|
   /   . .:.:.:./:.     `ヽ、::/     .:::、:.. .. . :.  :.  .::i …:.:∧
    |  . . .:.:.:;イ::      .:i::.       . .::`”‐-=、ヽ、.:.. . .:: .:ノ: :!
  /{::. : : .: ‘´.:.i::.       . :|:      . .:: :.::::::::::::/゙”ヽ、:..:.::´::..: :|
  ,’ `: :…:.:.:.::.::;!::.. .    .:.:|:     . . . :: :.:.:::::::::{::. .::;’`:‐ .::.: ;!:|.
 {   :. `””゙´|:::.:.:. : . . . .:::l::. . . . .. .. .:.::..:.:::::::::::|::. . ::i   ..:::iく ::|
  {:.:.. .:.. . .:.:::ト、:.:.. . .  . .:.:;!、::.. . . . … .:.::..:::::::_;;.ゝ、..:|  ..:ノ :. ヾ.
 /`”’  、,,,___:ノ \::. :…..:.:ノ::..`’ー::…..;;;_;;:.-‐”….:…:::,>’=、  .::i :.::}
. {:.:. .   ___\   ` ‐-=、:::.:.. ..::r ー-=、…..:…::..::::/      . .:::! :; ::|
 !ー: . /:::___;>┐    \:.. :! ,.-―:‐、:: ,,.:‐”´    . . :__;ノ.イ.:.:|
 ’;.:../:::::/´、   ̄)ヽ. _,r―‐亠- 、!::::::::::::::|「:     . . – ”’´. : :丿.:/

※kernelPAE
32bitのCPUでも4G以上のメモリを認識できるようになるカーネル。
最大64Gくらいまで認識するらしいですが、あまり多く載せすぎるとCPUの負担にもなるそうです。
詳しくは下記参照。

物理アドレス拡張 – Wikipedia
http://ja.wikipedia.org/wiki/%E7%89%A9%…

今週中に増設予定

うちのサーバのメモリ,800Mをフルに使ってて、スワップも1.4Gくらい食ってる状態がずっと続いているので、8GのメモリをAmazonで購入。

今週中に増設するお( ・`ω・´)

MySQLで「mysql server has gone away」と出た

Linux上で

——————————–
(1)MySQLからデータ取得
(2)ファイル加工処理(数時間以上)
(3)MySQLにデータ格納
(4)1に戻る
——————————–

という処理を走らせていたら、たまに処理がストップしました。
エラーメッセージを見ると処理(2)と(3)の間で

mysql server has gone away

という文字が。

続きを読む

ffmpegでサムネイル作成するも灰色になったものの解決

FFMPEGのサムネ切り出し問題解決!

タイトルにもある通り、ランダムにある動画からサムネを数枚自動で作成する処理を作ってる途中で一部のサムネイルが灰色の画像になってしまう現象が発生。
調べてみると、原因は動画内部のキーフレームの問題だそうですが、原因がわかっても解決法がググってもなかなか出てこない・・・。

と思い悩んでいたところ、どうもffmpegはオプションを記述した順番によって内部で行われる処理が変わるらしぃという記事を発見。

そんで、試しにオプションの順番を入れ替えてみました。

/usr/bin/ffmpeg -ss (秒数) -vframes (フレーム数) -i (元動画ファイル) -f image2 (作成サムネイルパス) から
/usr/bin/ffmpeg -i (元動画ファイル) -f image2 (作成サムネイルパス) -vframes (フレーム数) -ss (秒数)へ。

そんで試してみたところ無事に灰色のサムネイルを吐き出さなくなりました。
代わりに若干処理速度が下がったような気がしますが・・・・・そこは!

気にしたら!

負け!

だと!

思う!

こういうことを気にする人はアナルにカラシが入ってしまえばいい、
私はそう思う

Postfixのスパムの踏み台にされていた件

扱ってるサーバで、スパムメールの踏み台として300件くらい外国にメールを送ってしまっているのがあって、SMTP-AUTHも起動しているのにどうしたもんかなぁと思っていたものの、下記のページを見つけてその通りにしたら収まったのでURLをメモメモ。

メールサーバ( Postfix ) – Linux で自宅サーバ [ Home Server Technical. ]
http://www.miloweb.net/mail.html

この系のトラブルってだいたい「SMTPを設定すればよし!」の一言で終わってしまう解説ページが多かったのでこういうのは非常に助かります。