CentOS＆Xenサーバ導入メモ

PHP FUSEのパフォーマンス計測（暫定）

2012-02-20T13:40:00.004+09:00

PHP FUSEで、パススルーするだけのダミーファイルシステムを作ってみました。PHP FUSEを経由することによるオーバーヘッドを調べるべく、一応bonnie++でベンチしてみました。

■マウントオプション
allow_other,kernel_cacheを有効にしました。direct_ioを有効化するとシーケンシャルアクセスのブロックサイズが巨大化（4KB->120KB）して大幅に高速化（1.5倍速くらいに達するだろうか）するようですが、書き込み待ちや複数アクセス時のプチフリっぷりが気になったので、切りました。

■ベンチ結果まとめ
read/writeともに、ブロックサイズの大小によって挙動が大分変わるようです。シーケンシャルアクセスに関しては無視できる程度の影響であるようでした。CPUパワーは15%くらいでムンムン使っているものの、速度には影響せず。しかしブロックサイズが小さいとパフォーマンスダウンが激しいようです。特にseekの遅さの影響をモロに受けているようです。現状read&writeの度にfseekを発行しているんで、前回のoffset情報をもとに要不要を判定して余分なfseekを抑制すると、速くなったりしないかな？また今度やってみよう。

■具体的な結果：NFSマウント（From:CentOS5.7 DomU on CentOS5.7 / To:OpenIndianaのZFS）
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
toreteru-dev-www 2G 575 98 33267 3 21715 4 835 99 40707 1 8868 175
Latency 29500us 20753ms 10807ms 19498us 438ms 83160us
Version 1.96 ------Sequential Create------ --------Random Create--------
toreteru-dev-www01. -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 25 0 2650 1 48 0 25 0 2923 0 50 0
Latency 422ms 36661us 647ms 529ms 7140us 352ms

■具体的な結果：PHP FUSE経由でスルーパスしたもの（現実的なエラー対策とか講じてますけど）
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
toreteru-dev-www 2G 13 5 33111 3 13880 1 763 97 37051 2 2205 12
Latency 1502ms 9371ms 6478ms 26108us 534ms 54831us
Version 1.96 ------Sequential Create------ --------Random Create--------
toreteru-dev-www01. -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 23 0 1842 1 49 0 24 0 1879 0 49 0
Latency 499ms 2074us 5770ms 429ms 10118us 282ms

■備考メモ
実装上、最大のハマりどころは、getattrで32bit超えの値を返すとPHP FUSEの中でオーバーフローしてしまう件。これは前エントリの通り強引にパッチ当てで解消しました。

次なるハマりどころは、mknod関数の実装じゃないでしょうか。パススルーしようにも、PHPにはそのものジャストのmknod関数が存在せず。posix_mknodなる聞き慣れない関数でお茶を濁しましたが、使い方が合ってるのか、よくわかりません。引数がメジャーとマイナーに分かれてる件は、PHP FUSEから渡されてきたバイト列を上位下位で2等分して渡せばいいのかなと勝手に解釈。動いてるし、FIFOとか使わないから、まぁいいや。ファイルシステム周りはシステムコールが使えないといろいろ不安ですね。

その次のポイントは、openの実装でしょうか。read&writeのたびにfopenしてると途轍もなく遅いので、openでfopenしたファイルハンドルをメンバ変数配列で保持＆ファイルディスクリプタ番号を自前で生成して返却（3〜255）、releaseでfclose、writeとreadとreleaseはpathは無視してファイルディスクリプタ番号を元にメンバ変数で保持したファイルハンドルを特定して作業するって寸法で実装しました。ファイルディスクリプタ番号は有限なので、空き番号を管理する仕組みも入れておきました。

Linux開発の本を読んでおいてよかったなぁ。

PHP FUSEで2GB超のファイル容量を正しく報告できない件について

2012-02-20T02:46:00.001+09:00

激しく環境依存ぽいんで、アレですけれども。。

■検証環境

CentOS6.2 ＋ FUSE 2.8.7

■現象

2GB超のファイルをlsしたりstatしたりするとオーバーフローっぽい値が表示される。

■修正内容（手抜き）

fuse.c
（修正前）int value = Z_LVAL_PP(entry);
（修正後）long value = Z_LVAL_PP(entry);

※2個所あります。だいたい前者だけで大丈夫だと思いますが。

PHP_FUSE_API int php_fuse_getattr(const char * path, struct stat * st) 内

PHP_FUSE_API int php_fuse_statfs(const char * path, struct statfs * st) 内

いかにも対症療法ですが、正しくはどうすればいいんでしょうね。。
Z_LVAL_Pも同様のようですが、とりあえず動いたんで、これで…^^; スミマセン

あ、あと、これもかな。。違うかな。。
（修正前）st->st_size = (size_t)value;
（修正後）st->st_size = (off_t)value;

ZFS-FUSE 0.7.0をCentOSに導入する

2012-02-08T04:56:00.001+09:00

epelのrpmは0.6.9です。なんと0.7.0ではxattrが使える＝GlusterFSで使えるようになったということなので、試してみたいと思いました。

ソースから入れると当然、パスやサービス登録がめちゃめちゃなので、epelのsrpmをお借りしてソースを最新に入れ替えるという方法で導入しときました。

以下手抜きメモになります。パスとかデタラメなので参考にされる方は読み解いてください；

yum install -y fuse-devel libattr-devel libaio-devel libacl-devel zlib-devel fuse-devel scons openssl-devel
yum install rpm-build

wget http://download.fedora.redhat.com/pub/epel/6/SRPMS/zfs-fuse-0.6.9-6.20100709git.el6.src.rpm
rpm -i zfs-fuse-0.6.9-6.20100709git.el6.src.rpm
cd rpmbuild/SOURCES
wget -c 'http://gitweb.zfs-fuse.net/?p=official;a=snapshot;h=maint;sf=tgz' -O 'zfs-fuse-0.7.0-snapshot.tar.gz'
rm zfs-fuse-0.6.9-snapshot.tar.gz
cd ../SPECS
vi zfs-fuse.spec

2,3c2,3
< Version: 0.6.9
< Release: 6.20100709git%{?dist}
---
> Version: 0.7.0
> Release: 7.20120208git%{?dist}
10c10
< # wget -c 'http://gitweb.zfs-fuse.net/?p=official;a=snapshot;h=maint;sf=tgz' -O 'zfs-fuse-0.6.9-snapshot.tar.gz'
---
> # wget -c 'http://gitweb.zfs-fuse.net/?p=official;a=snapshot;h=maint;sf=tgz' -O 'zfs-fuse-0.7.0-snapshot.tar.gz'
12c12
< # make new-sources FILES="zfs-fuse-0.6.9-snapshot.tar.gz"
---
> # make new-sources FILES="zfs-fuse-0.7.0-snapshot.tar.gz"

cd ..
rpmbuild -bs --clean SPECS/zfs-fuse.spec

※エラー・・・tarボールの中身がまずいらしい、強引に修正しちゃう
tar zxvf zfs-fuse-0.7.0-snapshot.tar.gz
mv official-maint-6abfdcf official
tar czvf zfs-fuse-0.7.0-snapshot.tar.gz official

※気を取り直して
cd rpmbuild
rpmbuild -bs --clean SPECS/zfs-fuse.spec

rpm -Uvh RPMS/x86_64/zfs-fuse-0.7.0-7.20120208git.el6.x86_64.rpm

よし、入った。

※20120220追記
これ結局やめました。orz
これでもってマウントオプションでxattrを有効にすると想定通りGlusterFSで使える状態でマウントできました。これでGlusterFSとZFSを組み合わせてウハウハだぜ、と思ったら、ZFS-FUSEのヘルプメッセージに書いてある通り、パフォーマンスが大幅に劣化しておりまして…。正確には覚えてなくてすみませんが、無視できない感じで猛烈に遅かったんで、結局GlusterFSもろとも諦めました。orz 今は、「2台あるから落ちても大丈夫」ではなくて「そもそも落ちない」ストレージの構築を目指して、OpenIndianaの導入に踏み切っております。なかなかうまくは行きませんね。

時々ファイルのタイムスタンプが失われてしまう件

2012-02-07T03:28:00.001+09:00

以下のような構成があるとします。ていうか、あります。

サーバA：FreeBSD（ZFS）
サーバB：CentOS6.2（GlusterFSクライアント）
サーバC：CentOS6.2（XFS/GlusterFSホスト、ローカルでレプリケーション構成）

サーバCは複数のGlusterFSボリュームをエクスポートしており、サーバBはそれをmhddfsで束ねてマウントしています。このマウントポイントを「/hogemoge」とします。

この状態で、サーバBにて以下のようなrsyncを実行します。
rsync -a サーバA:/hoge/moge/* /hogemoge/

つまりサーバAからrsyncプロトコルで読み出し、サーバCへmhddfs＋GlusterFSを介して書き出します。

すると500ファイルに1件くらいでしょうか。ファイルのタイムスタンプ（Modify）が失われる現象が発生するようです。由々しき事態です。
タイムスタンプが失われたファイルには、（ZFSが1sなのに対し）1nsの日付分解能をもつタイムスタンプが書き込まれています。ファイルを書いた時点のタイムスタンプが適用されているようです。rsyncによる日時の修正処理が適用されていない状態になっているようです。

原因は不明ですが、何らかの理由でタイムスタンプが正しく設定されていないタイミングで「ファイル情報に不一致があった場合、新しい方を正とする」というGlusterFSの仕様が発動して不要なレプリケーションが走ってしまい、不正なタイムスタンプが設定されてしまっているのかなぁと想像したりしています。rsyncがファイルを書き込んでタイムスタンプを修正した後、GlusterFSが片方のファイルのタイムスタンプを更新した段階でファイルの復元処理が走り、新しいタイムスタンプのファイルで上書きされてしまったりしているんじゃないかなぁと。

ローカルで2台レプリケーションっちゅー構成がイレギュラーなのかな。。うーん。。。
やっぱり本物のハードウェアでテストしたいなぁ。。

GlusterFS＋mhddfsの書き込み速度の検証

2012-02-04T18:29:00.001+09:00

mhddfs→GlusterFSと、FUSEを2回通ることによるパフォーマンスダウンが懸念されますので、簡単にベンチしてみました。

■別マシンの仮想サーバからネットワーク越しに書き込みテスト
○準備運動
[root@gluster01 storage]# dd if=/dev/zero of=/dev/null bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 0.153937 s, 6.8 GB/s

○mhddfsを通さずGlusterFSに直接書き込み
[root@gluster01 storage]# dd if=/dev/zero of=pair01/zero3 bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 22.86 s, 45.9 MB/s

○mhddfsを通してGlusterFSに書き込み
[root@gluster01 storage]# ls
pair01 pair02 pair03 pair04 storage01
[root@gluster01 storage]# dd if=/dev/zero of=storage01/zero4 bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 67.8727 s, 15.4 MB/s

■同一マシンのローカルで書き込みテスト
○準備運動
[root@kfs02 storage]# dd if=/dev/zero of=/dev/null bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 0.0946512 s, 11.1 GB/s

○mhddfsを通さずGlusterFSに直接書き込み
[root@kfs02 storage]# dd if=/dev/zero of=pair01/zero bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 47.8904 s, 21.9 MB/s

○mhddfsを通してGlusterFSに書き込み
[root@kfs02 storage]# dd if=/dev/zero of=mhddfs01/zero2 bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 45.7485 s, 22.9 MB/s

■結果まとめ
リモートとローカル、mhddfsの使用と不使用で、結果が全然違う。
ローカルの方が当然速いだろうと思いきや、リモートでmhddfs不使用がダントツで速い。でもmhddfsを通すと一気に遅くなる。
ローカルではmhddfsの使用不使用は関係なく、同じくらい遅い。
何度か繰り返しましたが、同等の結果が得られました。

■考察
意外な結果になりました。
リモートでmhddfsが遅くなるのは、ネットワークを経由することによるレイテンシ起因とかでしょうか。同期書き込みなら妥当な挙動かなぁ。
ローカルアクセスとリモートアクセスでGlusterFSの速度が段違いなのは、リモートでアクセスするとGlusterFSの処理がリモートとローカルに分割されるので高速化するとか、そんなところでしょうか。

○リモート／クライアント側
・mhddfsあり
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
15763 root 20 0 251m 20m 1424 S 106.7 6.6 66:46.59 glusterfs
15988 root 20 0 309m 960 384 S 19.9 0.3 0:39.16 mhddfs
18092 root 20 0 103m 1696 576 S 4.0 0.5 0:01.16 dd

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
15763 root 20 0 251m 20m 1424 S 24.3 6.6 67:42.98 glusterfs
18134 root 20 0 103m 1700 580 S 4.3 0.5 0:00.68 dd

○リモート／サーバ側
・mhddfsあり
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4654 root 20 0 410m 22m 1912 S 22.2 0.3 50:14.01 glusterfsd
4658 root 20 0 410m 22m 1916 S 20.6 0.3 49:10.81 glusterfsd

・mhddfsなし
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4654 root 20 0 412m 22m 1912 R 34.5 0.3 50:51.63 glusterfsd
4658 root 20 0 412m 22m 1916 R 33.5 0.3 49:46.95 glusterfsd

○ローカル（ちなみにsystem負荷が高かったので、XFSの負荷も無視できないかも知れません）
・mhddfsあり
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
12848 root 20 0 230m 35m 2140 R 121.2 0.5 3:25.39 glusterfs
4654 root 20 0 414m 22m 1912 S 55.1 0.3 52:43.88 glusterfsd
4658 root 20 0 414m 22m 1916 S 50.8 0.3 51:36.55 glusterfsd
13092 root 20 0 309m 904 544 S 16.6 0.0 0:09.56 mhddfs
14460 root 20 0 103m 1688 568 S 5.6 0.0 0:00.50 dd

・mhddfsなし
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
12848 root 20 0 230m 35m 2116 R 103.8 0.5 2:36.40 glusterfs
4658 root 20 0 414m 22m 1916 R 100.8 0.3 50:56.41 glusterfsd
4654 root 20 0 414m 22m 1912 R 93.7 0.3 52:05.21 glusterfsd
14452 root 20 0 103m 1684 568 S 44.4 0.0 0:02.82 dd

■で、どうする？
遅いけど、まぁ、仕方ないよね。。データの初期コピーの最初だけ、mhddfsを通さずに実施したいと思います。
読み出しは、どの組み合わせでも70〜80MB/sくらい出るようなので問題視しないことにします。。

mhddfsが導入できないクライアントのための中継機能は、ストレージサーバ自体に持たせようと思います。mhddfsで束ねた領域をNFSでエクスポートしちゃうの。パフォーマンスが多少いいので。

mhddfsとGlusterFSの組み合わせ方

2012-02-04T03:56:00.002+09:00

GlusterFSとmhddfsの組み合わせ方を逆にしてみようと思いました。
神が舞い降りてきた感じがします。

■これまでの発想
ハードディスクをmhddfsで束ねて作った領域を、他サーバとGlusterFSでミラーリングする。
クライアントでGlusterFSをマウントする。

■これからの発想
ハードディスクをGlusterFSで他サーバのハードディスクとミラーリングする。
クライアントでGlusterFSをマウントし、それをmhddfsで束ねる。

■絵にしてみた

■違い
これまでは、サーバ内で複数のHDDをmhddfsで束ねたうえで、そこにフォルダを掘って、GlusterFSでサーバ間ミラーしようと思っておりました。
これからは、ディスク単体についてGlusterFSでサーバ間ミラーしたうえで、クライアント側でmhddfsを使って領域を結合しようと思いました。

"これまでの構成"だとディスクの容量がバラバラでも余すところなく使えますが、反面、どのディスクに何のファイルが入っているか明確になりません。たとえ容量が揃っていても、ディスクが欠落するとGusterFSが他のディスクに復元を始めてしまいます。復元を完了させるにはディスクの全域にわたってfind&statしなければならず、容量に比例して所要時間が膨大なものになります。両サーバのHDDが1台づつ故障した時点でデータロストが発生します。また、GlusterFSがmhddfsを経由してディスクにアクセスするなんてことはGlusterFS開発陣は想定していないでしょうから、どのような不具合が出るか、わかりません。

"これからの構成"だと、対になるディスクは容量が揃っていないとGlusterFSの動作に不具合が生じますが、ディスクのペアごとに、記録内容が完全に一致します。あるディスクが停止しても、GlusterFSはHAを維持してくれますが、勝手に復元することはありません。復元を完了させるには当該ペアだけfind&statすればよく、範囲を限定できます。ペアのディスクが同時に故障した時点でデータロストが発生しますが、これまでの構成よりは確率的に低いといえるでしょう。GlusterFSへの書き込みはmhddfsを使用しますが、GlusterFS自体は検証済みのファイルシステムを直接使用しますから、問題が発生する可能性は少ないでしょう。

"これからの構成"の欠点としては、全クライアントにmhddfsを導入しなければならないので、OS環境を選びます。現在主力のCentOS5.7では正しく使用できません。まぁこれは、SPOFを受認しなければなりませんが、GlusterFS+mhddfsをNFSで再エクスポートする中継サーバを用意すれば回避できそうに思います。あとディスク構成を変更した場合にクライアント間で設定変更のタイムラグが発生しますので、運用手順をよく検討すればいいかなと。

■雑感
そもそも言ってしまえば、GlusterFSのバランシングアルゴリズムが微妙なんですよねぇ。性能差を考慮しない均等なハッシュ割り当てって、ちょっとねぇ。それによる諸問題をmhddfsで回避して、実用的にしてみようという試みです。

こんな感じで、あと一晩考えてみたいと思います。

CentOS6.2にいろんなファイルシステムを導入する方法まとめ

2012-02-03T20:50:00.003+09:00

Linuxでいろんなファイルシステムを試してみたいと思って、いろいろ導入してみたので、メモしておきます。

■検証環境
CentOS6.2 x86_64

■ELrepoとEPELの導入（一部のファイルシステムで使用、必要に応じて）
rpm -Uvh http://elrepo.org/elrepo-release-6-4.el6.elrepo.noarch.rpm
sed -i 's/enabled=1/enabled=0/g' /etc/yum.repos.d/elrepo.repo

rpm -Uvh http://download.fedora.redhat.com/pub/epel/6/x86_64/epel-release-6-5.noarch.rpm
sed -i 's/enabled=1/enabled=0/g' /etc/yum.repos.d/epel.repo

■XFSの導入
yum install xfsprogs

ファイルの一覧取得は速いけど、削除は遅いらしい。大容量対応と高信頼性がウリだと思うんですけど、fsckにメモリを食うとか、ハード障害に弱いとか、ジャーナリングしてるくせに電プチすると結構よく壊れるとか、色々言われている様子。現時点でどこまで改善されているのか、よくわかりません。
x86_64ではローカルアクセス以外の、NFSなんかで使うとkernel panic連発とか。本当かな。でも僕もmhddfsとGlusterFSを経由してファイルを大量コピーしてる最中に原因不明のリブートが発生した時は、XFSを使っていた。その後はリブートしてない。濡れ衣かも知れないけど、状況的には疑わしいと言えるかも知れない。要重点検証。
GlusterFSではXFSが推奨されています。他のファイルシステムでも使えるけど、あんまり検証してないよって。でも僕がやろうとしているmhddfsをかましてGlusterFSで束ねるって方法だとGlusterFS開発陣による検証とか関係ないような気がするので、他のファイルシステムと横並びで比較してみたいと思います。

■JFSの導入
yum --enablerepo=elrepo install kmod-jfs

XFSと似たような特性らしいが、CPU負荷が低いらしい。悪い噂を聞かないのは、導入事例が少ないせい？ざっくり使った所、なんとなくレスポンスが遅い感じがする。ライトキャッシュの効きが甘い？古いんでSMPではスケールしない？よくわかんないんで、ちゃんと検証しておきたいなと思います。

■ReiserFSの導入
yum --enablerepo=elrepo install kmod-reiserfs reiserfs-utils

将来性が云々と言われます。。しかも、これも性能的にはXFSとそんなに変わらないらしいけど。。まぁ何を選んでも数年後には見直すことになるでしょうから、今回は検討の対象に入れておきます。

※2012/2/4追記
GlusterFS3.2.5ではReiserFS(3.6)は使用不可のようでした。ドキュメントにはReiserFSもOKと書いてあるんですけど、正常にマウントできません。ReiserFSパーティションにattrコマンドを発行するとattrコマンドが落ちるので、多分attrコマンドかReiserFSのattr周りのハンドリングに何らかの問題があるんじゃないかと思いました。
ということは、GlusterFS on Linuxで使えるファイルシステムは、通常であればext3/4、XFS、JFSに絞られるかと思います。

■NILFS2の導入
rpm -Uvh http://www.nilfs.org/pub/centos/6/RPMS/x86_64/kmod-nilfs2-0.3.1-1.el6.x86_64.rpm
rpm -Uvh http://www.nilfs.org/pub/centos/6/RPMS/x86_64/nilfs-utils-2.1.1-6.x86_64.rpm

常時自動スナップショット。CoW。ファイル削除が鬼のように速いらしい。ただしファイルを部分的に更新すると激しく断片化するという。倉庫には向いてそうだが、起動ディスクや仮想マシンイメージには向いてなさそう。用途が読み切れないので今回は検証しません。導入方法のメモだけ残しておきます。

■Btrfsの導入
yum install btrfs-progs

ZFS並みに色々詰め込まれたファイルシステム。これが入れられれば悩み事は大体解決しそう。でもまだプロダクション環境で使える品質でないようなので検討しません。導入方法のメモだけ残しておきます。

■ZFS-FUSEの導入
yum --enablerepo=epel install zfs-fuse

もしやと思ったけれども、やっぱりattrは使えなかった。ZVOLも未サポート。よってGlusterFSとは組み合わせ不可になりますので検証しませんが、導入方法のメモだけ残しておきます。ZFS自体の性質上、パフォーマンスは半ばどうでもいい気がするんですが、FUSEでメモリ消費とかどうなんでしょうね。

GlusterFSの異常系の検証（ディスク編）

2012-02-03T18:37:00.000+09:00

CentOS 6.2
GlusterFS 3.2.5
mhddfs 0.1.38

仮想サーバ2ノードでreplicaして、他のノードからNative Clientでマウントしました。
今回はディスクイメージをマウントしたディレクトリで検証しました。

■まとめ
実機検証じゃないと何とも言えないですね。
あるいは実機だったとしても、どこまで実際の故障を再現できるものか。
これはもう定期バックアップを前提にぶっつけ本番投入するしかないかしら。
仮想サーバでの検証では、わかんないです。

書き込み中にdisk01が消滅した場合（rm -rf disk01.img ）
→何故か書き込み続行され、イメージが削除されているにも関わらず正常動作が続く。不気味。
※物理マシンでHDDをぶっこ抜いた場合とは挙動が違うんじゃないかな。。

書き込み中にmhddfsがumountされた場合（umount -l mhddfs01）
→片方のノードのみで書き込み続行。
→書き込みが完了するとアクセスできなくなる。
→復帰すると稼動再開

書き込み中にdisk01がumountされた場合（umount -l disk01）
→片方のノードのみで書き込み続行。
→書き込みが完了するとアクセスできなくなる。
→復帰すると稼動再開

■準備
mkdir /storage
cd /storage
dd if=/dev/zero of=disk01.img bs=1M seek=1000 count=1
mkfs.xfs disk01.img
dd if=/dev/zero of=disk02.img bs=1M seek=1000 count=1
mkfs.xfs disk02.img
mkdir disk02
mkdir disk01
mount -o loop disk01.img disk01
mount -o loop disk02.img disk02
mkdir mhddfs01
mhddfs -o mlimit=10% disk01,disk02 mhddfs01

↑これを192.168.0.131と192.168.0.132の両方でやっておく

gluster peer probe 192.168.0.132
gluster volume create kfs replica 2 192.168.0.131:/storage/mhddfs01/kfs 192.168.0.132:/storage/mhddfs01/kfs
gluster volume start kfs

他のサーバでマウントする。
mkdir kfs
mount -t glusterfs 192.168.0.131:kfs kfs

■書き込み中にdisk01が消滅した場合（rm -rf disk01.img ）
ディスクが物理的に外れた場合を想定。

書き込み中に192.168.0.132でdisk01.imgをrm -rfする
→何も起こらない。書き込み続行。

192.168.0.132のdisk01.imgは確かに消滅しているのに、mhddfsやdisk01の中身は正常に書き込み進行しているように見える。
GlusterFSやmhddfsを通さずとも、mountもdf -khもstatも、あまつさえdd of=/dev/nullでさえも、あたかもそこに完全なファイルが正常に存在しているかのような挙動を示す。
一体どこに書き込んだのか不明である。disk01を一旦umountすると、復旧できない（だってdisk01.imgがないもの）
消す前のdisk01.imgを作り直したり再設置したりしても何ら影響無し。切り離されて動いている様子。
容量的には元のdisk01.imgと同じサイズが上限になる。それでも割り当てメモリは超えてるし、swapしてる様子も無い。

えー、GlusterFSもmhddfsも関係ないっぽいけど、なんか驚愕の挙動なんですけど。。
仮想マシンイメージの実サイズが膨らんでたので、どこかに一時ファイルが作られているとしか。。。
ディスクイメージをマウントするのに-o loopしてるので、その影響でしょうか。。
実機じゃないと検証にならんな。。でも空きマシンは無いなぁ。。

■書き込み中にmhddfsがumountされた場合（umount -l mhddfs01）
mhddfsが落ちた場合を想定。内容が消失してローカルディレクトリに差し変わる結果、brickとして使っているディレクトリが消滅する。
GlusterFSがどのように動作するか、見物である。

書き込み中に192.168.0.132でumount -l mhddfs01する
→何も起こらない。書き込み続行。

書き込み完了後、クライアントでマウントポイントにアクセスできなくなる。
> ls: kfs: 入力/出力エラーです

mhddfs01を再マウントすると自動復帰する

■書き込み中にdisk01がumountされた場合（umount -l disk01）
mhddfsが束ねているファイルシステムが落ちた場合を想定。
mhddfsがどのように動作し、GlusterFSにどのような影響を与えるか、見物である。

書き込み中に192.168.0.132でdisk01をumount -fする
→192.168.0.132は止まり、192.168.0.131だけで書き込み続行。

書き込み完了後、クライアントでマウントポイントにアクセスできなくなる。
> ls: kfs: 入力/出力エラーです

disk01.imgを再マウントすると自動復帰する

GlusterFSの異常系の検証（ディレクトリ編）

2012-02-02T21:39:00.001+09:00

CentOS 5.7
GlusterFS 3.2.5
※今回はmhddfsは無し。

2ノードでreplicaして、他のノードからNative Clientでマウントしました。
今回はディレクトリで検証しました。

こんな感じ。
gluster volume create kfs replica2 192.168.0.252:/storage/disk01/kfs 192.168.0.252:/storage/disk02/kfs

■まとめ
異常があったら、まずglusterdを落として、じっくり検討。
復帰操作は一発勝負。勝手に書かれちゃうんで。

glusterdプロセスが落ちた場合
→いずれかのプロセスが存在すれば正常稼動する。
→両方落ちると書き込み異常終了。
→いずれかが復帰すると稼動再開。
※これは想定内な感じがします。

brickのディレクトリが消滅した場合
→いずれかのノードが稼動していれば正常稼動する。
→両方落ちても書き込み続行。データは行方不明に。
→復帰時は両方のノードが稼動するまで復帰できない
※要するに考慮されてないっぽいので、こういうオペレーションはダメっぽい

■glusterdプロセスが落ちた場合の挙動確認
書き込み中に片方のglusterdを落とす
→残ったノードだけで書き込み続行

書き込み中に落としたglusterdを、その書き込み中に上げる
→すぐには何も起こらないが、書き込み終了後に復元動作が走り、落とした方が修復される

書き込み中に両方のglusterdを落とす
→書き込み異常終了
> dd: writing `kfs/zero': 通信端点が接続されていません
> dd: 出力ファイル `kfs/zero' をクローズ: 通信端点が接続されていません
マウントは外れていないが、参照できない状態になっている。
変なファイルがローカルディスクに書き込まれる恐れは無さそう。

そのまま片方のglusterdを上げる
→即、自動復帰する

もう片方のglusterdも上げる
→タイムラグがあるようだが、数十秒以内に自動復帰する
→ファイルアクセスをキックに、差分も自動修正される

■brickのディレクトリが消滅した場合の挙動確認
書き込み中に片方のディレクトリをrm -rfする
→残ったノードだけで書き込み続行

書き込み中に消したディレクトリを、その書き込み中に再作成する
→復帰するようだが、直ちには何も起こらない
→ファイルアクセスをキックに、差分も自動修正される

書き込み中に両方のディレクトリをrm -rfする
→何も起こらない。書き込み止まらない。
マウントは外れていないが、参照できない状態になっている。
変なファイルがローカルディスクに書き込まれる恐れは無さそうだが、データはどこに消えているか不明。

そのまま片方のディレクトリを再作成する
→自動復帰しない。
> ls: kfs: 入力/出力エラーです
> touch: cannot touch `kfs/test': そのようなファイルやディレクトリはありません
> stat: cannot stat `kfs': そのようなファイルやディレクトリはありません

サーバ側のglusterdを再起動する
→何も起こらない。変化無し。
> ls: kfs: 入力/出力エラーです
> touch: cannot touch `kfs/test': そのようなファイルやディレクトリはありません
> stat: cannot stat `kfs': そのようなファイルやディレクトリはありません

クライアント側のglusterdを再起動する
→何も起こらない。変化無し。
> ls: kfs: 入力/出力エラーです
> touch: cannot touch `kfs/test': そのようなファイルやディレクトリはありません
> stat: cannot stat `kfs': そのようなファイルやディレクトリはありません

クライアントで一旦umountし、再マウントする
→何も起こらない。変化無し。
> ls: kfs: 入力/出力エラーです
> touch: cannot touch `kfs/test': そのようなファイルやディレクトリはありません
> stat: cannot stat `kfs': そのようなファイルやディレクトリはありません

もう片方のディレクトリも再作成する
→自動復帰する

同一ディレクトリに大量のファイルを設置した場合のパフォーマンス調査

2012-02-02T18:27:00.002+09:00

ext3で、同一ディレクトリにファイルが大量に存在すると遅くなるというのは有名かと。
ext4では、H-treeで高速化したとwikipediaに書いてあったんですけど、期待ほどではなかった様子。。

以下、4985個のファイルが置いてあるディレクトリで試しました。一応2回づつ。
（ユーザーとしての個人的感覚では、そんなに大量というほどのファイル数ではないつもり）

■ext4（＠CentOS6.2）
time ls disk01/kfs/pb/generated/122
real 0m16.153s
user 0m0.044s
sys 0m0.288s

time ls disk01/kfs/pb/generated/122
real 0m8.402s
user 0m0.034s
sys 0m0.104s

■XFS（＠CentOS6.2）
time ls xfs05/kfs/pb/generated/122
real 0m0.175s
user 0m0.030s
sys 0m0.142s

time ls xfs05/kfs/pb/generated/122
real 0m0.075s
user 0m0.023s
sys 0m0.047s

■JFS（＠CentOS6.2＋ELrepo）
yum install jfsutils
rpm -Uvh http://elrepo.org/elrepo-release-6-3.el6.elrepo.noarch.rpm
yum install enablerepo=elrepo kmod-jfs
mount /dev/sdg jfs07
mount /dev/sdh jfs08

time ls jfs07/kfs/pb/generated/122
real 0m0.134s
user 0m0.021s
sys 0m0.092s

time ls jfs07/kfs/pb/generated/122
real 0m0.073s
user 0m0.026s
sys 0m0.043s

■ZFS（＠FreeBSD）
/usr/bin/time -h -p ls /kfs01/kfs/pb/generated/122
real 0.12
user 0.00
sys 0.01

/usr/bin/time -h -p ls /kfs01/kfs/pb/generated/122
real 0.16
user 0.00
sys 0.01

ext4の圧倒的遅さが際立っております。
これで問題にならない使い方なら問題ないんでしょうけれども、僕の場合は問題ありありなので困ります。デジタル写真とか扱ってたら1フォルダ数百〜数千個くらいはすぐ貯まっちゃうでしょう。。貯めるなってのはユーザーフレンドリーじゃないのでダメです。

では何がいいかと言うと。。んー。。。やっぱりJFSかぁ？

mhddfsの容量フル時の挙動について（不具合報告）

2012-02-02T17:55:00.002+09:00

mhddfsの不具合？マニュアルの記載ミス？を見つけました。
けどロシア語よくわかんないしw こちらで。

■対象バージョン
最新：mhddfs_0.1.38.tar.gz

■内容
# df -kh
Filesystem Size Used Avail Use% マウント位置
/dev/sda 917G 867G 4.0G 100% /storage/disk01
/dev/sdb 917G 3.1G 868G 1% /storage/disk02
/storage/disk01;/storage/disk02
1.8T 870G 872G 50% /storage/mhddfs01

うーむむむ、1台目を100%まで使い切っちゃってるじゃないか。空き容量が一切ないのはメンテナンス時にハマる可能性があるような気がする。READMEにはDefault value is 25%って書いてあったんだけどな。。
http://svn.uvw.ru/mhddfs/trunk/README

ていうかソース読んでみた。嘘じゃん。バグってるじゃん。
http://svn.uvw.ru/mhddfs/trunk/src/parse_options.c

#define DEFAULT_MLIMIT ( 4l * 1024 * 1024 * 1024 )
#define MINIMUM_MLIMIT ( 50l * 1024 * 1024 )

どこを読んでもデフォルト25%なんてインテリジェントなオプション解釈はやってない感じがする。ていうかマウント時のメッセージにもはっきり出てるじゃん orz
mhddfs: move size limit 4294967296 bytes

4GB決め打ちですね。容量9割がた埋まるとパフォーマンスが激落ちする某FSなんかで使うとハマるでしょうねぇ。。

%指定を解釈するロジックは入っていたので（100未満の値は%と見なしてますね）、その点は問題ないようです。

mhddfsを使う時は、今のところ、-o mlimit=XXの明示が必須ということで。

mhddfs＋GlusterFSでレプリケーションを復元してみる

2012-02-01T23:06:00.001+09:00

相変わらずローカル環境でのテストを続けております。
今回は、GlusterFSによるレプリケーションの自動修復を試してみました。

■準備
書き込み稼動中のディスク1台分のマウントを外してみた（umount -f）
→mhddfsおよびGlusterFSでinput/output errorが出て書き込めなくなった。今回はサーバ一台だけでテストしてますが、これ、複数サーバの1つが落ちた状態でも同じ動作なら意味ないですね。全然HAじゃない。要検証。

外したディスクをフォーマットした（mkfs.ext4 /dev/sda）
→あえてXFSじゃないのは、ext4も試してみたかったから。安定するならどっちでもいい。

ext4をmountした（mount）
→mhddfsもGlusterFSも、自動復帰しなかった。

mhddfsをrestartした（umount＆mount）
→GlusterFSは自動復帰しなかった。

GlusterFSをrestartしてクライアントでマウントし直した（service gusterd restart, umount & mount）
→アクセスおk

■自動修復させてみた
ファイルにアクセスする度に自動復元されますが、案の定と言いますか、想像並みに重い感じでした。

ディレクトリの内容をlsすると、そのディレクトリ内のファイルが復元され、lsが帰ってきます。この段階ではファイルが欠損しているほうのディスクに空ファイルが作られるのみで、（おそらくそこにはattrで色々書かれていて）データ本体はまだミラーされていない状態に留まります。データ本体は同期しないので高速なんでしょうが、3000ファイルで30秒くらいかかりました。その間lsはフリーズ状態で待機です。対象ディレクトリに子ディレクトリエントリが含まれていた場合、おそらくその子ディレクトリ内のファイルの数を確定するためでしょうが、やたらめったら時間がかかります。複数のサブディレクトリ内に合計ウン十万個のファイルがあるディレクトリをlsした時、時間は計り忘れましたが2時間近くはCtrl-Cも効かなかったかなぁ。

データ本体はデータを読み出した時に復元されます。読みながら書いていくので、所要時間もそれなりです。ただlsの場合と違ってデータ本体に一括アクセスすることは普通ないと思いますので、これはさほど問題ないかなと思いました。でも3000ファイル4GBをtime cat * > /dev/nullで6分強。全体を完全に同期完了させるには全ファイルを読み出さないとならないので、データ量が増えると所要時間が半端無いですね。まぁ未使用領域はスキャンしないので、mdadmよりはマシと思うことにしましょうか。。brickに直接アクセスして同期すべきファイルを特定するスクリプトを作って回したら、読み出す範囲を限定できるので、部分的な損傷の時に高速化できるかなぁと思った。ちなみにcatで読み出すより公式コマンド「find <gluster-mount> -print0 | xargs --null stat >/dev/null」のほうが倍くらい速かった。20〜30MB/secくらい。バックアップマシンからrsyncでリストアするよりもちょびっと速いかも知れない。

■まとめ
当然ながらGlusterFSでのミラー復元はデータ量に応じて膨大な時間を要するので、これをアテにしたHDDの取り付け取り外しは現実的じゃないなと思いました。とはいえ普通のRAIDだって復元には膨大な時間がかかるわけですので、純粋に筐体間RAIDと考えて非常事態に備えるHA目的での運用は、あり得るのかなと思いました。

あとは複数サーバをまたがるボリュームの、異常系の動作検証が必要ですね。書き込みエラーでも動作継続できますように。

GlusterFS＋mhddfs＋XFSを試してみた

2012-02-01T14:34:00.003+09:00

mhddfsで束ねたXFS領域をGlusterFSでミラーする構成を試しています。

■感想
・GlusterFSはCPUを大食いだ。
・速度は問題無し。むしろ想像より速くてびびった。
・なんか不安定な感じがする。だいぶ不安。

■構成
最終的にはネットワーク越しで構成しますが、マシンに空きがないので、とりあえずローカルでテスト。

○検証方法
・CentOS6.2をSDカードにインストールしてmhddfsとGlusterFSを導入する。
・XFSでフォーマットしたSATA HDDを4台用意する。
・mhddfsで2台ずつ束ねる。
・束ねたhdd領域をGlusterFSでレプリカする。
・他のサーバでマウントし、適当なテストデータを大量コピー（rsync）して様子を見る。

○挙動
以下いずれもGlusterFSかmhddfsかXFSか、どの影響かわかりませんが、気が付いた点。

・パフォーマンスは悪くない。Write/Read共に80〜90MB/sくらい出てます（WD10EADS-00L5B1）。なんだ、ZFSなんかよりよっぽど速いじゃないか。RAID1の同一ディスクにイメージファイル作ってXFSフォーマットしてマウントしてGlusterFSでレプリカして、なんていう構成だと4MB/sくらいだったし、mhddfsは遅いという話を散見してたのでドキドキしてましたが、これなら実用に堪える感じ。同一ディレクトリに1万個くらいファイル設置してみましたが、これも応答速度に問題無し。XFSのおかげでしょうが。ランダムアクセスはあんまり発生しないので調べなくていいや。

・コピー途中に本構成を仕込んでるサーバが突然リブートした模様； SDカード起動の影響かな。。これなんか不安定なんすよ。SDカードはそのままにアダプタを変えると挙動が大幅に変わるし。でも起動ディスクごときにSATAポート取られたくないんだよなぁ。。

・発生条件がよくわかりませんが、permission errorでmhddfs領域に書き込めなくなる場合がある模様（もちろんpermission設定的には書き込める状態ですよ、ディレクトリ777とかで）。mhddfsのマウントし直しで解消。書き込めない最中はクライアントに対してはGlusterFSを通じてpermission errorがそのまま返る模様。多いに不安。dmesgには何も出てないし発生の瞬間には立ち会っていなかったのでよくわかりませんが、両方とも発生してたので、もしかするとmhddfsのせいじゃないかも知れない。またネットワーク越しだと違うかも知れない。

・mhddfsをGlusterFSで束ねるんですが、GlusterFS領域をローカルでマウントできません。mountコマンドを打っても無視されます。もちろんmhddfsを通さなければ動作します。FUSEの2重化が不可なんでしょうかね。ネットワーク越しではマウントできるので目をつぶることにします。

・ディスクへの書き込みは同時ではなく数秒おきにラウンドロビンするようですが、同時並行アクセスが全くないわけではないようです。ライトキャッシュも効いてる様子で、細かいファイルはかなり溜め込んでから書き込んでます。メモリ消費具合や挙動から察するに、GlusterFSがラウンドロビンして、XFSが遅延書き込みしてる感じかな？（想像）ということはbrick間やディスク間では結構な量の不一致が発生してるはずなので、運用上は留意が必要かなぁ（想像）。混ぜるな危険、みたいな。もしレプリカ修復が日常的に発生するようだと、レプリカ3本欲しいかも。。でもコストが。。

・CPU負荷が高いす。マルチコアプロセッサは必須かなぁ。atomでは無理そうだ。具体的にはこんな感じ↓＠Core 2 Quad Q6600

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2278 root 20 0 737m 28m 2012 S 68.1 0.4 62:26.57 glusterfsd
2282 root 20 0 737m 24m 2012 R 66.4 0.3 61:48.47 glusterfsd
5631 root 20 0 1294m 16m 608 S 21.3 0.2 20:00.89 mhddfs
5648 root 20 0 975m 22m 604 S 20.3 0.3 19:15.53 mhddfs

書き込みアクセス中。mhddfs領域2つをローカルでレプリケーションしてるので2つずつ上がってると思われる。
読み込みは、glusterfsdプロセスが増える場合と増えない場合がある模様。条件は不明。
メモリ消費量が小さくないようなので、小メモリ構成だと同時アクセスが増えたら危険かも知れない。この感じだと、同時100アクセスに備えるなら4GB＋キャッシュ分は必要でしょうかねぇ。

もうちょっとテストしてみます。

mhddfsをCentOS6.2に導入する（完全版）

2012-01-31T21:05:00.001+09:00

CentOS5.7ではkernelとglibcが古くて入れようが無かったmhddfsですがCentOS6.2では問題ないようです。

■必要パッケージ
yum install make gcc glibc-devel fuse fuse-libs fuse-devel

■warning対策
mkdir /usr/include/attr
ln -s /usr/include/sys/xattr.h /usr/include/attr/xattr.h

■make
wget http://mhddfs.uvw.ru/downloads/mhddfs_0.1.38.tar.gz
tar zxvf mhddfs_0.1.38.tar.gz
cd mhddfs-0.1.38
make
cp mhddfs /usr/local/bin/

■動作テスト
mkdir test
mkdir brick1
mkdir brick2
mhddfs brick1,brick2 test

■/etc/fstabに書くときの書式
mhddfs#/kfs/fuse/brick1,/kfs/fuse/brick2 /kfs/fuse/test fuse defaults,allow_other 0 0

これで一応動いているようです。。

CentOS5.7 mhddfsのmake時のwarningを解消する

2012-01-29T00:06:00.003+09:00

気持ち悪い、というかちゃんと動いていない気がするので、warningの解消を試みました。

■結論
CentOS5.7には入れられません。後日CentOS6への移行を試みます。

■xattr問題
警告：src/main.c:37:24: 警告: attr/xattr.h: そのようなファイルやディレクトリはありません
原因：CentOS5.7では sys/xattr.h に入っている。
対策：シンボリックリンクを作ってお茶を濁す。

mkdir /usr/include/attr
ln -s /usr/include/sys/xattr.h /usr/include/attr/xattr.h

■lutimes問題
警告：main.c:(.text+0x1ca9): warning: warning: lutimes is not implemented and will always fail
原因：Linuxシステムコールlutimesはglibc2.6で追加されたもの。CentOS5.7は2.5なので、搭載されていない。
対策：utimesに変えてしまえ。
注意：正常に動作しない場合がありそうな気がする。
utimesに変えると、シンボリックリンク自体のタイムスタンプを変えられなくなる。シンボリックリンクのリンク先ファイルのタイムスタンプが書き変わってしまう。シンボリックリンクを使わなければ問題にならないのでよしとする・・・と思ったんですが、GlusterFSでミラーするのに正しくタイムスタンプが変えられないのは深刻な問題のような気がするので、今回の用途としてはCentOS5.7では安心しては使えなさそうな気がしました。

2012/1/29追記
> futimes() is available since glibc 2.3. lutimes() is available since glibc 2.6, and is implemented using the utimensat(2) system call, which is supported since kernel 2.6.22.
CentOS5.7の最新kernelは2.6.18なので、純正環境ではどうあがいても無理ですね。はい。

mhddfsをCentOSに導入する

2012-01-28T21:04:00.003+09:00

warningを放置すると正常に動作しません！！次のエントリをご参照ください。

公式rpmは用意されてないのでソースから。
makeするとxattr周りでwarningが出ますが検証してませんので自己責任でどうぞ。

■make
yum install gcc glibc-devel fuse fuse-libs fuse-devel
wget http://mhddfs.uvw.ru/downloads/mhddfs_0.1.38.tar.gz
tar zxvf mhddfs_0.1.38.tar.gz
cd mhddfs_0.1.38
make
cp mhddfs /usr/local/bin/

■動作テスト
mkdir test
mkdir brick1
mkdir brick2
mhddfs brick1,brick2 test

■/etc/fstabに書くときの書式
mhddfs#/kfs/fuse/brick1,/kfs/fuse/brick2 /kfs/fuse/test fuse defaults,allow_other 0 0

GlusterFSはmhddfsと相性が良さそうだ

2012-01-28T20:12:00.011+09:00

GlusterFSとZFSを組み合わせるのを、やめることにしました。mhddfsにします。

ZFSとGlusterFSの相性は、前回エントリの通り、最悪です。チェックサムによるデータ保護やsnapshotを諦めてしまえば、mhddfsがとても素敵に見えます。（どうしてもチェックサムやsnapshotが欲しければ、GlusterFS Geo Replicationかrsyncか何かでZFSに非同期バックアップを取っておけば、それで十分かなと思った。）

1ストレージサーバに複数ディスクを取り付けてGlusterFSで束ねるべく、1サーバに複数のbrick（1ディスク＝1brick）を割り当てると、ものすごく使いにくい。
ディスクが壊れてもbrickを個別停止できません。GlusterFSのデーモンを落としてサーバを丸ごと停止する必要があります。
デーモンを落とさずbrickをマウント解除すると空ディレクトリに書き込みを始めてしまうし、ディレクトリを消すとまともに動かない。
ディスクが壊れる前に事前にデーモンを落とせれば良いが、そうでない場合、致命傷を受ける可能性があります。
束ねる際に対になるディスクは容量が揃ってないと予期せぬ動作を催します。空き容量に関係なくファイル名ハッシュで満遍なく分散保存されてしまうので、対になってないディスクでも容量が大きい分が丸ごと無駄です。
brick内のファイルを直接触るのは危険です。容量が増えれば増えるほど再構成の負担が増大します。

そこで、mhddfsでディスクをコンカチして、そこにディレクトリを掘って、GlusterFSでサーバー間でミラーリングすると、全て解決します。
ディスクが壊れたら、そのディスクのマウントポイントを削除すれば、mhddfsはそのディスクが無かったものとして動作続行し、GlusterFSがミラー復旧に努めてくれます。（マウント解除されると空ディレクトリに書き込まれちゃうのは同じなんですが、マウントポイントが消失しても問題ないのが良い点）
ディスクとbrickが結びついていないので、brickをマウント解除したりディレクトリを消去することはありません。（外したディスク以外にディレクトリエントリが記録されていなかった場合を除くものの）
よって事前にデーモンを落とせなくても、GlusterFSの困った動作の影響は受けません。（大体は。まぁメリットはエラー対処よりディスク容量問題の方が大きいんで堪忍してください）
個々のディスクの容量を揃える必要はありません。サーバ間で揃っていれば良いし、あるいはまったく揃えずとも満杯になりそうになったらディスクを手軽に追加投入して解消できます。手持ちのディスクを空きポートの数だけ全部突っ込めます。
ディスクは前方から順番に使用されていきます。負荷分散はできませんが、各ディスクのファイルは直接触っても問題ないので、ファイルを手動でコピーすればいかようにも再構成できます。

まぁパフォーマンスは測定しないといけませんけど、いいことづくめではないでしょうか。ストレージプールに追加したディスクは絶対に取り外せないZFSよりもHA運用に向いていると言えなくもないくらいじゃないですか・・・？

この路線で考えてみます。

GlusterFSとZFSを組み合わせるには

2012-01-27T02:59:00.001+09:00

GlusterFSとZFSを組み合わせて使うのに、一悶着あったので、書き残しておきます。
何かを見落としていなければ、かなりの冒険が必要のようです。

■結論（持ち越し）
・ZFSとGlusterFSは、そのままでは組み合わせ不可能（ZFSがxattrに対応してないから）
・ZVOLを作ってUFSフォーマットしてマウントすれば使えるが… えー、それマジっすか？

・ソリューション選択で何とかならないかなぁ。
FreeBSD＋ZFS(ZVOL)＋UFS＋GlusterFS
CentOS+ZFS-FUSE(ZVOL)+XFS＋GlusterFS
CentOS+mhddfs＋XFS＋GlusterFS（そもそもZFS無くても良くね？と思ってきた）

■GlusterFSとZFSの併用について
GlusterFSはディレクトリを束ねるソリューションであって、ストレージの挙動には関与しません。データの中身の整合性であるとか、ディスクのリプレースとか容量拡張とか、考慮されていません。それはそれで正しいんでしょうけど、これで複数のディスクを束ねて順次拡張しながら長期運用しようとすると困難に直面することがあるようです。（ディスクを止められないとか、最小容量のディスクに引っ張られるとか、挙動が怪しくなるとか）

その点、ZFSが併用できれば便利そうです。データをチェックサムで点検したり、書き込みホール無しのダブルパリティで物理障害に備えたり、ホットスペアを用意したり、容量の異なるディスクを継ぎ接ぎしたり、スナップショットとれたり、持続的な発展的運用にはもってこいじゃないですか。（メモリ食うし安定させるの大変だけど）

■プラットフォームの問題
GlusterFSは一応RedHat系Linuxが推奨環境になります。ZFSはFreeBSDなら安心ですが、Linuxですと今のところZFS-FUSEになるかと思います。あんまり安心して使える感じじゃないんですよね。

ここはソリューション選択で解決できそうな気がします。
・GlusterFSでミラーされてるしバックアップもあるし、データ保護は半ばどうでもいいのでZFS-FUSEを使う。
・ZFSの安定性を重視するなら（いろいろ間違ってる気がするが）Debian GNU/kFreeBSDにGlusterFSを入れる。

うーん、一応両方評価してみようかなと思います。。

■ZFSの仕様の問題
しかし、しかしです。ZFSには重大な欠点があります。GlusterFSの必須用件であるattrがサポートされていません； GlusterFSとZFSを組み合わせることは、そもそも不可能なんです；

ZFS上でattrコマンドを実行するとエラーです。
zfs set xattr=onも通りません。

これはSolarisと他OSにおける「attr」の仕組みの違いによるものです。Sorarisにはext2/3やXFS、UFSでいうところの「attr」と一致するものが存在しません（しないようです）。なのでZFSではそんなものは仕様上考慮されておらず、搭載されていないと。こりゃ時間が解決してくれる手の問題ではなさそうで、どうにもなりません。

このattr問題に関し、FreeBSD.orgのドキュメントを参照しますと驚愕の対処法が書かれています。

# zfs create -V 10g tank/ufs
# newfs /dev/zvol/tank/ufs
# mount /dev/zvol/tank/ufs /ufs

引用元：http://wiki.freebsd.org/ZFSQuickStartGuide

なんと斬新な・・・驚愕を通り越して感動すら憶えます。しかし、最近のFreeBSDにはSoftUpdateが付いてるとはいえ、これでsnapshotとか取って大丈夫なんだろうか。。疑問疑問。。スマートとも言えない。。ですよね。。容量拡張はZFSでサイズ変更してからgrowfsか？

しかしZFSを使う限り宿命なので、これで検証することにします。フォーマットは、FreeBSDならUFS、LinuxならXFSでしょうか。

■ZFSやめようかな
単にHDDを束ねるだけならmhddfs（FUSE）という手がある。ディレクトリをコンカチしてくれる素敵ソリューション。

・ファイルシステムの上のレイヤーで動くJBODのようなもの。複数のディレクトリを束ね、1つのものとして見せてくれる。mhddfs自体は中継レイヤーであり、普通のファイルシステムではない。

・mhddfsで束ねたディレクトリに書き込むと、束ねる際に指定した順番で前方のディレクトリから順次、容量フルになるまで書き込まれていく（デフォルト設定ではフルになる前に次のディレクトリに移行するけど）。

・書き込みはブロック単位ではなくファイル単位で行われる。ファイルがディレクトリをまたがって書き込まれることは無い。追記途中でディレクトリが一杯になったら次のディレクトリに自動的にマイグレーションされる（けどサイズが大きいと時間かかりまくるんじゃないかなと想像。。これは善し悪しかも知れない。）

・束ねたディレクトリは1つづつ独立した普通のディレクトリなので単独でマウントして中身を拾えるし、マウントパラメータ以外に管理情報も持っていないので運用中に適当に抜いたり追加したりしても大丈夫。

・運用中に構成ディレクトリを外すとそこにあったファイルは見えなくなるが、元通りマウントすれば復活する。冗長性は無いが、ディスクが故障した場合、そこに記録されているファイルは失われるが他のファイルは無事なので全損にはならない。

・束ねるディレクトリ間でファイル名やディレクトリ名が衝突した場合、一番前方のディレクトリにあるもののみが読み書きの対象になる。ということは、ファイルを更新してもディレクトリのタイムスタンプが更新されないケースが生じうる。プログラム的にはここ要注意かも知れない。

冗長性はGlusterFSによるreplicaでカバーできるものとすれば、これこそGlusterFSと相性がいいと言えるかも知れない。

○ディスク数を減らしたい場合
・ディスクを外したいサーバのGlusterFSプロセスを落とす（自動フェイルオーバーで稼働継続）
・mhddfsをumountして交換したいディスクのマウントポイントを外してmountし直す（欠損が発生）
・GlusterFSプロセスを上げる
・欠損部分がミラーで自動修復される（笑

○ディスク数を増やしたい場合
・ディスクを追加したいサーバのGlusterFSプロセスを落とす（自動フェイルオーバーで稼働継続）
・mhddfsをumountして取り付けたディスクのマウントポイントを最後に追加してmountし直す
・GlusterFSプロセスを上げる
・既存ディスクが埋まり次第、新しいディスクが使われていく

というわけで、チェックサムによるデータ保護はないものの、brickの構成を変更せずに素早くディスクを切り替えられてhappyになれる。

しかし。

・mhddfsはFUSEを使う。FUSEが2重になるとパフォーマンスや安定性が微妙そうな気が何となくする。
・mhddfsをCentOSに導入するのは大変そうだ。公式パッケージは無い。

うーん、決定打がない。

いっそmhddfsを改造するとかして、同期レプリケーションに特化した新しいファイルシステムを作っちゃうか？

・write系は、両方に同期ミラーで書く。
・read系は、両方から読む。データは比較してもしなくてもいいや。
・read系で、片方にファイルが無かった場合は、もう片方からコピってくる。
・タイムアウトなりエラー検知なりした場合、そのディレクトリの使用を中止する。

これでNFSを束ねれば十分じゃないか？ていうか、もしかして現存するんじゃないか？

なんか徒然と書いてしまいましたが、今日はこの辺で。

※2012/2/1修正
徒然し過ぎていたのでちょっと整理整頓しました。

GlusterFS 容量フル時の挙動を確かめてみた

2012-01-25T00:24:00.001+09:00

容量フルにならない運用を心がけるのは当然なんでしょうが、一応、そうなっちゃった時の挙動を確かめておきました。

■使用環境
CentOS5.7
GlusterFS3.2.5

■テスト方法
ダミーファイルをxfsでフォーマットし、適当にマウントし、GlusterFSで束ねます。
ダミーファイルの大きさを不均等にしておいて挙動を見ます。
今回はローカルでのテストなので、ネットワーク越しだと違うかも知れません。

■用意(zero1だけ200MB、他は1GB)
dd if=/dev/zero of=/glvols01/disk01/zero1 seek=200 bs=1M count=1
dd if=/dev/zero of=/glvols01/disk02/zero2 seek=1000 bs=1M count=1
dd if=/dev/zero of=/glvols01/disk03/zero3 seek=1000 bs=1M count=1
dd if=/dev/zero of=/glvols01/disk04/zero4 seek=1000 bs=1M count=1
mkfs.xfs /glvols01/disk01/zero1
mkfs.xfs /glvols01/disk01/zero2
mkfs.xfs /glvols01/disk01/zero3
mkfs.xfs /glvols01/disk01/zero4
mkdir /glvols01/zero1
mkdir /glvols01/zero2
mkdir /glvols01/zero3
mkdir /glvols01/zero4
mount -t xfs -o loop /glvols01/disk01/zero1 /glvols/zero1
mount -t xfs -o loop /glvols01/disk01/zero2 /glvols/zero2
mount -t xfs -o loop /glvols01/disk01/zero3 /glvols/zero3
mount -t xfs -o loop /glvols01/disk01/zero4 /glvols/zero4
gluster volume create zero replica 2 192.168.0.252:/glvols/zero1 192.168.0.252:/glvols/zero2 192.168.0.252:/glvols/zero3 192.168.0.252:/glvols/zero4

■テスト結果：レプリカディレクトリの空き容量が均等な場合
空き容量不足で正常に終了するようです。

[root@kfs02 glvols01]# dd if=/dev/zero of=/zero/zero bs=1M
dd: writing `/zero/zero': デバイスに空き領域がありません
dd: 出力ファイル `/zero/zero' をクローズ: デバイスに空き領域がありません

[root@kfs02 glvols01]# df -kh
Filesystem サイズ使用残り使用% マウント位置
/glvols01/disk01/zero1
197M 4.3M 193M 3% /glvols01/zero1
/glvols01/disk02/zero2
997M 4.3M 993M 1% /glvols01/zero2
/glvols01/disk03/zero3
997M 997M 20K 100% /glvols01/zero3
/glvols01/disk04/zero4
997M 997M 20K 100% /glvols01/zero4
glusterfs#192.168.0.252:zero
1.2G 1001M 192M 84% /zero

■テスト結果：レプリカディレクトリの空き容量が不均等の場合
片方が埋まっても、両方が埋まるまで超低速で書き込みが続いてしまうようです。
正確な速度は調べてませんが、0.5MB/sも出てない感じ。
未確認ですが、この状態で書き込みが集中すると鯖落ちということになるんでしょうか。

[root@kfs02 glvols01]# dd if=/dev/zero of=/zero/azero bs=1M

[root@kfs02 glvols01]# df -kh
Filesystem サイズ使用残り使用% マウント位置
/glvols01/disk01/zero1
197M 197M 20K 100% /glvols01/zero1　←注目
/glvols01/disk02/zero2
997M 237M 761M 24% /glvols01/zero2　←注目（zero1を超えてる）
/glvols01/disk03/zero3
997M 997M 20K 100% /glvols01/zero3
/glvols01/disk04/zero4
997M 997M 20K 100% /glvols01/zero4
glusterfs#192.168.0.252:zero
1.2G 1.2G 0 100% /zero

■考察
ファイル名でハッシュ値をとって分散しているので、brick間での空き容量に関係なく書き込みが試行されます。
書き込み先のbrickが一杯になった時点で容量フルのエラー応答。
書き込み先のbrickのうちミラーの片割れだけが容量フルになっても、エラーを返さず超低速で動き続けます。容量フルのbrickのファイルのタイムスタンプも更新され続けているので、書き込みを試行し続けているのかな。動作が遅くなるのはxfsのせいだろうか？ CPUはほとんどidolで、何をやってるのかよくわかりません。
レプリカの正誤判定は、タイムスタンプの新しいほうを正とみなす、なんてロジックでしたっけ？　だとすると破滅的な挙動に繋がるかも知れませんが確かめておらず。

■まとめ
brickごとに容量監視が必要です。
replicaで対になるbrickの容量は揃えておいたほうが良さそうです。
対にならないbrickに関しては容量が揃っていなくても深刻な問題は無さそうですが、分散アルゴリズム上、容量差は考慮されないので、容量が大きい方が無駄になる可能性が高いようです。
適当にディレクトリを切ってbrickごとの容量差を近づければ無駄にはなりませんが、パフォーマンスが落ちるであろう点と、後でbrickを1つに合併させるのは困難であろう点が気になります。
長期運用中にディスクを追加したくなった場合に、その時点でバイト単価の最も安いディスクをチョイスしても無駄になっちゃいますね。
しかし全リプレースするにしてもreplace-brickにかかる時間が馬鹿にならないだろうし、ディスク追加のパフォーマンスは良くないように思います。

このへんはZFSを組み合わせてローカルディスクを単一ディレクトリにまとめてしまえば回避できますが、メモリ＆CPUリソースが食われるんでGlusterFSの長所が一つ潰れてしまいます。
しかもZFS＠FreeBSDではattrが使えないんで、そもそもだめですね。
ついでにGlusterFS公式ではFreeBSDやZFSでの動作は検証の対象外のようですね。そりゃGlusterFS自体がRedHat傘下だしなぁ。大量データを任せるのはハイリスクなんじゃないでしょうか。

なんだか、スモールスタートでの長期運用には向いていないんじゃないか、って感じがします。
最初から構成を固定するとか、一時的かつ再現可能なデータに限って使用するとか、将来的に代替ハードを用意＆大容量データを全コピー（低速）する羽目に陥るリスクを受容するとか、何らかの妥協がいりそうです。。

ZFSとGlusterFSの操作の対比

2012-01-21T02:55:00.014+09:00

最近GlusterFSをいじっています。
ZFSが長年染み付いているので、対比表を作ってみました。

1年以上前にも導入を検討しましたが、いろいろあって見送りました。
最近システム構成を考える中で意外と行けるかもと思い直すようになりました。
ZFSよりもメモリへの要求が少ないのが、特にいいですね。

■確認したバージョン
GlusterFS 3.2.5（CentOS5.7）
ZFS v28（FreeBSD9.0）

まずは概念図から。
GlusterFSのマニュアルはZFSと同じだけど意味の違う用語が入り乱れているので、読んでて混乱します。
頭に叩き込んでおきましょう。

次にファイルシステムを作成する段取りについて。

ZFSでの操作	GlusterFSでの操作
サーバにデバイス（ディスク）を設置する /dev/ada0 /dev/ada1 /dev/ada2 /dev/ada3 /dev/ada4 /dev/ada5 /dev/ada6 /dev/ada7	サーバを信任する（例：2台） gluster peer probe 192.168.0.131 gluster peer probe 192.168.0.132 ブリック（ディレクトリ）を作成する mkdir /gluster-bricks/brick01 mkdir /gluster-bricks/brick02 mkdir /gluster-bricks/brick03 mkdir /gluster-bricks/brick04
デバイスからストレージプールを作成する zpool create tank0 mirror ada0 ada1 mirror ada2 ada3 mirror ada4 ada5 mirror ada6 ada7 ストレージプールからファイルシステムを作成する zfs create tank0/hogemoge	ブリックからボリュームを作成する gluster volume create hogemoge replica 2 transport tcp 192.168.0.131:/gluster-bricks/brick01 192.168.0.132:/gluster-bricks/brick01 192.168.0.131:/gluster-bricks/brick02 192.168.0.132:/gluster-bricks/brick02 192.168.0.131:/gluster-bricks/brick03 192.168.0.132:/gluster-bricks/brick03 192.168.0.131:/gluster-bricks/brick04 192.168.0.132:/gluster-bricks/brick04 ボリュームを利用開始する gluster volume start hogemoge
マウントポイントを設定する（マウント自体は全自動） zfs set mountpoint="/hogemoge" tank0/hogemoge	マウントする echo "192.168.0.131:hogemoge /hogemoge glusterfs default,user_xattr,_netdev 0 0" >> /etc/fstab mount -a

最後に、もうちょっと細かい操作コマンドの違いについて。
オプションは一切省いているので、説明書を必ず熟読してください。
GlusterFSは設定ファイルを直接いじれば、リネームとかも可能なんだと思いますけれども、覚えるのが面倒なのでコマンドラインツールで操作できる内容に絞りました。

ZFSの操作	ZFSでのコマンド	GlusterFSでのコマンド	GlusterFSの操作
ZFSにはGlusterFSの"信頼されたストレージプール"に相当する概念はない。サーバ構成は自分自身の1台のみで完結なので関係ない。		gluster peer probe	サーバを信任する（"信頼されたストレージプール"に追加する）
		gluster peer detach	サーバを信任解除する（"信頼されたストレージプール"から取り除く）
ファイルシステムのマウント許可（デフォルト）	zfs set canmount=on	gluster volume start	ボリューム利用開始
ファイルシステムのマウント禁止	zfs set canmount=off	gluster volume stop	ボリューム利用停止（デフォルト）
デバイスからストレージプールを作成する	zpool create	gluster volume create	ディレクトリからボリュームを作成する
ストレージプールからファイルシステムを作成する	zfs create	gluster volume create	ディレクトリからボリュームを作成する
ストレージプールを破棄する	zpool destroy	gluster volume delete	ボリュームを破棄する
ファイルシステムを破棄する	zfs destroy	gluster volume delete	ボリュームを破棄する
ストレージプールにデバイスを追加する（容量拡大、ホットスペア、ZIL、L2ARC）	zpool add	gluster volume add-brick	ボリュームにブリックを追加する（容量拡大のみ）
ZFSでは容量は縮小できない（通常デバイスは取り外せない）		gluster volume remove-brick	ボリュームからブリックを取り外す（そのブリックに記録されているデータはボリュームから消失する）(*1)
ストレージプールからデバイスを取り外す（ホットスペア、ZIL、L2ARC）	zpool remove	GlusterFSにはそうした特殊デバイスは存在しない。
デバイスを入れ替える	zpool replace	gluster volume replace-brick	ブリックを入れ替える
ZFSでは記録済みデータはリバランスできない		gluster volume rebalance	ブリック間で記録済みデータをリバランスする
ストレージプールにミラーデバイスを追加する	zpool attach	GlusterFSではミラー数は途中変更できない。
ストレージプールのミラーデバイスを削除する	zpool detach	GlusterFSではミラー数は途中変更できない。
ストレージプールの一覧を表示する	zpool list	gluster volume info all	ボリュームの構成情報を表示する。ただし容量は表示されない。(*2)
ストレージプールの状態を表示する	zpool status
ファイルシステムの一覧を表示する	zfs list
デバイスの使用を停止する	zpool offline	GlusterFSではブリックは個別停止できない。(3)(5)
デバイスの使用を再開する	zpool online	GlusterFSではブリックは個別停止できない。(3)(5)
エラーチェック＆修復	zpool scrub	レプリケーションはファイルにアクセスする度に自動修復される。(*4)
ファイルシステムをリネームする	zfs rename	GlusterFSではボリューム名は途中変更できない。

(*1)ファイル消失について
ボリュームの構成情報のみが削除され、データは残る。
各ブリックはただのディレクトリなので、ストライピングしていなければ直接救出可能。
ストライピングしている場合はファイルの一部分がsparseで欠損しているので非常に大変だと思うが、不可能ではないだろうとは思う。
まぁディスクなりブリックなりを一度追加したら簡単には外せないというのはZFSもGlusterFSも似たような状況ということで。

(*2)容量の確認方法
容量はマウント先でdf -kコマンド等で確認すればよい。
ただしGlusterFSのボリュームは普通のディレクトリの寄せ集めのため、ディレクトリ毎に空き容量がバラバラなので、df的には空いててもバランシングの状況次第では容量フルでエラっちゃう可能性がある気がする。
容量オーバーを防止するなら構成ディレクトリをそれぞれ個別に監視しないといけませんね。

(*3)ブリックは個別停止できない件について
ミラーされていて、かつNative Clientでマウントしていれば自動でフェイルオーバーされるので、停止させずに抜いちゃっても問題ないはず・・・（と思うけど確かめたわけではない）(*5)

(*4)レプリケーションの修復について
インデックスのみで良ければ find <gluster-mount> -print0 | xargs --null stat >/dev/null
ファイル内容まで完全に find <gluster-mount> -type f -exec dd if='{}' of=/dev/null bs=1M; > /dev/null 2>&1
チェックサム情報は（多分）持っていないので静的なデータ破壊までは点検できない（と思うけど確かめたわけではない）

以下20120124追記

(*5)試してみた
稼働中に、brickに使ってるディスクをマウントしてあるディレクトリをumountしてみました。
umountされてもGlusterFSは何事も無かったかのように稼働し続けました。素晴らしい。ではなくて、大変な事態に陥りました。

マウントポイントはマウント解除されることによって単なる空ディレクトリに変わりますが、GlusterFSはその空ディレクトリを使って勝手にレプリカの復元を始めてしまいます。おそらくファイルシステムの異変は感知せずレプリカの片割れが欠落したとだけ認識してしまうんでしょう。USB起動だったので起動ディスクが一瞬で埋まってしまいました・・・orz

では単にumountするだけではなくマウントポイントのディレクトリを削除するとどうなるかというと、復元動作は一応停止しますが、レプリケーションの片割れが読み書きできないことでクライアントにinput/output errorが返ってしまい、稼働継続できませんでした。レプリケーションの片割れは正常であるにも関わらずです。

シンプル設計との観点でいえば妥当な動作ではあろうと思いますが、運用中にマウントが外れることは、異常/正常を問わず有り得ると思うんですよね。これじゃ単発ディスクがSPOFになっちゃう。その対策としてディスクとファイルシステムで2重に冗長化するのはコスト高でしょう。やっぱりbrickは明示的に個別に一時停止できたほうが、いいんじゃないかなぁ。

これがネットワーク切断やサーバダウンによる片割れ停止だったら異常検知されて稼働し続けられるのかなぁと想像しますが、どうなんでしょう。後日、試してみたいと思います。

Confluenceのインストール

2011-06-28T09:34:00.001+09:00

今までシステム関係のメモは本ブログやプライベート利用のMediaWikiに書き散らしてきましたが、ぼちぼちセキュリティや管理が気になってきました。ドメイン名をhogeに書き換えたり、あくまで個人用のメモとしては、やってられません。
もっと使い勝手の良いソリューションに乗り換えを企てます、会社でAtlassian Confluenceを愛用していて、使い勝手に満足しているので、それにします。

○前準備
メモリ1GBじゃ足りない。Javaメモリ食い過ぎ。

○JDKのインストール
wget http://download.oracle.com/otn-pub/java/jdk/6u26-b03/jdk-6u26-linux-x64-rpm.bin
mv 'jdk-6u26-linux-x64-rpm.bin?e=1309186109&h=c1696b1b8ee4394e96ec0e35d0ac1bef' 'jdk-6u26-linux-x64-rpm.bin'
chmod a+x jdk-6u26-linux-x64-rpm.bin
./jdk-6u26-linux-x64-rpm.bin

○Confluence（体験版）のインストール
インストール先：/usr/local/confluence/
ホームディレクトリ（データ置き場）：/var/data/confluence/

wget http://www.atlassian.com/software/confluence/downloads/binary/confluence-3.5.6-std.tar.gz
tar -xvf confluence-3.5.6-std.tar.gz
mv confluence-3.5.6-std /usr/local/confluence
vi /usr/local/confluence/confluence/WEB-INF/classes/confluence-init.properties
-# confluence.home=c:/confluence/data
+confluence.home=/var/data/confluence/
/usr/local/confluence/bin/startup.sh

で以下にアクセスするとSetup Wizardが始まる。
http://localhost:8080/

○日本語化
http://www.ricksoft.jp/document/pages/viewpage.action?pageId=77332576

PEAR File_Archiveのバグマルチバイト文字(SJIS)対応編

2011-06-25T15:19:00.001+09:00

またPEARのPHPライブラリ「File_Archive」のバグを見つけました。
英語できんし、どうフィードバックしたらいいのかわからないので、とりあえずひとりごちります。

■現象
SJISのファイル名を圧縮しようとすると、対象ファイルが出力ファイルに含まれない場合がある。

○対象バージョン
1.5.4

■例
○対象ファイル
ソ/1.jpg

○「ソ/」を対象に書庫ファイルを生成した時の書庫内容物
（空っぽ）

■原因
PHPのいわゆる「5C問題」

■対策パッチ
/usr/share/pear/File/Archive/Reader.php
こうしたら直った。

- $std = str_replace("\\", "/", $path);
+ $std=$path;

○補足
ディレクトリの区切り文字を「\」(0x5c)から「/」に置き変える処理なんですけど、SJIS文字の2byte目に含まれる0x5cまで置換してしまっています。
マルチバイト対応版str_replace関数を自作するなどして置き換えてやるのが正攻法なんでしょうが、僕のやりたいことはLinux上にすでに存在するローカルファイルを圧縮するだけなんで、この関数は不要だと思った。
Windows版PHPとか使ってる人は、だめですよ。

○過去にさかのぼって調べてみた
調べてません。

PEAR File_Archiveのバグ

2011-06-24T23:55:00.002+09:00

PEARのPHPライブラリ「File_Archive」のバグを見つけました。
英語できんし、どうフィードバックしたらいいのかわからないので、とりあえずひとりごちります。

■現象
ディレクトリを丸ごと圧縮すると、生成された書庫ファイル内に同じファイルが二重に取り込まれてしまっていることがある。

○対象バージョン
1.5.4

■例
○ディレクトリ構成
a/1.jpg
a/2.jpg
a/3.jpg
a/4.jpg

○「a/」を対象に書庫ファイルを生成した時の書庫内容物
a/1.jpg
a/1.jpg
a/2.jpg
a/2.jpg
a/3.jpg
a/4.jpg

■原因
どうやら「readdir()」で取得されたディレクトリ「.」「..」の取り扱いに不具合がある様子。
正しくスキップせず周辺のファイルを二重に取り込んでしまう模様。

■対策パッチ
/usr/share/pear/File/Archive/Reader/Directory.php
111行目あたり、なんか判定順序がおかしい気がする。こうしたら直った。

- if ($this->source !== null) {
- $this->source->close();
- }

$file = readdir($this->directoryHandle);
if ($file == '.' || $file == '..') {
continue;
}
if ($file === false) {
return false;
}

+ if ($this->source !== null) {
+ $this->source->close();
+ }

○過去にさかのぼって調べてみた
1.1.0頃から発生している様子だけど、実際にはテストしてないのでわかりません。

zfsのprefetchは無効にすべきか

2011-02-02T01:44:00.000+09:00

結論：無効にしました。

メモリ4GB以下の環境では、prefetchは無駄読みが多いので無効にすべしとの話を散見します。
かなり大容量メモリの場合でも意味がないとのことでした。
では8GBの場合は、というと、あまり具体的な言及がないようなので、簡単にベンチしてみました。

■事前準備
kfs01# dd if=/dev/random of=/kfs01/DVD/rand.dat bs=1M count=8000
kfs01# dd if=/dev/random of=/kfs01/DVD/rand2.dat bs=1M count=8000
kfs01# dd if=/dev/random of=/kfs01/DVD/rand3.dat bs=1M count=8000
※compressionはoffです

■vfs.zfs.prefetch_disable=1
kfs01# dd if=/kfs01/DVD/rand.dat of=/dev/null bs=1M

8388608000 bytes transferred in 61.856323 secs (135614398 bytes/sec)

kfs01# dd if=/kfs01/DVD/rand.dat of=/dev/null bs=512

8388608000 bytes transferred in 126.849035 secs (66130641 bytes/sec)

○同じファイルに10秒差で3プロセス同時アクセス
kfs01# sleep 10; dd if=/kfs01/DVD/rand.dat of=/dev/null bs=1M &
kfs01# sleep 20; dd if=/kfs01/DVD/rand.dat of=/dev/null bs=1M &
kfs01# sleep 30; dd if=/kfs01/DVD/rand.dat of=/dev/null bs=1M &

8388608000 bytes transferred in 118.090073 secs (71035675 bytes/sec)
8388608000 bytes transferred in 108.089322 secs (77608110 bytes/sec)
8388608000 bytes transferred in 134.888056 secs (62189405 bytes/sec)

○別のファイルに3プロセス同時アクセス
kfs01# dd if=/kfs01/DVD/rand.dat of=/dev/null bs=1M &
kfs01# dd if=/kfs01/DVD/rand2.dat of=/dev/null bs=1M &
kfs01# dd if=/kfs01/DVD/rand3.dat of=/dev/null bs=1M &

8388608000 bytes transferred in 252.801162 secs (33182632 bytes/sec)
8388608000 bytes transferred in 279.368155 secs (30027073 bytes/sec)
8388608000 bytes transferred in 285.504720 secs (29381679 bytes/sec)

■vfs.zfs.prefetch_disable=0
kfs01# dd if=/kfs01/DVD/rand.dat of=/dev/null bs=1M

8388608000 bytes transferred in 78.085995 secs (107427817 bytes/sec)

kfs01# dd if=/kfs01/DVD/rand.dat of=/dev/null bs=512

8388608000 bytes transferred in 87.117275 secs (96290982 bytes/sec)

○同じファイルに10秒差で3プロセス同時アクセス
kfs01# sleep 10; dd if=/kfs01/DVD/rand.dat of=/dev/null bs=1M &
kfs01# sleep 20; dd if=/kfs01/DVD/rand.dat of=/dev/null bs=1M &
kfs01# sleep 30; dd if=/kfs01/DVD/rand.dat of=/dev/null bs=1M &

8388608000 bytes transferred in 210.107980 secs (39925223 bytes/sec)
8388608000 bytes transferred in 200.080233 secs (41926221 bytes/sec)
8388608000 bytes transferred in 185.853389 secs (45135620 bytes/sec)

○別のファイルに3プロセス同時アクセス
kfs01# dd if=/kfs01/DVD/rand.dat of=/dev/null bs=1M &
kfs01# dd if=/kfs01/DVD/rand2.dat of=/dev/null bs=1M &
kfs01# dd if=/kfs01/DVD/rand3.dat of=/dev/null bs=1M &

8388608000 bytes transferred in 329.962485 secs (25422914 bytes/sec)
8388608000 bytes transferred in 330.320616 secs (25395351 bytes/sec)
8388608000 bytes transferred in 332.796445 secs (25206423 bytes/sec)

■結論
ブロックサイズの小さなシーケンシャルリードは、prefetch有効のほうが速かったです。
シーケンシャルでもブロックサイズが大きいとprefetch無効のほうが速かったです。
このへんの挙動は、おおむね想定の範囲内かなと思いました。

sambaのout速度は、あんまり変わらなかったです。
sambaには一度に読む量の設定があった気がするので、設定依存かも知れません。

ddを3本同時に走らせた場合、prefetch無効のほうが速かったです。これは意外。
てっきりprefetchで先読みしてあげればIO待ちが軽減されるかと思ったのですが、速度が出てない。
ただいずれにしても、パフォーマンスは思ったほど落ちなかったようです。NCQかZFSのおかげかわかりませんが。

で、結局どうするかというと、
ブロックサイズの細かいファイルアクセスが続くような場合ですと
prefetch有効のほうがいいみたいですが、それ以外の場合は無効のほうがいいみたいですね。

ということはprefetchはホームユースのストレージサーバでは、あんまりメリットがない気がします。
でっかいファイルをシーケンシャルにドンドコ読むか、細かいファイルを個別に開いて編集するか、がほとんどかなと。

ウェブのストレージとしてもARC&L2ARCやクライアントサイドでのキャッシュなど踏まえますと
たいていの場合は、全然意味がない機能かも知れませんね？

唯一、システム起動ディスク用途としてはONのほうがいいかも知れません？
けどzvolの挙動はzfsとは異なるようなので、また改めて研究が必要だなぁ、と思います。

というわけで、追加研究の時間はなさげなので、prefetch無効で運用することにします。

rsyncを高速に

2011-01-29T01:51:00.002+09:00

rsyncを高速化するには

rsync -avS -e 'ssh -c blowfish' --progress --stats hogehoge mogemoge

みたいなオプションがいいらしい。（＋個人的趣味）

けど、blowfishは実はあんまり速くない。
手元のCore 2 Quadでは、arcfourのほうが断然速い。2～3倍くらい速い。

rsync -avS -e 'ssh -c arcfour' --progress --stats hogehoge mogemoge

メモでした。

makewhatisを止める

2011-01-29T01:43:00.001+09:00

chmod 644 /etc/cron.daily/mlocate.cron
chmod 644 /etc/cron.daily/makewhatis.cron
chmod 644 /etc/cron.weekly/makewhatis.cron

kfs01を再構築する

2011-01-27T23:55:00.008+09:00

ストレージサーバを再構築します。
OSはコピるもの、という信念の元、FreeBSDをコピって使い続けてきましたが、そろそろ昔いじった内容なんかがあやふやになってきましたので手順を完全に残しながら、改めて再インストールしたいと思います。

■インストール
高品質と言われていて、割と安定して手に入る白芝SDHC8GBを使います。1パーティション全量「/」に割り当てます。SWAPは別途ZFS上に確保します。MBRはStandardを選びます。
ちなみにlabelやfdiskの画面では構成を決定した後、[w]は押してはいけない。writeするとインストール開始後の領域確保でインストーラがエラー出して止まります。これで相当ハマりこみました。
KernDeveloperでインストールします。kernel再構築の予定はないけど、一応。
再起動かかったところでディスクイメージをddで吸い出しておくと、失敗時にやり直ししやすいです。

■SSH rootログイン許可
kfs01# vi /etc/ssh/sshd_config
-#PermitRootLogin=no
+PermitRootLogin=yes
kfs01# service sshd restart
kfs01# /etc/netstart

■設定書き換え
kfs01# vi /etc/motd
※適当に書き換え

kfs01# vi /boot/loader.conf
autoboot_delay="3"
kern.cam.boot_delay=20000
aio_load="YES"
ahci_load="YES"
siis_load="YES"
vm.kmem_size_max="6144M"
vm.kmem_size="6144M"
vfs.zfs.arc_max="3072M"
vfs.zfs.vdev.cache.size="40M"
vfs.zfs.txg.synctime=5
vfs.zfs.txg.timeout=5
vfs.zfs.vdev.max_pending=1
vfs.zfs.zfetch.block_cap=512
vfs.zfs.zfetch.max_streams=16
vfs.zfs.prefetch_disable="1"
#vfs.zfs.zil_disable="1"
cpufreq_load="YES"
#hint.acpi_throttle.0.disabled=1
#hint.acpi_throttle.1.disabled=1
#hint.acpi_throttle.2.disabled=1
#hint.acpi_throttle.3.disabled=1

kfs01# vi /etc/rc.conf
defaultrouter="192.168.0.1"
hostname="kfs01.hoge.com"
ifconfig_em0="inet 192.168.0.251 netmask 255.255.255.0 mtu 1500"
keymap="jp.106"
nfs_client_enable="YES"
nfs_server_enable="YES"
rpcbind_enable="YES"
sshd_enable="YES"
ntpdate_enable="YES"
ntpdate_flags="asia.pool.ntp.org"
mountd_enable="YES"
nfs_server_flags="-u -t -n16"
rpc_lockd_enable="YES"
rpc_statd_enable="YES"
samba_enable="YES"
webmin_enable="YES"
nmbd_enable="YES"
smbd_enable="YES"
winbindd_enable="YES"
zfs_enable="YES"
powerd_enable="YES"
#performance_cx_lowest="C2" ←ネットワークパフォーマンスが激しく低下するので却下
#economy_cx_lowest="C2"
istgt_enable="YES"
istgt_flags="-m 1"

■/tmpをメモリ上に確保（SDカード遅いから）
kfs01# echo 'tmpfs /tmp tmpfs rw,nosuid 0 0'>>/etc/fstab
kfs01# mount -a
kfs01# echo 'WRKDIRPREFIX=/tmp' >>/etc/make.conf
kfs01# echo 'TMPDIR=/tmp' >>/etc/make.conf
kfs01# echo 'DISTDIR=/tmp/distfiles' >>/etc/make.conf
kfs01# echo 'WITHOUT_X11=yes' >>/etc/make.conf
kfs01# echo 'WITHOUT_GUI=yes' >>/etc/make.conf
kfs01# echo 'NO_X=true' >>/etc/make.conf
kfs01# echo 'WITHOUT_IPV6=yes' >>/etc/make.conf
kfs01# echo 'WITH_MBSTRING=yes' >>/etc/make.conf
kfs01# echo 'SUPHOST=cvsup2.jp.FreeBSD.org' >>/etc/make.conf
kfs01# echo 'MASTER_SITE_OVERRIDE=ftp://ftp3.jp.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/' >>/etc/make.conf

■ZFS作る
kfs01# zpool create kfs01 raidz2 ada0 ada1 ada2 ada3 ada4 ada5 ada6 ada7
kfs01# zfs set atime=off kfs01
kfs01# zfs create -o compression=on -o sharenfs="-network 192.168.0.0 -mask 255.255.255.0 -maproot=root" kfs01/kfs
kfs01# zfs create -o compression=on -o sharenfs="-network 192.168.0.0 -mask 255.255.255.0 -maproot=root" kfs01/xen
kfs01# zfs create kfs01/DVD
kfs01# zfs create -o compression=on kfs01/NAS
kfs01# zfs create kfs01/zvols
kfs01# zfs create -V 16G kfs01/zvols/swap
kfs01# zfs create -V 1T kfs01/zvols/istgt1
kfs01# chmod 777 /kfs01/DVD
kfs01# chmod 777 /kfs01/NAS
kfs01# chmod 777 /kfs01/kfs
kfs01# chmod 777 /kfs01/xen

■SWAP on ZFS
kfs01# zfs create kfs01/zvols
kfs01# zfs create -V 16G kfs01/zvols/swap
kfs01# zfs set org.freebsd:swap=on kfs01/zvols/swap
kfs01# swapon -a /dev/zvol/kfs01/zvols/swap
kfs01# swapinfo

※ここらで一旦再起動

■portsnap初期化
kfs01# mkdir -p /tmp/var/db/portsnap
kfs01# echo 'WORKDIR=/tmp/var/db/portsnap' >>/etc/portsnap.conf
kfs01# echo 'SERVERNAME=portsnap.allbsd.org' >>/etc/portsnap.conf
kfs01# echo 'REFUSE arabic chinese french german hebrew hungarian' >>/etc/portsnap.conf
kfs01# echo 'REFUSE korean polish portuguese russian ukrainian vietnamese' >>/etc/portsnap.conf
kfs01# echo 'REFUSE x11 x11-clocks x11-fm x11-fonts' >>/etc/portsnap.conf
kfs01# echo 'REFUSE x11-servers x11-themes x11-toolkits x11-wm' >>/etc/portsnap.conf
kfs01# portsnap fetch extract update
※2回目以降
kfs01# portsnap fetch update

※WORKDIRについて
作業ディレクトリというものの、インデックスらしきファイルが残ります。
再起動すると消えちゃうtmpfsで大丈夫なのか、ググってもどうも確証が得られません。
まぁ安定稼働しちゃえば頻繁に使うコマンドではないと思うので、ダメだったらfetch extractからやり直すことにします。

■Portsを並列処理で高速化
kfs01# echo '.if ${.CURDIR:M*/usr/ports*}' >>/etc/make.conf
kfs01# echo 'FORCE_MAKE_JOBS=YES' >>/etc/make.conf
kfs01# echo 'MAKE_JOBS_NUMBER=8' >>/etc/make.conf
kfs01# echo '.endif' >>/etc/make.conf

※止まっちゃうportsがあれば以下のように対処する
kfs01# .if ${.CURDIR:M*mail/procmail}
kfs01# .undef FORCE_MAKE_JOBS
kfs01# .endif

■portupgrade導入 ※ディスク足りない、やらない
kfs01# cd /usr/ports/ports-mgmt/portupgrade
kfs01# make install clean
kfs01# rehash
kfs01# portsdb -uU
kfs01# pkgdb -aF

※バージョンアップ
kfs01# portupgrade -r firefox
※全バージョンアップ ←普通使わない容量注意
kfs01# setenv BATCH yes
kfs01# portupgrade -a

※ここから先のportsインストールは、同時に行うと、同じライブラリを使っていたりしてエラー出ることがあるようです。

■smartctl導入
kfs01# cd /usr/ports/sysutils/smartmontools
kfs01# make install clean
※libiconvの設定でEXTRA_PATCHESをONにする
kfs01# service smartd start

■rsyncd導入
kfs01# cd /usr/ports/net/rsync
kfs01# make config
kfs01# make install clean
kfs01# echo 'rsyncd_enable="YES"' >> /etc/rc.conf
kfs01# echo 'uid = root' >>/usr/local/etc/rsyncd.conf
kfs01# echo 'gid = wheel' >>/usr/local/etc/rsyncd.conf
kfs01# echo 'hosts allow=192.168.0.0/24' >>/usr/local/etc/rsyncd.conf
kfs01# service rsyncd start

■samba導入
kfs01# cd /usr/ports/net/samba35
kfs01# make install clean
※samba：LDAPとCUPSとIPV6を切ってAIO_SUPPORTを入れる
※python：デフォルトのまま
※perl：THREADをON
※m4：デフォルト

kfs01# mv /usr/local/etc/smb.conf /usr/local/etc/smb.conf.org
kfs01# vi /usr/local/etc/smb.conf
[global]
encrypt passwords = yes
map to guest = Bad User
workgroup = WORKGROUP
server string = hogehoge storage
hosta allow = 192.168.0.
load printers = no
display charset = utf-8
unix charset = utf-8
dos charset = cp932
aio read size = 0
aio write size = 16384
socket options = IPTOS_LOWDELAY TCP_NODELAY
write cache size = 262144

[DVD]
path = /kfs01/DVD
public = yes
writable = yes
printable = no
guest ok = yes
only guest = yes
browseable = yes

[NAS]
path = /kfs01/NAS
public = yes
writable = yes
printable = no
guest ok = yes
only guest = yes
browseable = yes

kfs01# service samba start

■iSCSIターゲット：istgt導入
kfs01# cd /usr/ports/net/istgt
kfs01# make install clean
kfs01# vi /usr/local/etc/istgt/auth.conf
[AuthGroup1]
Comment "Auth Group1"
Auth "iqn.1991-05.com.microsoft:yggdrasill" "abcdefghijklmnop"

※「MutualUser」「MutualSecret」は双方向で認証する場合に使用します。

kfs01# vi /usr/local/etc/istgt/istgt.conf
[Global]
NodeBase "iqn.com.hoge.istgt"
PidFile /var/run/istgt.pid
AuthFile /usr/local/etc/istgt/auth.conf
MediaDirectory /var/istgt
LogFacility "local7"
Timeout 30
NopInInterval 20
DiscoveryAuthMethod Auto
MaxSessions 16
MaxConnections 4
MaxR2T 32
MaxOutstandingR2T 16
DefaultTime2Wait 2
DefaultTime2Retain 60
FirstBurstLength 262144
MaxBurstLength 1048576
MaxRecvDataSegmentLength 262144
InitialR2T Yes
ImmediateData Yes
DataPDUInOrder Yes
DataSequenceInOrder Yes
ErrorRecoveryLevel 0

[UnitControl]
Comment "Internal Logical Unit Controller"
AuthMethod CHAP
AuthGroup AuthGroup1
Portal UC1 127.0.0.1:3261
Netmask 127.0.0.1

[PortalGroup1]
Comment "Portal Group 1"
Portal DA1 192.168.0.251:3260

[InitiatorGroup1]
Comment "Initiator Group1"
InitiatorName "ALL"
Netmask 192.168.0.0/24

[LogicalUnit1]
TargetName disk1
Mapping PortalGroup1 InitiatorGroup1
AuthMethod CHAP
AuthGroup AuthGroup1
UnitType Disk
QueueDepth 64
LUN0 Storage /dev/zvol/kfs01/volumes/xen1 Auto

[LogicalUnit2]
TargetName disk2
Mapping PortalGroup1 InitiatorGroup1
AuthMethod CHAP
AuthGroup AuthGroup1
UnitType Disk
QueueDepth 64
LUN0 Storage /dev/zvol/kfs01/volumes/xen2 Auto

kfs01# service istgt start
※istgtcontrol.conf は存在しなくても動くみたい…
ターゲットに向けてリムーバブルメディアを出し入れしたりする命令を発行するistgtcontrolコマンドを使わない限りは。
よくわかんないんですけど、UnitTypeでisoとかtapeとか指定した時に活用できるのかしらん？

■webmin導入
kfs01# cd /usr/ports/sysutils/webmin
kfs01# make install clean
kfs01# /usr/local/lib/webmin/setup.sh
kfs01# service webmin start

■netperf導入
kfs01# cd /usr/ports/benchmarks/netperf
kfs01# make install
kfs01# rehash

○サーバ起動
kfs01# netserver

○テスト
netperf -H kfs01.hoge.com -fM

■HPN-SSH（マルチスレッド版SSH）のためにopenssh-portableを導入
kfs01# cd /usr/ports/security/openssh-portable
kfs01# make config
※HPN有効、OVERWRITE_BASE有効（既存のsshを置き換える）
kfs01# make install clean

○バージョン確認
kfs01# ssh -v
（前）OpenSSH_5.4p1 FreeBSD-20100308, OpenSSL 0.9.8n 24 Mar 2010
（後）OpenSSH_5.2p1-hpn13v6 FreeBSD-openssh-portable-overwrite-base-5.2.p1_3,1, OpenSSL 0.9.8n 24 Mar 2010

※ここまででディスクイメージ化しておく。

■ZFSの自動スナップショット作成
kfs01# crontab -e
@daily /kfs01/kfs/backup/cron/zfs_snapshot.sh kfs01 days_later 7 recursive
@weekly /kfs01/kfs/backup/cron/zfs_snapshot.sh kfs01 weeks_later 5 recursive
@monthly /kfs01/kfs/backup/cron/zfs_snapshot.sh kfs01 months_later 12 recursive
@yearly /kfs01/kfs/backup/cron/zfs_snapshot.sh kfs01 years_later 10 recursive

ZFSのチューニング

2010-11-13T01:51:00.002+09:00

まれにZFSが落ちることがあるようなので設定してみた。
＃元はすべて未記入でした（FreeBSD8.1-RELEASE）

# vi /boot/loader.conf
vm.kmem_size_max="6144M"
vm.kmem_size="6144M"
vfs.zfs.arc_max="1024M"
# reboot

パフォーマンスは変化ありませんでした。
しばらく様子を見ます。

mail01へのDNS集約

2010-11-13T01:49:00.001+09:00

こないだDNSサーバを立てたばっかりですが、
メモリが無駄なのでmail01に集約してdns01は廃止しました。

＃これは個人用メモです。

DomU dns01の導入（再）

2010-11-06T02:01:00.001+09:00

DomU dns01の導入

以前も同じ事やりましたが、調子がよくないので中止してました。
このたびリアルサーバが壊れたので完全移行することにしました。

■立ち上げ
sed -i 's/IPADDR=192.168.0.3/IPADDR=192.168.0.21/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:00:03/HWADDR=00:16:3E:63:00:15/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=dns01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

ここらでyum updateする

■BIND導入
# yum install bind
# chkconfig named on

■BIND スレーブ設定
webminでBINDを開くと設定をジェネってくれる。
インターネット用の設定で作成する。
設定内容は元のDNSをコピってしまおう。

■全サーバにセカンダリDNS設定を配布する
対象ファイル：
/etc/resolv.conf

内容：
search hoge.com
nameserver 192.168.0.21

※以前はプロバイダのDNSサーバも指定していたが、DNSダウン中に変な経路で通信が発生するのはよくないのでカット。

配布先：
rsync -av /etc/resolv.conf ad01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf dbm01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf dbm11.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf casper.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf gatekeeper01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf iwata01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf mail01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf rock01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf www01.hoge.com:/etc/resolv.conf

※standardイメージには未反映

bootの空き容量を増やす

2010-06-19T16:17:00.001+09:00

最近CentOS4がよく落ちる。
ディスク容量を調べたら/bootがフルだった。これかな。
長年yumでアップデートしてきた結果がこれかよ。みたいな。
というわけで/bootに空き容量を作ってみた。

今のバージョンを調べてみる。
[root@backyard boot]# uname -a
Linux backyard.hoge.com 2.6.9-78.0.5.plus.c4 #1 Wed Oct 8 13:39:48 EDT 2008 i686 i686 i386 GNU/Linux

とりあえず古い 2.6.9-42 と 2.6.9-55 の関連ファイルを削除することにします。
[root@backyard boot]# ls *2.6.9-42*
System.map-2.6.9-42.0.10.plus.c4 config-2.6.9-42.0.10.plus.c4 initrd-2.6.9-42.0.10.plus.c4.img vmlinuz-2.6.9-42.0.10.plus.c4
System.map-2.6.9-42.0.3.EL config-2.6.9-42.0.3.EL initrd-2.6.9-42.0.3.EL.img vmlinuz-2.6.9-42.0.3.EL
System.map-2.6.9-42.0.3.plus.c4 config-2.6.9-42.0.3.plus.c4 initrd-2.6.9-42.0.3.plus.c4.img vmlinuz-2.6.9-42.0.3.plus.c4
System.map-2.6.9-42.0.8.EL config-2.6.9-42.0.8.EL initrd-2.6.9-42.0.8.EL.img vmlinuz-2.6.9-42.0.8.EL
System.map-2.6.9-42.0.8.plus.c4 config-2.6.9-42.0.8.plus.c4 initrd-2.6.9-42.0.8.plus.c4.img vmlinuz-2.6.9-42.0.8.plus.c4
System.map-2.6.9-42.EL config-2.6.9-42.EL initrd-2.6.9-42.EL.img vmlinuz-2.6.9-42.EL

[root@backyard boot]# ls *2.6.9-55*
System.map-2.6.9-42.0.10.plus.c4 config-2.6.9-42.0.10.plus.c4 initrd-2.6.9-42.0.10.plus.c4.img vmlinuz-2.6.9-42.0.10.plus.c4
System.map-2.6.9-42.0.3.EL config-2.6.9-42.0.3.EL initrd-2.6.9-42.0.3.EL.img vmlinuz-2.6.9-42.0.3.EL
System.map-2.6.9-42.0.3.plus.c4 config-2.6.9-42.0.3.plus.c4 initrd-2.6.9-42.0.3.plus.c4.img vmlinuz-2.6.9-42.0.3.plus.c4
System.map-2.6.9-42.0.8.EL config-2.6.9-42.0.8.EL initrd-2.6.9-42.0.8.EL.img vmlinuz-2.6.9-42.0.8.EL
System.map-2.6.9-42.0.8.plus.c4 config-2.6.9-42.0.8.plus.c4 initrd-2.6.9-42.0.8.plus.c4.img vmlinuz-2.6.9-42.0.8.plus.c4
System.map-2.6.9-42.EL config-2.6.9-42.EL initrd-2.6.9-42.EL.img vmlinuz-2.6.9-42.EL

[root@backyard boot]# mkdir ~/boot.bak
[root@backyard boot]# mv *2.6.9-42* ~/boot.bak/
[root@backyard boot]# mv *2.6.9-55* ~/boot.bak/

削除したバージョンはgrubからも抹消する
[root@backyard boot]# mkdir ~/boot.bak/grub/
[root@backyard boot]# cp /boot/grub/menu.lst ~/boot.bak/grub/
[root@backyard boot]# vi /boot/grub/menu.lst

これで使用率50%くらいまで削減成功。
[root@backyard boot]# df -hT
Filesystem Type サイズ使用残り使用% マウント位置
/dev/mapper/VolGroup00-LogVol00
ext3 37G 22G 13G 64% /
/dev/hda1 ext3 99M 49M 46M 52% /boot
none tmpfs 117M 0 117M 0% /dev/shm

mod_dosdetector-forkを導入する

2010-01-18T23:29:00.001+09:00

なんかDos攻撃を食らっているようなので、mod_dosdetector-forkを導入します。
http://wp.serpere.info/archives/tag/mod_dosdetector

導入先はgatekeeper01にします。

■初回のみRPMパッケージ作成 ※作ったrpmファイルは保存しておく。
# yum install rpm-build
# wget http://cloud.github.com/downloads/tkyk/mod_dosdetector-fork/mod_dosdetector-fork-1.0.0.tar.gz
# wget http://cloud.github.com/downloads/tkyk/mod_dosdetector-fork/mod_dosdetector-fork.spec
# cp mod_dosdetector-fork-1.0.0.tar.gz /usr/src/redhat/SOURCES/
# rpmbuild -bb mod_dosdetector-fork.spec
# cp /usr/src/redhat/RPMS/x86_64/mod_dosdetector-fork-1.0.0-1.x86_64.rpm ~

■インストール
# rpm --install mod_dosdetector-fork-1.0.0-1.x86_64.rpm

■設定
# vi /etc/httpd/conf.d/dosdetector.conf

↓以下のコメントを外す

DoSIgnoreContentType image|javascript|css

LogFormat "%{SuspectHardDoS}e %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" dosdetector
CustomLog logs/dos_suspect_log dosdetector env=SuspectDoS

ちなみに代表的な設定部分は以下の通り（デフォルト）
DoSDetection on
DoSPeriod 5
DoSThreshold 20
DoSHardThreshold 35
DoSBanPeriod 30
DoSTableSize 100
DoSShmemName mod_dosdetector

○オプションの主な意味
http://labo.opengroove.com/blog/2009/11/18/mod_dosdetector-%E3%81%A7dos%E5%AF%BE%E7%AD%96/

○備考
CustomLogはバーチャルドメインごとに定義すること

■監視
# tail -f /var/log/httpd/dos_suspect_log

■テスト
# ab -n100 -c100 http://192.168.0.34/

■ちなみにアンインストール
rpm --erase mod_dosdetector-fork

CPUがディスクアクセスに及ぼす影響を調べる

2010-01-14T01:36:00.000+09:00

CPUをアップグレードするので、折角なのでベンチ取ってみます。

あ、netperfが入ってないので導入し、テストしたら消します。
# rpm -ivh http://apt.sw.be/redhat/el5/en/i386/RPMS.dag/rpmforge-release-0.3.6-1.el5.rf.i386.rpm
# yum --enablerepo=rpmforge install netperf
受信側 # netserver
送信側 # netperf -H hoge -fM
# yum remove netperf

bonnie++も
CentOS
# yum --enablerepo=rpmforge install bonnie++

FreeBSD
# cd /usr/ports/benchmarks/bonnie++
# make && make install

■CentOS5.4＋ext3
・マシン：NEC Express5800/110Gd
・メモリ：DDR2-800(8GB)
・CPU（変更前）：Celeron D 341(L2-256KB/2.93GHz/533MHz)
・CPU（変更後）：Core 2 Quad Q6600(L2-8MB/2.40GHz/1066MHz)
・HDD：WDC WD5000AAKS-00V1A0（2台RAID1）

○HDD（5回実行の平均値）
・変更前
【Dom0 local】
# hdparm -Tt /dev/sda
Timing cached reads: 3457 MB in 2.00 seconds = 1731.81/sec
Timing buffered disk reads: 332 MB in 3.01 seconds = 110.32 MB/sec

【Dom0 local】
# bonnie++ -d /tmp -u root
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
melchior.hoge 8G 130 99 82894 60 43819 31 315 99 112855 24 332.2 5
Latency 68278us 1664ms 867ms 45624us 111ms 779ms
Version 1.96 ------Sequential Create------ --------Random Create--------
melchior.hoge -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 19533 77 +++++ +++ 22990 77 21066 82 +++++ +++ 22184 76
Latency 236us 1053us 1303us 1852us 52us 681us

【Dom0 NFS】
# bonnie++ -d /kfs_xen -u root
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
melchior.hoge 8G 232 99 20005 25 17808 16 312 99 44304 14 142.7 1
Latency 37150us 2730ms 24937ms 33436us 961ms 27126ms
Version 1.96 ------Sequential Create------ --------Random Create--------
melchior.hoge -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 808 2 1724 4 553 3 821 3 1994 5 928 2
Latency 330ms 69730us 1347ms 169ms 1243us 240ms

【DomU local】
# hdparm -Tt /dev/xvda
Timing cached reads: 3560 MB in 2.00 seconds = 1782.13 MB/sec
Timing buffered disk reads: 136 MB in 3.05 seconds = 44.54 MB/sec

・変更後
【Dom0 local】
# hdparm -Tt /dev/sda
Timing cached reads: 11026 MB in 2.00 seconds = 5524.94 MB/sec
Timing buffered disk reads: 370 MB in 3.01 seconds = 122.84 MB/sec

【Dom0 local】
# bonnie++ -d /tmp -u root
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
melchior.hoge 15G 309 99 56267 71 41546 5 670 98 113249 3 351.5 5
Latency 28697us 3914ms 4908ms 62964us 116ms 864ms
Version 1.96 ------Sequential Create------ --------Random Create--------
melchior.hoge -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ 21574 31 +++++ +++ +++++ +++ +++++ +++
Latency 690us 601us 657us 1343us 66us 190us

【Dom0 NFS】
# bonnie++ -d /kfs_xen -u root
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
melchior.hoge 15G 471 99 18778 35 16744 0 683 99 45269 0 111.8 1
Latency 17593us 49930ms 29724ms 34619us 368ms 70848ms
Version 1.96 ------Sequential Create------ --------Random Create--------
melchior.hoge -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 942 0 1972 0 646 0 974 0 2613 0 1104 0
Latency 58110us 833ms 902ms 23108us 946us 277ms

【DomU】
# hdparm -Tt /dev/xvda
Timing cached reads: 11803 MB in 2.00 seconds = 5911.98 MB/sec
Timing buffered disk reads: 242 MB in 3.05 seconds = 79.67 MB/sec

○LAN（5回実行の中央値）
・変更前
# netperf -H casper -fM
Recv Send Send
Socket Socket Message Elapsed
Size Size Size Time Throughput
bytes bytes bytes secs. MBytes/sec
87380 16384 16384 10.03 108.06

・変更後
# netperf -H casper -fM
Recv Send Send
Socket Socket Message Elapsed
Size Size Size Time Throughput
bytes bytes bytes secs. MBytes/sec
87380 16384 16384 10.04 110.98

■FreeBSD8-RELEASE＋ZFS(RAID-Z2 8本)
・マシン（変更前）：NEC Express5800/110Gc
・マシン（変更後）：NEC Express5800/110Gd
・メモリ：DDR2-800(8GB) なんだけど変更前は3GB強しか認識されておらず
・CPU（変更前）：Celeron D 331(L2-256KB/2.66GHz/533MHz)
・CPU（変更後）：Core 2 Quad Q6600(L2-8MB/2.40GHz/1066MHz)

○HDD
・変更前
# /usr/local/sbin/bonnie++ -d /mnt/kfs01/kfs -u root
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
kfs01.hoge 6G 40 85 56292 41 34684 26 126 94 71811 25 43.9 3
Latency 3661ms 5189ms 3520ms 163ms 874ms 186s
Version 1.96 ------Sequential Create------ --------Random Create--------
kfs01.hoge -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 6658 92 25612 90 7102 91 7376 96 29278 99 7216 91
Latency 29754us 12866us 16489us 60286us 149us 8955us

・変更後
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
kfs01.hoge 16G 81 98 22966 50 15804 30 228 98 45929 25 45.9 2
Latency 685ms 23522ms 7649ms 121ms 1149ms 2990ms
Version 1.96 ------Sequential Create------ --------Random Create--------
kfs01.hoge -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 7763 39 7990 19 8531 82 14359 97 22230 99 6737 98
Latency 563ms 1671ms 792us 47669us 142us 328us

■総括
○CentOS5.4＋ext3
DomUでのlocalディスクアクセスは2倍に高速化した。これは有意義。

しかしDom0はマルチコア化しても正直あんまり意味がない模様。
1割くらい高速化したかな。CPU負荷は大幅に減ってるものの。

ソフトウェアRAIDなんで、その処理が軽くなってるんだろうが、HDD自体が足を引っ張っているらしい。
っつってもウエデジ500GB1プラッタなんで、特に遅いHDDというわけではない。限界ということのようだ。

NFSはむしろ逆に遅くなってる。とはいえNFS先は本番マシンなんで、この程度なら誤差の範囲かしら。

○FreeBSD8-RELEASE＋ZFS(RAID-Z2 8本)
マルチコア化により大幅に低速化した… なんじゃこりゃｗ
念のためもう一回やってみたけど、あまり変わらなかった。

TOPで見てるとbonnie++自体が1スレッドで、CPU的には50%くらいしか食ってない。
HDD8台も積んでる割にはアクセスランプは高速にチラチラしているので、まだ余裕がありそう。

原因は、何だろう。
Pen4ベースのCeleron Dに比べてCore系は64bitに弱いと聞く。これかな。。
あるいは、なんちゃってQuad＝もっさり、ということかしら。。
いずれにせよZFSにはCore 2 Quadは向いていないらしい。
えー、散々苦労して手に入れた石なんだぞ、なんということか。予備機で眠らせろってか。

■で、どうする
メモリ3GBの環境でZFSは不安定なので、やだ。ひとまずこのままにする。
後日サーバを増設して、CPUセロリンのままメモリ8GBを突っ込んで運用することにする。
中古なら5000円くらいだろうし。。しかし総額では高くつくわー…。。

mail01 ProFTPdの導入

2010-01-14T01:29:00.001+09:00

pb01でProFTPdをMySQLベースで運用していましたが、pb01を潰すのでmail01に引っ越す。

mail01にて

# yum --enablerepo=rpmforge install proftpd-mysql
# chkconfig proftpd on

rpmforgeのyumではユーザが作られないみたい。
UID500でproftpdユーザを作っておくこと。

/etc/proftpd.confはこんな感じ
編集後 # service proftpd start

ServerIdent on ""
ServerName "PB FTP"
ServerType standalone
DefaultServer on
Port 21
Umask 022
RootLogin off
ListOptions "-la"
MaxInstances 30
User proftpd
Group proftpd

CreateHome on skel /kfs/pb/ftp/skel
DeleteAbortedStores on

DefaultRoot ~ !wheel
RequireValidShell off
UseReverseDNS off
IdentLookups off

TimesGMT off
SetEnv TZ JST-9

TimeoutIdle 600
TimeoutLogin 300
TimeoutNoTransfer 600
TimeoutStalled 600
ShowSymlinks on
MaxClientsPerHost 3
MaxHostsPerUser 10

#AllowStoreRestart on
#AllowRetrieveRestart on
#MaxStoreFileSize 100 Mb

LogFormat allinfo "%t : %u (%a [%h]) : [%s], %T, %m (%f)"
LogFormat write "%t : %u : %F (%a)"
LogFormat read "%t : %u : %F (%a)"
LogFormat auth "%t : %u (%a [%h])"
ExtendedLog /var/log/proftpd/all.log ALL allinfo
ExtendedLog /var/log/proftpd/write.log WRITE write
ExtendedLog /var/log/proftpd/read.log READ read
ExtendedLog /var/log/proftpd/auth.log AUTH auth

AllowOverwrite on
AllowStoreRestart on
AllowRetrieveRestart on

#
# Order allow,deny
# Allow from 192.168.1.0/24
# Deny from all
#

LoadModule mod_sql.c
LoadModule mod_sql_mysql.c

SQLAuthenticate users
SQLConnectInfo pb_proftpd@dbm01.hoge.com:3306 proftpd proftpd
SQLAuthTypes Crypt
SQLUserInfo users userid password uid gid homedir shell
SQLGroupInfo groups groupname gid members
AuthOrder mod_sql.c

LoadModule mod_quotatab.c
LoadModule mod_quotatab_sql.c

QuotaEngine on
QuotaLog /var/log/proftpd/quota-log
QuotaLimitTable sql:/get-quota-limit
QuotaTallyTable sql:/get-quota-tally/update-quota-tally/insert-quota-tally

SQLNamedQuery get-quota-limit SELECT "userid, quota_type, per_session, \
limit_type, bytes_in_avail, bytes_out_avail, bytes_xfer_avail, files_in_avail, \
files_out_avail, files_xfer_avail FROM quotalimits WHERE userid = '%{0}' AND quota_type = '%{1}'"

SQLNamedQuery get-quota-tally SELECT "userid, quota_type, bytes_in_used, \
bytes_out_used, bytes_xfer_used, files_in_used, files_out_used, files_xfer_used \
FROM quotatallies WHERE userid = '%{0}' AND quota_type = '%{1}'"

SQLNamedQuery update-quota-tally UPDATE "bytes_in_used = bytes_in_used + %{0}, \
bytes_out_used = bytes_out_used + %{1}, bytes_xfer_used = bytes_xfer_used + %{2}, \
files_in_used = files_in_used + %{3}, files_out_used = files_out_used + %{4}, \
files_xfer_used = files_xfer_used + %{5} WHERE userid = '%{6}' AND quota_type = '%{7}'" quotatallies

SQLNamedQuery insert-quota-tally INSERT "%{0}, %{1}, %{2}, %{3}, %{4}, %{5}, %{6}, %{7}" quotatallies

QuotaLock /usr/local/proftpd/var/proftpd/tally.lock
QuotaShowQuotas on
QuotaDisplayUnits Mb
QuotaDirectoryTally on

kfs01 S.M.A.R.T.

2010-01-07T22:39:00.002+09:00

FreeBSDでS.M.A.R.T.を使いたい。

# cd /usr/ports/sysutils/smartmontools
# make config-recursive install clean

これだけ。あとはsmartctlコマンドで情報取得する。

○情報取得
/usr/local/sbin/smartctl -a /dev/ad4
/usr/local/sbin/smartctl -a /dev/ad6
/usr/local/sbin/smartctl -a /dev/ad8
/usr/local/sbin/smartctl -a /dev/ad10
/usr/local/sbin/smartctl -a /dev/ad12
/usr/local/sbin/smartctl -a /dev/ad13
/usr/local/sbin/smartctl -a /dev/ad14
/usr/local/sbin/smartctl -a /dev/ad15

○テスト（short,long,conveyance）
/usr/local/sbin/smartctl -t short /dev/ad4
/usr/local/sbin/smartctl -t short /dev/ad6
/usr/local/sbin/smartctl -t short /dev/ad8
/usr/local/sbin/smartctl -t short /dev/ad10
/usr/local/sbin/smartctl -t short /dev/ad12
/usr/local/sbin/smartctl -t short /dev/ad13
/usr/local/sbin/smartctl -t short /dev/ad14
/usr/local/sbin/smartctl -t short /dev/ad15

mail01 Nagiosの導入

2010-01-07T01:15:00.002+09:00

cactiに代わってNagiosを入れます。

○さんこう
http://d.hatena.ne.jp/kaorumori/20080607/1212863599
http://www.crimson-snow.net/hmsvr/fedora/memo/nagios_2.10.html
http://centossrv.com/nagios.shtml

○Nagiosの導入
# yum install
# yum --enablerepo=rpmforge install nagios perl-Net-SNMP fping nagios-plugins
# htpasswd -c /etc/nagios/htpasswd.users nagios ←BASIC認証のユーザー名ね
New password:
Re-type new password:
Adding password for user nagios

# service nagios start
# chkconfig nagios on
# service httpd restart

http://mail01.hoge.com/nagios/

[root@Fedora ~]# vi /etc/nagios/cgi.cfg <= 設定ファイルの編集
以下のように権限を変更
authorized_for_system_information=nagios <= システム・プロセス情報を閲覧できる認証ユーザ
authorized_for_configuration_information=nagios <= 設定を閲覧できる認証ユーザ
authorized_for_system_commands=nagios <= システム・プロセスコマンドを発行できる認証ユーザ
authorized_for_all_services=nagios <= 全サービスの状態と設定情報を閲覧できる権限のある認証ユーザ
authorized_for_all_hosts=nagios <= 全ホストの状態と設定情報を閲覧できる権限のある認証ユーザ
authorized_for_all_service_commands=nagios <= 全サービスに対してコマンドを発行できる認証ユーザ
authorized_for_all_host_commands=nagios <= 全ホストに対してコマンドを発行できる認証ユーザ
ここまで

# vi /etc/nagios/nagios.cfg
cfg_dir=/etc/nagios/servers

あと/etc/nagios/serversを掘って、適当にcfgを置いておく。

Dom0 casperの導入

2010-01-05T01:29:00.002+09:00

alphaのディスクが壊れたのでcasperを立ち上げる。
ちょうど三台あるので、これを機にMAGIシリーズということにするｗ

1:ソフトウェアRAIDの構築に基づいてCentOS5.4をインストールする。

2:firstboot
　Firewall：Disable
　SELinux：Disable

3:共有ディレクトリを作成＆エクスポートする
4:共有ディレクトリをインポートする
# mkdir /kfs_casper
# chown -R nfsnobody:nfsnobody /kfs_casper
あと NFSサーバを建てるぞに基づいてセットアップ
ちなみに現在はkfsがあるので、他のDom0やDomUから/kfs_casperはインポートしなくてよい。
既存のものは放置するけど、今後の導入時はインポートしないようにする。
・・・あ、ということは鯖間で命名統一したほうが便利じゃんｗ
ま、いいか。。

5:webminのインストール
webminのインストールに基づいてセットアップ

6:ディスクイメージのコピー
rsyncで大量コピー。マルチコアCPUなので一気にやっちゃう。

DomU dbm01の設定

2010-01-05T01:28:00.002+09:00

糞galleryが糞重いのでDBを分離して切り離す。
新standardイメージからdbm11を生産する。

sed -i 's/IPADDR=192.168.0.3/IPADDR=192.168.0.61/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:00:03/HWADDR=00:16:3E:63:00:3d/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=dbm11.hoge.com/g' /etc/sysconfig/network
sed -i 's/myhostname = standard.hoge.com/myhostname = dbm11.hoge.com/g' /etc/postfix/main.cf
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

# yum install mysql-server
# vi /etc/my.cnf
dbm01と同じだけど、server-idはIPとそろえて11にします。

mysqldumpでSQLをdumpして流し込む。
InnoDBなのでmysqlsnapshotは使用不可。

ZFSのcompressionを有効化する

2010-01-05T01:27:00.003+09:00

イメージ置き場はZFSだが、容量が馬鹿にならないのでZFS compressionをonにする。
圧縮アルゴリズムは無難にonにしておく。
# zfs set compression=on kfs01/xen

比較は以下コマンドにて。
# ls -la
# du -h *
192GBのディスクイメージが22GBになった。ほとんどヌルデータだしね。
使用領域が多いイメージは6GB超え。あんまりおいしくない。
ちなみにZFSのduは他のFileSystemとは基準が違うらしいが、まぁ、いいさ。

追加分だけでなく既存のファイルも圧縮しておく。
# cp -Rp bak20090901 bak20090901.new ; rm -rf bak20090901 ; mv bak20090901.new bak20090901 &
# cp -Rp bak20090902 bak20090902.new ; rm -rf bak20090902 ; mv bak20090902.new bak20090902 &
# cp -Rp bak20090905 bak20090905.new ; rm -rf bak20090905 ; mv bak20090905.new bak20090905 &
# cp -Rp bak20091004 bak20091004.new ; rm -rf bak20091004 ; mv bak20091004.new bak20091004 &
# cp -Rp bak20091228 bak20091228.new ; rm -rf bak20091228 ; mv bak20091228.new bak20091228 &
# cp -Rp bak20100101 bak20100101.new ; rm -rf bak20100101 ; mv bak20100101.new bak20100101 &
# cp -Rp baseimg baseimg.new ; rm -rf baseimg ; mv baseimg.new baseimg &

mail01へのDomU集約

2010-01-05T01:27:00.001+09:00

雑多な動作を1ドメインにまとめてメモリを節約する。

ドメインを増やしたいが、メモリが足りない。他の仮想化にも言えますが、メモリの利用効率の悪さがXen最大の欠点だと思いますね。ディスクはsparseファイルやZFS close、他の資源は大体ベストエフォート割り当てでどうにでもなるが、メモリはそうは行かない。

FreeBSD+jailのほうが無駄がないが、今更切り替えるのは面倒なので、mail01にpb01、stats01、ssh01を1ドメインに集約してお茶を濁す。1.5GBの節約。

■共通
○各ドメインに散らばってるユーザをmail01にも作成する
省略。mail01に未登録のアカウントはなかった

■ssh01
もっぱら内部接続用なんで、あんまり意味がないが。。

○ssh01からmail01に公開鍵をコピー
rsyncしちゃう

○mail01 鍵なしログイン禁止
# vi /etc/ssh/sshd_config
#PasswordAuthentication yes
→PasswordAuthentication no
# /etc/rc.d/init.d/sshd restart

これでおしまい。
外部接続はネームサーバに繋がるんで、内部からつなぐときはmail01につなぐこと。

■pb01
PHPでImageMagickを使うのエントリーに従ってImageMagickを使えるようにする。

あとPEARを追加導入。
# pear install -f Mail_MIME
# pear install -f Mail_mimeDecode

pb01でkillpbdaemon、mail01でpbdaemon.shで動作テストしておしまい。
あ、FTP忘れてた。あとでconfコピっておこ。

■stats01
これを機にcactiとWebalizerは廃止する。後日Nagiosに切り替える。
4時40分にログ集計cronだけは動かしておく。よって作業は以下のみ。

■最後に
# xm shutdown pb01
# xm shutdown ssh01
# xm shutdown stats01
イメージファイルをバックアップ＆削除、DNS登録解除、あれこれ動作確認して終了。

■備考
ちなみにmail01ではAffinityGenもcronで動かしている。

DomU standardをアップデート

2010-01-01T04:37:00.000+09:00

コピー量産用のイメージに久々に手を入れる。
ついでに運用を改める。

＃繰り返しになりますが、本ブログは個人用メモです

■変更点
・yum updateしておく。
・/kfs_betaもマウントするようにする。
・DNSサーバを追加する。
・Postfix導入＆MTAの経路を現行仕様に改める。
・普段から普通に起動できるようにする。

■yum update
ふつうに
# yum update

■/kfs_betaもマウントするようにする
# vi /etc/fstab
alpha.hoge.com:/kfs_alpha /kfs_alpha nfs rw 0 0
beta.hoge.com:/kfs_beta /kfs_beta nfs rw 0 0 ←追記
kfs01.hoge.com:/mnt/kfs01/kfs /kfs nfs rw 0 0

■DNSサーバを追加する
#vi /etc/resolv.conf
search hoge.com
nameserver 192.168.0.6
nameserver 192.168.0.21 ←追加
nameserver 202.224.32.1

■Postfix導入＆MTAの経路を現行仕様に改める
# yum -y install postfix
# vi /etc/postfix/main.cf
以下最終行に追記

myhostname = standard.hoge.com
mydomain = hoge.com
myorigin = $mydomain
inet_interfaces = all
#proxy_interfaces =
mydestination = $myhostname, localhost.$mydomain, localhost, $mydomain
home_mailbox = Maildir/

smtpd_banner = $myhostname ESMTP unknown
smtpd_sasl_auth_enable = yes
smtpd_sasl_local_domain = $myhostname

smtpd_recipient_restrictions = permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination

#MailSizeLimitter 100MB
message_size_limit = 104857600

#MailBoxSizeLimitter 500MB
mailbox_size_limit = 512000000

mynetworks = 192.168.0.0/24, 127.0.0.0/8
relay_domains = $mydestination

relayhost = mail01.hoge.com

allow_mail_to_commands = alias,forward,include
allow_mail_to_files = alias,forward,include
disable_vrfy_command = yes
allow_percent_hack = yes
swap_bangpath = yes
forward_path = $home/.forward$recipient_delimiter$extension,$home/.forward
sendmail_path = /usr/sbin/sendmail

# /etc/rc.d/init.d/saslauthd start
# chkconfig saslauthd on
# chkconfig --list saslauthd
# mkdir -p /etc/skel/Maildir/new
# mkdir -p /etc/skel/Maildir/cur
# mkdir -p /etc/skel/Maildir/tmp
# chmod -R 700 /etc/skel/Maildir/
# /etc/rc.d/init.d/sendmail stop
# chkconfig sendmail off
# chkconfig --list sendmail
# alternatives --set mta /usr/sbin/sendmail.postfix
# /etc/rc.d/init.d/postfix start
# chkconfig postfix on
# chkconfig --list postfix

■普段から普通に起動できるようにする
アップデートのたびに設定変更まんどいから。
IPは192.168.0.3を割り当てる。
すると量産時に流し込むコマンドは以下の要領になる。(www01)

○起動後コマンド
sed -i 's/IPADDR=192.168.0.3/IPADDR=192.168.0.31/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:00:03/HWADDR=00:16:3E:63:00:1F/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=www01.hoge.com/g' /etc/sysconfig/network
sed -i 's/myhostname = standard.hoge.com/myhostname = www01.hoge.com/g' /etc/postfix/main.cf
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

DomU dns01の導入

2009-10-20T00:00:00.000+09:00

最近内向きプライマリDNSサーバがよく落ちる。
セカンダリDNSサーバを仮想サーバで立てることにします。
DNSくらいリアルサーバで導入しろよって気もしますが。。

■立ち上げ
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.21/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:15/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=dns01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

ここらでyum updateする

■BIND導入
# yum install bind
# chkconfig named on

■BIND スレーブ設定
webminでBINDを開くと設定をジェネってくれる。
内向き用の設定で作成する。

新規のスレーブゾーンを作成
ドメイン名 / ネットワーク：hoge.com
マスターサーバ：192.168.0.6

で保存して「更新を強制する」でおｋ。

■全サーバにセカンダリDNS設定を配布する
対象ファイル：
/etc/resolv.conf

内容：
search hoge.com
nameserver 192.168.0.6
nameserver 192.168.0.21
nameserver 202.224.32.1

配布先：
rsync -av /etc/resolv.conf beta.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf ad01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf gatekeeper01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf iwata01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf mail01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf pb01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf ssh01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf stats01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf www01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf www02.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf dbm01.hoge.com:/etc/resolv.conf
rsync -av /etc/resolv.conf dns01.hoge.com:/etc/resolv.conf

※standardイメージには未反映

DomU www02の導入

2009-10-19T23:10:00.002+09:00

新システムは結局www01で動かしてしまったので、www11を破棄してwww02を作る。
www02はwww01と異なり、cronプロセスは稼働させない。

■立ち上げ
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.32/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:20/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=www02.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

ここらでyum updateする

■www02に導入するものと手順
yum install httpd httpd-devel php perl php-mysql php-pear php-mbstring php-mcrypt ImageMagick-perl php-devel ImageMagick php-gd
perl -MCPAN -e shell
## install Jcode

○APCの導入
vi /usr/share/pear/pearcmd.php
## @ini_set('memory_limit', '16M'); ←追記する
pecl install apc
vi /etc/php.ini
## extension=apc.so ←追記する

○memcached PHPバインディングの導入
yum install php-pecl-memcache

○その他PHP関連
pear channel-update pear.php.net
pear upgrade --force PEAR
pear upgrade-all
pear install Cache_Lite
pear install Pager

○PHPの設定
#vi /etc/php.ini
↓以下変更点
output_buffering = Off
post_max_size = 80M
upload_max_filesize = 20M
mbstring.language = Japanese
mbstring.internal_encoding = EUC-JP
mbstring.http_input = pass
mbstring.http_output = pass
mbstring.encoding_translation = Off
mbstring.detect_order = SJIS,EUC-JP,JIS,UTF-8,ASCII
mbstring.substitute_character = none;

○apacheの設定
バーチャルホストベースでwww02を作ります。
httpd.confをwww01からコピってservernameあたりを修正するのみ。

○mod_rpaf
wget http://stderr.net/apache/rpaf/download/mod_rpaf-0.6.tar.gz
tar zxpf mod_rpaf-0.6.tar.gz
cd mod_rpaf-0.6
vi Makefile
以下の行を書き換える。
APXS2=$(shell which apxs2) を
APXS2=/usr/sbin/apxs
make rpaf-2.0
make install-2.0
vi /etc/httpd/conf.d/mod_rpaf.conf
以下の記述を追加
LoadModule rpaf_module modules/mod_rpaf-2.0.so
RPAFenable On
RPAFsethostname Off
RPAFproxy_ips <プロキシサーバのIPアドレス>

【出典】http://www.nire.com/2008/02/howto-install-mod_rpaf/

○起動
service httpd start
chkconfig httpd on

memcachedは今のところwww01を参照することにするので導入不要。
これで再起動、gatekeeperからラウンドロビンさせて完了。

KCMSのバージョンアップ（入れ替え）

2009-10-04T12:58:00.002+09:00

KCMSをバージョンアップしました。

■ご来訪のみなさま
本エントリー（ってかブログ全体もそうですけど）は完全なる個人用メモです。
第三者が見ても意味不明だと思います。ご了承ください。。

○メンテナンス表示ON - ルータ設定
port80とport443のアクセスを文言サーバに振り向ける
（変更前）192.168.0.11
（変更後）192.168.0.6

○影響範囲内のサーバ停止＆バックアップ - alphaにて
# xm shutdown sc01
# xm shutdown www01

停止確認後
# rsync -avz /kfs_alpha/xen/www01.img kfs01:/mnt/kfs01/xen/img/bak20091004
# rsync -avz /kfs_alpha/xen/sc01.img kfs01:/mnt/kfs01/xen/img/bak20091004

○DBバックアップ - mdb01にて
# mkdir /kfs/backup/output/`date +%Y%m%d%H%M%S`
# /kfs/backup/mysqlsnapshot -u [ID] -p [PW] -l -v -s /kfs/backup/output/`date +%Y%m%d%H%M%S`

○ファイルシステム固めてtar化 - www01にて
# cd /kfs/backup
# ./backup.sh

○ファイルシステムスナップショット - kfs01にて
# zfs snapshot kfs01/kfs@`date +%Y%m%d%H%M%S`
# zfs snapshot kfs01/xen@`date +%Y%m%d%H%M%S`

○サーバ復帰
# xm create www01

○リバースプロキシ設定変更
squidサーバ廃止のため、www01直結に変更する。
この時点でイントラアクセスが可能になる。

○ファイルシステム切り替え
ファイルの入れ替え作業を行う

○テストアクセス
イントラから確認する。

○ファイルシステムスナップショット - kfs01にて
# zfs snapshot kfs01/kfs@`date +%Y%m%d%H%M%S`

○復帰
port80とport443のアクセスを元に戻す
（変更前）192.168.0.6
（変更後）192.168.0.11

NTPで時刻合わせ

2009-09-22T04:05:00.003+09:00

予備機がNTPで同期してなかったので修正しました。

yum install ntp
ntpdate ntp.asahi-net.or.jp

あと自動同期の設定など。
vi /etc/ntp.conf
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
server -4 ntp.asahi-net.or.jp

/etc/rc.d/init.d/ntpd start
chkconfig ntpd on

ハードウェアクロックにも反映しとかないと、再起動のたびに狂っちゃうよ
hwclock --systohc

いじょう。

OpenXのアップデート

2009-09-13T18:33:00.002+09:00

DL&解凍
# wget http://download.openx.org/openx-2.8.1.tar.gz
# tar zxvf openx-2.8.1.tar.gz

DBバックアップ
# /kfs/backup/mysqlsnapshot -u [ID] -p [PW] -l -v -s /kfs/backup/output

ディレクトリ入れ替え
# mv public_html openx26_200909012
# mv openx-2.8.1.tar.gz public_html

パーミッション切り替え
# chmod -R a+w /kfs/ad/public_html/var
# chown -R apache:apache /kfs/ad/public_html/var
# chown -R apache:apache /kfs/ad/public_html/var/cache
# chown -R apache:apache /kfs/ad/public_html/var/plugins
# chown -R apache:apache /kfs/ad/public_html/var/templates_compiled
# chown -R apache:apache /kfs/ad/public_html/plugins
# chown -R apache:apache /kfs/ad/public_html/www/admin/plugins
# chown -R apache:apache /kfs/ad/public_html/www/images

あとブラウザでアクセスして適当に進める。
本当は定期メンテとか切らないといけないんだけどね。
パーミッションで怒られたら、そのとおり対処する。

終わったらvarディレクトリ内を全部書き込み禁止にしておく。

FreeBSDにiTunesサーバを立てる

2009-09-06T11:25:00.002+09:00

# cd /usr/ports/audio/mt-daapd
# make install clean
# vi /usr/local/etc/mt-daapd.conf
○パスワード変えとく
admin_pw mt-daapd
admin_pw admin

○ファイル保存先
mp3_dir /usr/local/share/mt-daapd
mp3_dir /mnt/kfs01/FreeNAS1/iTunesServer

○サーバ名
servername mt-daapd
servername KFS-iTunes

○自動起動
# vi /etc/rc.conf
mt_daapd_enable="YES"

○手動起動
# /usr/local/etc/rc.d/mt-daapd start

○Webインターフェース
http://kfs01.hoge.com:3689/

これでファイル保存先に適当にファイルを突っ込み、iTunesを起動すると自動的に接続される。

Xenイメージをストレージサーバに置く

2009-09-02T02:30:00.000+09:00

今までXenのイメージファイルはローカルディスクに置いて運用していましたが、大規模なストレージサーバを導入して日が経っていることから、ストレージサーバに置くことにしました。

当面はNFS共有で行きます。将来的にZFS＠FreeBSDでzVOL（iSCSI）がサポートされたら、また考えます。

…と思ったんだけど失敗しました。敗因は最後に。

■ストレージサーバ（kfs01）にボリューム作成、イメージ移動
○作成と移動
zfs create zen
zfs set sharenfs="-network 192.168.0.0 -mask 255.255.255.0 -maproot=root" kfs01/xen
mkdir /mnt/kfs01/xen/img
mkdir /mnt/kfs01/xen/conf
mv /mnt/kfs01/kfs/xen/* /mnt/kfs01/xen/img

○設定書き換え
Xenの設定ファイルのファイルパスを書き換えます。
>> disk = [ "tap:aio:/kfs_alpha/xen/ad01.img,xvda,w" ]
<< disk = [ "tap:aio:/kfs_xen/img/ad01.img,xvda,w" ]

○スナップショット作成
ここらでセーブしとくか。
zfs snapshot kfs01/xen@`date +%Y%m%d%H%M%S`

■AlphaとBetaにマウントポイント作成
# mkdir /kfs_xen
# mount -t nfs kfs01.hoge.com:/mnt/kfs01/xen /kfs_xen
# vi /etc/fstab
kfs01.hoge.com:/mnt/kfs01/xen /kfs_xen nfs rw 0 0

○設定ファイルはシンボリックリンク共有にしちゃう
ln -s /kfs_xen/conf/* /etc/xen/

■一気に起動
省略。

■参考：メンテナンス方法
○スナップショット閲覧
zfs list -t all

○スナップショット作成
zfs snapshot kfs01/xen@`date +%Y%m%d%H%M%S`

○スナップショット削除
zfs destroy kfs01/xen@hogehoge

■どうなったか
ストレージサーバのアクセスランプが点灯しっぱなし。パフォーマンスめちゃ悪い(1MB/sとか)。
起動にも時間かかるし、DBなんかまともに動いちゃいない。想定外の事態である。

○原因を考える
ストレージサーバへの転送速度測定では80MB/sくらい出ている。ローカルのRAID1と同じくらいなので、単体アクセス時の速度面は問題なし。複数同時アクセスするとパフォーマンスが激しく落ちるのだろうか。ZFSではキャッシュが盛大に効いているようなので、むしろ速くなるのではないかと期待していたのだが。。

ディスクイメージをNFSで共有しているのが問題なんだろうか。ファイルを部分的に読み書きする場合のNFS＋ZFSのパフォーマンスは未確認である。ここかしら。

アクセスランプが点灯しっぱなしであるが、zpool iostatでは10MB/sくらいしか読み書きしていないようである。ってかまず10MB/sも何をしているんだろうか。そんなに盛大にローカルディスクにアクセスする機会、ないんですけど。ファイルの一部分だけを書き換える操作にNFS＋ZFSが向いていなくて、広範囲を読み書きしてしまって速度が低下しているんだろうか。

○対策
しかしZFSのsnapshot機能は、サーバのディスクイメージを保管するのにもってこいの機能ではないですか。無停止で取れるし、無駄な容量食わないし。なんとしても活用したい。
というわけでサービス上の最大のボトルネックはDBの読み書きであると判断し、DBサーバだけローカルディスクで稼働するように再変更しました。
これにより、相変わらずアクセスランプは激し目に点滅しているものの、一応サービス提供に問題ないレベルまで速度向上したと思います…。なんか納得いかない。。

気がつけばOpenSolarisの新バージョンが出ているようなので、どこかの段階で、改めてSolaris導入を検討したいと思います。NFS共有がダメなんだとすれば、SolarisでZFSでzVOLでshareiscsi使えば問題なさそうな気がするので。大改造ですけども。

FUPPESを導入する

2009-06-08T03:08:00.001+09:00

FreeBSD8-CURRENTにFUPPESを入れる。

cd /usr/ports/audio/lame
make && make install
cd /usr/ports/audio/twolame
make && make install
cd /usr/ports/multimedia/ffmpeg
make && make install
cd /usr/ports/devel/pcre
make && make install
cd /usr/ports/databases/sqlite3
make && make install

cd ~
fetch http://ncu.dl.sourceforge.net/sourceforge/fuppes/fuppes-SVN-578.tar.gz
tar -xvzf fuppes-SVN-578.tar.gz
cd fuppes-SVN-578
./configure --enable-video-transcoding --disable-gnome-panel-applet --disable-libnotify
make && make install

…が、こんなのが出て止まっちゃう…。。。
lib/HTTP/HTTPMessage.cpp:781: error: 'atoll' is not a member of 'std'

ググると解決策は見あたるが、めんどいし、どうせなら最新版を入れちまえ。。
依存関係は多分おなじようなもんではないかと。

cd /usr/ports/devel/subversion
make && make install
cd ~
/usr/local/bin/svn co https://fuppes.svn.sourceforge.net/svnroot/fuppes/trunk fuppes
cd fuppes/
autoreconf -vfi
./configure
make && make install

…おいおい、こっちもエラーかよorz ※SVN636

vi src/plugins/ffmpeg/ffmpeg.cpp

#if LIBAVCODEC_VERSION_MINOR >= 11
av_freep(subtitle_to_free->rects[i]->pict.data[0]);
av_freep(subtitle_to_free->rects[i]->pict.data[1]);
av_freep(subtitle_to_free->rects[i]);
#else
av_free(subtitle_to_free->rects[i].bitmap);
av_free(subtitle_to_free->rects[i].rgba_palette);
#endif

to

//#if LIBAVCODEC_VERSION_MINOR >= 11
// av_freep(subtitle_to_free->rects[i]->pict.data[0]);
// av_freep(subtitle_to_free->rects[i]->pict.data[1]);
// av_freep(subtitle_to_free->rects[i]);
//#else
av_free(subtitle_to_free->rects[i].bitmap);
av_free(subtitle_to_free->rects[i].rgba_palette);
//#endif

これでmake && make installすると
/usr/local/bin/fuppes
に本体が入る。やれやれ。

/usr/local/bin/fuppes
でスタンドアロン版を起動すると、設定画面のURLが表示されるのでアクセスする。
共有ディレクトリを適当に指定して（あとついでにポートも固定して）
rebuild databaseする。

デーモン起動はこちら。
/usr/local/bin/fuppesd

Kingmax U-DriveをFreeBSD7.1で使う

2009-05-28T23:25:00.004+09:00

多分FreeBSD7.2でも同様だと思う。

Kingmax U-Drive 8GBとやらが安かったので買ってきたが、FreeBSDではこいつがUSBデバイスとして定義されていないので、ZFSで使用する時に盛大にエラーが出る。kernelを再構築すれば使える。

vi usbdevs
（追加）
vendor KINGMAX 0x1687 Kingmax
product KINGMAX UDRIVE 0x6211 Kingmax U-Drive

（追加）
vi umass.c
{ USB_VENDOR_KINGMAX, USB_PRODUCT_KINGMAX_UDRIVE, RID_WILDCARD,
UMASS_PROTO_SCSI | UMASS_PROTO_BBB,
NO_GETMAXLUN | NO_SYNCHRONIZE_CACHE
},

多分これだけ。ちゃんちゃん。

…と思ったらmakeが通らない… めんどくさい。やっぱやーめた。。

エラーの多いUSBメモリ対策

2009-05-05T22:12:00.003+09:00

USBメモリがよく壊れる。

USBメモリから起動させて数日経つと、フリーズしてしまう。原因は、どうやらUSBメモリのデータ破損らしい。ZFSのCKSUMがうなぎ登り。やはり激安USBメモリではムリがあったか。

対策としては、信頼性の高いストレージを導入することだが、いまさらHDDに切り替えも困難。物理的に搭載できる限界に達してしまっている。USBメモリで何とかするしかない。

SLCのUSBメモリを買えば信頼性は向上するだろうが、今のメモリが無駄だし高いし、そもそも所詮USBメモリなので、根本的解決にはならないだろう。MLCだって1万回程度の書き換え耐久はある（と言われているようだが、どう考えても2～3回くらいしか書き換えてないが…）はずで、それが10倍になったところでこの現象が収まるとは思えない。2～3日で壊れるのが、20～30日で壊れるようになっても、ねぇ。

今回はZFSのミラーリングを利用し、データが破損すること前提で、対策を打ってみる。ZFSが全ブロックチェックサムでデータ破損を検知し、正常なミラーブロックのデータで上書きして動き続ける仕組みを活用する。

バッドノウハウですけれども。。

■ディスク構成
・1GBのUSBメモリ 1本（da0）
・4GBのUSBメモリ 1本（da1）こいつが腐ってるUSBメモリ。

■構築方法
1. da0にFreeBSDをインストールする。
2. da0のFreeBSDでkernelを再構築する（da1が腐っているので、その対策のため設定改変）
3. da1を4分割し、ZFSミラープールを構築する（rpoolという名前にした）。
4. /boot以外のデータをrpoolにコピーする。
5. 起動時にrpoolをrootとしてマウントするように設定する。

■問題点
・2本1セットでないと運用できない（目をつぶる）
・bootパーティションはミラー化されていない（ddでバックアップしておくことにする）

ミラーを3本にすれば1本のUSBメモリで何とかなる気もするが、なにせ信用ならないUSBメモリなので、bootパーティションが破壊された時のために分割しておくことにします。da0のほうはわりと運用実績あるので、信用する。

■やりかた要旨（基本、３つ前のエントリーに沿って作業する）
da0にFreeBSDをインスコして、kernel再構築する。
…と思ったら1GBメモリでは容量不足で再構築できなかったので、腐ったUSBメモリで再構築した/boot以下を上書きコピーしちゃう。

○シングルモードで起動
mount -w /
mkdir /mnt/temp
mount /dev/da1s1a /mnt/temp
rm -rf /boot
cp -a /mnt/temp/boot /
umount /mnt/temp
rmdir /mnt/temp
reboot

○マルチユーザモードで起動
sysinstall->fdiskでスライスを同容量で4つ確保する(da1)
7843838/4 = 1960959

sysinstall->labelでそれぞれパーティションを1つづつ作る
da1s1d/da1s2d/da1s3d/da1s4d

ミラープール作成
zpool create rpool mirror /dev/da1s1d /dev/da1s2d /dev/da1s3d /dev/da1s4d

ZFSパーティション作成。読み書き速度が1/4になる＆容量ちょっと足んないので、全部圧縮しちゃう。
zfs create rpool/root
zfs set compress=gzip rpool/root
zfs set atime=off rpool/root
zpool export rpool
reboot

○シングルユーザモードで起動
mount -w /
zpool import rpool

da0のデータをrpoolにコピーしてboot時にマウントされるようにする。
find -x / | cpio -pmd /rpool/root

rm -rf /rpool/root/boot
mkdir /rpool/root/bootdir
cd /rpool/root
ln -s bootdir/boot boot
echo 'vfs.root.mountfrom="zfs:rpool/root"' >> /boot/loader.conf

vi /rpool/root/etc/fstab
（変更前）/dev/da0s1a / ufs rw 1 1
（変更後）/dev/da0s1a /bootdir ufs rw 1 1

cd /
zfs set mountpoint=/ rpool/root
zfs set mountpoint=legacy rpool

zpool export
reboot

これだけ。ナイスだZFS。
安定性はまた後日レポします。

--追記（2009/5/15）--
極めて安定している。嘘のように安定している。エラーが出ない・・・orz
4組ミラーはさすがに無駄が多いので、2組ミラーのストライピングに切り替えちゃいました。
zpool detach rpool da1s3d
zpool detach rpool da1s4d
zpool add rpool mirror /dev/da1s3d /dev/da1s4d

うーん、再起動不要。ナイスだZFS。

DomU mem11の導入

2009-04-28T22:13:00.004+09:00

memcached専用ドメインを作る。
ローカル稼働の方が速いんだろうけど、まぁ、共有すると思うので、一応…。
一応新システム用ということでリビジョンコードを上げて、1x系とする。

■立ち上げ
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.161/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:A1/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=mem11.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

ここらでyum updateする

■mem01に導入するものと手順
yum --enablerepo=rpmforge install memcached
service memcached start
chkconfig memcached on

とりあえず、これで終わり。
www11からテストしてみる。

vi /etc/sysconfig/memcached
PORT="11211"
USER="nobody"
MAXCONN="1024"
CACHESIZE="128"
OPTIONS=""

DomU www11の導入

2009-04-28T22:13:00.003+09:00

memcachedをフル活用した超高速な新システムを構築するべく、導入する。

■立ち上げ
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.151/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:97/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=www11.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

ここらでyum updateする

■www01に導入するものと手順

yum install httpd httpd-devel php perl php-mysql php-pear php-mbstring php-mcrypt ImageMagick-perl php-devel
perl -MCPAN -e shell
## install Jcode

○APCの導入
vi /usr/share/pear/pearcmd.php
## @ini_set('memory_limit', '16M'); ←追記する
pecl install apc
vi /etc/php.ini
## extension=apc.so ←追記する

○memcached PHPバインディングの導入
yum install php-pecl-memcache

○その他PHP関連
pear channel-update pear.php.net
pear upgrade --force PEAR
pear upgrade-all
pear install Cache_Lite

○PHPの設定
#vi /etc/php.ini
↓以下変更点
output_buffering = Off
post_max_size = 80M
upload_max_filesize = 20M
mbstring.language = Japanese
mbstring.internal_encoding = EUC-JP
mbstring.http_input = pass
mbstring.http_output = pass
mbstring.encoding_translation = Off
mbstring.detect_order = SJIS,EUC-JP,JIS,UTF-8,ASCII
mbstring.substitute_character = none;

○apacheの設定
バーチャルホストベースでwww01を作ります。httpd.confを適切に編集する。

○mod_rpaf
wget http://stderr.net/apache/rpaf/download/mod_rpaf-0.6.tar.gz
tar zxpf mod_rpaf-0.6.tar.gz
cd mod_rpaf-0.6
vi Makefile
以下の行を書き換える。
APXS2=$(shell which apxs2) を
APXS2=/usr/sbin/apxs
make rpaf-2.0
make install-2.0
vi /etc/httpd/conf.d/mod_rpaf.conf
以下の記述を追加
LoadModule rpaf_module modules/mod_rpaf-2.0.so
RPAFenable On
RPAFsethostname Off
RPAFproxy_ips <プロキシサーバのIPアドレス>

【出典】http://www.nire.com/2008/02/howto-install-mod_rpaf/

○起動
service httpd start
chkconfig httpd on

ZFS＠FreeBSDの導入

2009-04-11T09:13:00.021+09:00

Dom0でファイルサーバを動かしていたが、大容量化するべくZFSを使いたくなったので、ZFSが使えるOSに乗り換える。LinuxはZFSとライセンスの折り合いが悪いようで、Solaris系かFreeBSD系から選択せねばならない。正直まんどい。

■FreeNAS 0.7.4489(amd64)
一旦入れてみたものの、負荷をかけると安定しない。カーネルメモリの割り当てが足りない。amd64版でも1.5GB割り当てようとすると、起動しなくなる。こういうブツは標準状態を改変して運用したくないので泣く泣くパスすることにする。

■Solaris 10
HDDを丸ごとNAS領域にしたいのでUSBメモリにインスコしたが、めちゃめちゃ重い。起動に1時間かかる。神聖Solaris帝国っちゅーことでパッケージの依存関係を自動解決できず運用工数もかかるし、これもパスすることにする。

■OpenSolaris 2008/11
NEC Express5800/110Gdでインストーラが起動しない。Language選択で画面がまっ白になり、固まる。パスすることにする。

■Nexenta Core 1.0.1 Stable
Debian互換のSolaris。パッケージ管理がapt-getで楽勝だろうということで。
インストールは簡単。導入先を選択し、ネットワーク設定を行うだけ。起動すると既にSSHDが上がっているので、以後はSSHから操作することにする。
＃初期状態でzfs snapshotが取られていてGJ。

だがしかし、FreeNASで作ったZFS領域をimportできなかった。詳しい情報があまりないのだが、どうもBSD Flagというのがあって、簡単には移行できないっぽい？ Solaris系は諦めるしかないのか…？

■Nexenta Core 2.0RC1
NEC Express5800/110Gdでインストーラが起動しない。ロード中に落ちる。他のマシンでインストールして110Gdに繋いでも、ロードが終わらない。ダメっぽい。

…結局、モトのNreeNASで何とかするか、素のBSDを入れるしか選択肢がない。。FreeNAS0.7はamd64版が全然公開されないし、進捗遅そうなので、自力で立てるほうを選択します。

■FreeBSD7.1 RELEASE
HDDを全量ストレージにするため、USBメモリにminimalでインスコした。
USBメモリは書換耐久力が気になる。ZFSは追記型FSなので書き換え領域が分散するし、後からミラー追加できるし、全ブロックにCheckSUM付きで安心である。ここを参考に/ディレクトリのZFS化を試みた。

…USBメモリがFlushコマンドに対応していないらしく、書き換える度に猛烈にエラーが出まくる…。
↓書き込む度にこんなのが大量にグワァァァーーーっと。
(da0:umass-sim0:0:0:0): SYNCHRONIZE CACHE. CDB: 35 0 0 0 0 0 0 0 0 0
(da0:umass-sim0:0:0:0): CAM Status: SCSI Status Error
(da0:umass-sim0:0:0:0): SCSI Status: Check Condition
(da0:umass-sim0:0:0:0): ILLEGAL REQUEST asc:24,0
(da0:umass-sim0:0:0:0): Invalid field in CDB
(da0:umass-sim0:0:0:0): Unretryable error

kernelを再構築すれば解消できるらしいが、minimalで入れてしまったのでソースやmakeはおろかkpg_addもsysinstallも、fetchさえも入っていない始末。。。

…素のBSDでも、一筋縄では行かないようで。

気を取り直して再インスコからやり直す。他のOSがまともに動かないんじゃ、しょうがない。。

■FreeBSD7.1 インストール
インストールパッケージは「Kern-devel」を選択。
スライスはUSBメモリ全体を丸ごと1スライスで確保する。
パーティションは/を1.5GB確保（一次インストール＆/boot用）。残り全量をマウント無しで確保（ZFSストレージ化して後から引っ越す）。
＃後から思ったが、/bootをちょびっと確保して、/とZFS領域を同量で確保しておくと、JBOBかRAID0で無駄なく使えたかもな… と思った。

■kernel再構築マルチユーザモードでも可
○再構築の準備＆ついでに若干最適化
cd /usr/src/sys/amd64/conf
cp GENERIC KFS
vi KFS
（変更前）ident GENERIC
（変更後）ident KFS

↓コメントアウトした行。もっと攻めてもいいけど、無難にね。。
makeoptions DEBUG=-g
options INET6
options SCTP
options COMPAT_FREEBSD4
options COMPAT_FREEBSD5
options COMPAT_FREEBSD6
options KTRACE
options AUDIT

○Transcend JetFlash Driveの機器追加
エラーを吐きまくる現象を回避する。このメモカ限定の現象。参考資料１参考資料２

cd /usr/src/sys/dev/usb/
vi usbdevs
（追加）product ALCOR TRANSCEND 0x6387 Transcend JetFlash Drive

vi umass.c
（追加）
{ USB_VENDOR_ALCOR, USB_PRODUCT_ALCOR_TRANSCEND, RID_WILDCARD,
UMASS_PROTO_SCSI | UMASS_PROTO_BBB,
NO_GETMAXLUN | NO_SYNCHRONIZE_CACHE
},

○kernel再構築
cd /usr/src/sys/amd64/conf
config KFS
cd ../compile/KFS
make cleandepend
make depend
make
make install

reboot

■ZFS pool作成マルチユーザモードでも可
zpool create rpool /dev/da0s1d

zfs create rpool/root
zfs create rpool/root/usr
zfs create rpool/root/var
zfs create rpool/root/var/log

zfs set compress=gzip rpool/root/usr
zfs set compress=gzip rpool/root/var/log
zfs set atime=off rpool
zfs set quota=512M rpool/root/var/log

echo 'zfs_enable="YES"' >> /etc/rc.conf
echo 'zfs_load="YES"' >> /boot/loader.conf
echo 'vm.kmem_size="1536M"' >> /boot/loader.conf
echo 'vm.kmem_size_max="1536M"' >> /boot/loader.conf

zpool export rpool
reboot

■ZFS on root化シングルユーザモード
mount -w /
zpool import rpool

find -x / | cpio -pmd /rpool/root

rm -rf /rpool/root/boot
mkdir /rpool/root/bootdir
cd /rpool/root
ln -s bootdir/boot boot
echo 'vfs.root.mountfrom="zfs:rpool/root"' >> /boot/loader.conf

vi /rpool/root/etc/fstab
（変更前）/dev/da0s1a / ufs rw 1 1
（変更後）/dev/da0s1a /bootdir ufs rw 1 1

cd /
zfs set mountpoint=/usr rpool/root/usr
zfs set mountpoint=/var rpool/root/var
zfs set mountpoint=/var/log rpool/root/var/log
zfs set mountpoint=/ rpool/root
zfs set mountpoint=legacy rpool

zpool export
reboot

■SWAPのZFS化シングルユーザモード
zfs create -V 1GB rpool/swap
zfs set org.freebsd:swap=on rpool/swap

zpool export
reboot

■ゴミ片付けシングルユーザモード
cd /bootdir
rm -rf `ls | grep '[^boot]'`

mv /bootdir/boot /bootdir/boot.old
cp -Rp /bootdir/boot.old/* /bootdir
mv /bootdir/boot /bootdir/boot.file
cd /bootdir
ln -s ./ ./boot

echo '/loader' >> /bootdir/boot.config

rm /boot
mkdir /boot
vi /etc/fstab
/dev/ad0s1a /boot ufs rw 1 1

zpool export
reboot

■続・ゴミ片付けシングルユーザモード
rm -rf /bootdir

↓残りの作業はまだまだこんなに。。

■NFS
vi /etc/rc.conf
（追加）nfs_server_enable="YES"
（追加）nfs_server_flags="-u -t -n16"
（追加）rpc_lockd_enable="YES"
（追加）rpc_statd_enable="YES"
（追加）rpcbind_enable="YES"

zfs_enable="YES"
↑これも書いておかないと、zfs set sharenfsが効かない。

共有ディレクトリはZFSでmountする。
zfs set sharenfs="-network 192.168.0.0 -mask 255.255.255.0 -maproot=root" kfs01/kfs

■Samba
ja-sambaとsambaの違いは、設定ファイルやメッセージが日本語だったりする点。正直いらね。
よってsysinstallからnet/sambaを入れちゃう。

vi /etc/rc.conf
（追加）samba_enable="YES"

でもって、文字コードにUTF8やCP932を指定したりする。
vi /usr/local/etc/smb.conf
[global]
encrypt passwords = yes
map to guest = Bad User
workgroup = WORKGROUP
server string = hogehoge storage
hosta allow = 192.168.0.
load printers = no
display charset = utf-8
unix charset = utf-8
dos charset = cp932

[homes] ※すべてコメントアウト
[printers] ※すべてコメントアウト

[FreeNAS1] ※ネーミングはFreeNAS時代の名残り
comment = FreeNAS1
path = /mnt/kfs01/FreeNAS1
public = yes
writable = yes
printable = no
guest ok = yes
only guest = yes
browseable = yes

ちなみにja-sambaの場合↓
cd /usr/ports/japanese/samba3
make config
make NO_CHECKSUM=yes
make install clean
あとは一緒。

/usr/local/etc/rc.d/samba start

■Webmin
sysinstallで導入しとく。

vi /etc/rc.conf
（追加）webmin_enable="YES"

■Postfix
■rsyncd
■smartd

DomU mail01の設定（２）

2009-02-27T22:00:00.002+09:00

MySQL化＋バーチャルドメイン化。

ここが秀逸だったので保管。
http://centos.bungu-do.jp/2008/11/postfix_postfixmysqldovecotpos.html
http://s03.megalodon.jp/2009-0227-2203-27/centos.bungu-do.jp/2008/11/postfix_postfixmysqldovecotpos.html

既存のローカル配送は維持したいので、main.cfはこんな感じになった。

mydestination = $myhostname, localhost.$mydomain, localhost, $mydomain
#local_transport = virtual
local_transport = local
virtual_transport = virtual
virtual_mailbox_base = /kfs/mail
virtual_alias_maps = mysql:/etc/postfix/mysql_virtual_alias_maps.cf

virtual_alias_domains = $virtual_alias_maps
virtual_mailbox_domains = mysql:/etc/postfix/mysql_virtual_domains_maps.cf
virtual_mailbox_maps = mysql:/etc/postfix/mysql_virtual_mailbox_maps.cf
virtual_minimum_uid = 89
virtual_uid_maps = static:89
virtual_gid_maps = static:89

virtual_mailbox_limit = 512000000
virtual_mailbox_limit_maps = mysql:/etc/postfix/mysql_virtual_mailbox_limit_maps.cf
virtual_mailbox_limit_override = yes
virtual_overquota_bounce = yes
virtual_mailbox_limit_inbox = yes

DomU yjnews01の設定

2009-02-14T14:11:00.002+09:00

sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.241/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:F1/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=yjnews01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

ln -s /etc/xen/yjnews01 /etc/xen/auto/yjnews01

ここらでyum updateする

「全Dom0にPostfixを入れる」をやる
「DomU www01の設定」をやる

/usr/share/pear/pearcmd.php に追記
> @ini_set('track_errors', true);
> @ini_set('html_errors', false);
> @ini_set('magic_quotes_runtime', false);
> @ini_set('memory_limit','16M'); // ここに追加

# yum install gcc-c++
# pear install HTTP_Request
# yum -y install php-devel
# pecl install perl

php.iniに追記
> extension=perl.so

# service httpd restart

# wget http://downloads.sourceforge.net/mecab/mecab-0.97.tar.gz?use_mirror=jaist
# wget http://downloads.sourceforge.net/mecab/mecab-ipadic-2.7.0-20070801.tar.gz?use_mirror=jaist
# wget http://downloads.sourceforge.net/mecab/mecab-perl-0.97.tar.gz?use_mirror=jaist
# wget http://gensen.dl.itc.u-tokyo.ac.jp/soft/TermExtract-4_08.tar.gz

# tar xvzf mecab-0.97.tar.gz
# cd mecab-0.97
# ./configure --with-charset=utf8 --prefix=/usr/local/mecab
# make
# make install
# cd ..

# tar xvzf mecab-ipadic-2.7.0-20070801.tar.gz
# cd mecab-ipadic-2.7.0-20070801
# ./configure --with-charset=utf8 --prefix=/usr/local/mecab --with-mecab-config=/usr/local/mecab/bin/mecab-config
# make
# make install
# cd ..

# tar xvzf mecab-perl-0.97.tar.gz
# cd mecab-perl-0.97
# sed -i s/mecab-config/\\/usr\\/local\\/mecab\\/bin\\/mecab-config/ Makefile.PL
# perl Makefile.PL
# make
# make install
# cd ..

# tar xvzf TermExtract-4_08.tar.gz
# cd TermExtract-4_08
# perl Makefile.PL
# make
# make install
# cd ..

# cd /usr/lib/perl5/site_perl/5.8.8/TermExtract/
# nkf --utf8 MeCab.pm > MeCab-utf8.pm
# mv MeCab-utf8.pm MeCab.pm

# perl -MCPAN -e shell
## install DB_File

いじょう。

ad01の設定

2008-10-11T00:25:00.001+09:00

sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.231/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:E7/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=ad01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

ln -s /etc/xen/ad01 /etc/xen/auto/ad01

output_buffering = Off
zlib.output_compression = Off
register_argc_argv = On
mbstring.internal_encoding = EUC-JP
mbstring.http_input = auto
mbstring.http_output = SJIS
mbstring.detect_order = auto
mbstring.substitute_character = none;

/etc/rc.d/init.d/saslauthd start
chkconfig saslauthd on
chkconfig --list saslauthd
mkdir -p /etc/skel/Maildir/new
mkdir -p /etc/skel/Maildir/cur
mkdir -p /etc/skel/Maildir/tmp
chmod -R 700 /etc/skel/Maildir/
/etc/rc.d/init.d/sendmail stop
chkconfig sendmail off
chkconfig --list sendmail
alternatives --set mta /usr/sbin/sendmail.postfix
/etc/rc.d/init.d/postfix start
chkconfig postfix on
chkconfig --list postfix

あとpostfixの設定、と。

PHPでImageMagickを使う

2008-05-27T03:46:00.001+09:00

# vi /usr/share/pear/pearcmd.php
@ini_set('memory_limit','80M'); を追記

# yum install ImageMagick-devel
# pecl install imagick
# vi /etc/php.ini
extension=imagick.so を追記

# service httpd restart
# yum install dcraw　※RAW現像用

■参考
http://labs.uechoco.com/blog/2008/04/phppecl.html

■imagick2.0系のドキュメント
http://php.morva.net/manual/ja/book.imagick.php
ネットに出回っているのは1.0系が多く、使えない。後方互換なし。

MySQLのバックアップ

2008-05-03T11:41:00.005+09:00

毎回忘れるのでメモ。

データ元で
# /kfs/backup/mysqlsnapshot -u [ID] -p [PW] -l -v -s /kfs/backup/output
# rsync -av /kfs/backup/output/* dbm01.hoge.com:/var/lib/mysql/

データ先で
# service mysqld stop
# cd /var/lib/mysql
# tar -zxvf *.tar ←1つずつ展開しないとだめ。
# service mysqld start

なおInnnoDBの場合はmysqlsnapshotでは取れない。
# mysqldump -u*** -p*** --all-databases -l --flush-logs > ***.sql

ssh01を立ち上げる

2008-04-26T14:45:00.006+09:00

外部からのSSH着信用に専用待ち受けサーバを立てることにしました。
やっぱ危ないもんね。

cp --sparse=auto /kfs_alpha/xen/standard.img /kfs_alpha/xen/ssh01.img

cp /etc/xen/standard /etc/xen/ssh01
sed -i 's/name = "standard"/name = "ssh01"/g' /etc/xen/ssh01
sed -i 's/maxmem = 512/maxmem = 256/g' /etc/xen/ssh01
sed -i 's/memory = 512/memory = 256/g' /etc/xen/ssh01
sed -i 's/uuid = "37d373d8-22ae-7923-2e14-3977aa63ac00"/uuid = "37d373d8-22ae-7923-2e14-3977aa630029"/g' /etc/xen/ssh01
sed -i 's/disk = \[ \"tap:aio:\/kfs_alpha\/xen\/standard.img,xvda,w\" \]/disk = \[ "tap:aio:\/kfs_alpha\/xen\/ssh01.img,xvda,w\" \]/g' /etc/xen/ssh01
sed -i 's/vif = \[ \"mac=00:16:3e:63:95:00,bridge=xenbr0\" \]/vif = \[ \"mac=00:16:3e:63:00:29,bridge=xenbr0\" \]/g' /etc/xen/ssh01

○ssh01
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.41/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:29/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=ssh01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

○公開鍵設定まで
# yum update
・DNSに設定追加
・Webmin Clusterに参加させ、ユーザーを同期させる
・SSH公開鍵のセット
# cd ~
# mkdir .ssh
# vi .ssh/authorized_keys
公開鍵をペースト
# chmod 600 .ssh/authorized_keys
# chmod 700 .ssh
# chwon -R hoge:hoge .ssh
これを各ユーザー分セットしてしまえ

○鍵なしログイン禁止
# vi /etc/ssh/sshd_config
#PasswordAuthentication yes
→PasswordAuthentication no
# /etc/rc.d/init.d/sshd restart

いじょ。

なお、鍵はPoderosaで作成しましたが、WinSCPとPuTTyはPuTTy形式の秘密鍵しか認識しないので、秘密鍵についてはPoderosaで生成後、puttygenでputty形式に変換しました。

あとー、/etc/snmp/snmpd.confを他のサーバからコピーしておく。standardイメージには入ってないです。

unixbenchによるベンチマークテスト

2008-04-20T08:54:00.008+09:00

unixbenchでベンチしてみる。
rpmforgeのx86_64のrpmはディレクトリ構成がイケてないので、シンボリックリンク貼っております。

# yum --enablerepo=rpmforge install unixbench
# ln -s /usr/lib64/unixbench /usr/lib/unixbench
# unixbench

このまま30～40分待つ。

# rm /usr/lib/unixbench
# yum remove unixbench

なお、x86_64でi386を使う場合は、rpm持ってきてrpmコマンドで入れないとだめだぞ。
# wget http://ftp-stud.fht-esslingen.de/dag/redhat/el5/en/i386/dag/RPMS/unixbench-4.0.1-1.el5.rf.i386.rpm
# rpm --install unixbench-4.0.1-1.el5.rf.i386.rpm
# unixbench
# rpm --erase unixbench

Celeron D 341 と Core 2 Quad のunixbench対決結果

プロセッサ	CelD341	CelD341	Q6700	CelD341	Q6700
ドメイン種別	Dom0	DomU	Dom0	Dom0	Dom0
ドメイン名/td>	alpha	dev	alpha	beta	alpha
unixbenchのアーキテクチャ	x86_64	x86_64	x86_64	i386	i386
Arithmetic Test (type = double)	237.4	235.3	287.5	213.4	240.0
Dhrystone 2 using register variables	526.2	525.3	1297.2	385.3	945.0
Execl Throughput	173.8	7.8	372.3	202.8	417.0
File Copy 1024 bufsize 2000 maxblocks	322.3	319.0	802.4	316.5	708.6
File Copy 256 bufsize 500 maxblocks	212.2	214.8	530.8	207.9	463.8
File Copy 4096 bufsize 8000 maxblocks	590.9	525.9	301.0	586.0	297.1
Pipe Throughput	156.0	171.6	404.1	155.4	333.5
Pipe-based Context Switching	0.0	0.0	0.0	111.0	221.0
Process Creation	117.9	114.5	304.5	152.0	393.8
Shell Scripts (8 concurrent)	321.7	68.2	312.8	328.3	320.5
System Call Overhead	115.1	119.0	290.1	102.8	209.4

全Dom0にPostfixを入れる

2008-04-13T22:38:00.003+09:00

しまった、面倒なことになってしまった。
PHPやPerlはsendmailをコマンドラインで叩いてメール送信するので、各Dom0にMTAを導入してやらないとメールを集約できないじゃん・・・。。。

Webminで全mail01を除く各Dom0にPostfixを入れて、設定ファイルをコピーすることにする。ああ、まんどい。
※alphaには入れない。Dom0が常に動いているとは言い切れないのでトラブルの元。

全DomUに
# yum -y install postfix

全DomUに設定追記
myhostname = stats01.hoge.com
mydomain = hoge.com
myorigin = $mydomain
inet_interfaces = all
#proxy_interfaces =
mydestination = $myhostname, localhost.$mydomain, localhost, $mydomain
home_mailbox = Maildir/

#SMTP-Auth
smtpd_banner = $myhostname ESMTP unknown
smtpd_sasl_auth_enable = yes
smtpd_sasl_local_domain = $myhostname
smtpd_recipient_restrictions = permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination

#MailSizeLimitter 100MB
message_size_limit = 104857600

#MailBoxSizeLimitter 500MB
mailbox_size_limit = 512000000

mynetworks = 192.168.0.0/24, 127.0.0.0/8
relay_domains = $mydestination

relayhost = mail01.hoge.com
#transport_maps = hash:/etc/postfix/transport
#alias_maps = hash:/etc/aliases, hash:/etc/mailman/aliases

#manual setting
allow_mail_to_commands = alias,forward,include
allow_mail_to_files = alias,forward,include
disable_vrfy_command = yes
allow_percent_hack = yes
swap_bangpath = yes
forward_path = $home/.forward$recipient_delimiter$extension,$home/.forward
sendmail_path = /usr/sbin/sendmail

これでローカル配信以外は全部mail01.hoge.comにリレーされる。
全DomUで
# /etc/rc.d/init.d/saslauthd start
# chkconfig saslauthd on
# chkconfig --list saslauthd
# mkdir -p /etc/skel/Maildir/new
# mkdir -p /etc/skel/Maildir/cur
# mkdir -p /etc/skel/Maildir/tmp
# chmod -R 700 /etc/skel/Maildir/
# /etc/rc.d/init.d/sendmail stop
# chkconfig sendmail off
# chkconfig --list sendmail
# alternatives --set mta /usr/sbin/sendmail.postfix
# /etc/rc.d/init.d/postfix start
# chkconfig postfix on
# chkconfig --list postfix

これでよしと。

■動作まとめ
○mail01
@hoge.com宛・・・ローカル配信する。
外向け・・・携帯はプロバイダSMTPサーバ、その他は直接当該SMTPサーバにリレー。
外から@xxx.hoge.com宛・・・全部ローカル配信。

○mail01以外
@hoge.com宛・・・ローカル配信する。
@xxx.hoge.com宛・・・該当xxx.hoge.comにリレー。
外向け・・・mail01.hoge.com宛にリレー。
外から@xxx.hoge.com宛・・・全部ローカル配信。

DomU mail01の設定

2008-04-13T20:39:00.009+09:00

■Postfix＆IMAPサーバ
○参考サイト
http://centossrv.com/postfix.shtml

○Postfix設定全部最後にまとめて書く。
# vi /etc/postfix/main.cf
myhostname = mail01.hoge.com
mydomain = hoge.com
myorigin = $mydomain
inet_interfaces = all
#proxy_interfaces =
mydestination = $myhostname, localhost.$mydomain, localhost, $mydomain
home_mailbox = Maildir/

#SMTP-Auth
smtpd_banner = $myhostname ESMTP unknown
smtpd_sasl_auth_enable = yes
smtpd_sasl_local_domain = $myhostname
smtpd_recipient_restrictions = permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination

#MailSizeLimitter 100MB
message_size_limit = 104857600

#MailBoxSizeLimitter 500MB
mailbox_size_limit = 512000000

mynetworks = 192.168.0.0/24, 127.0.0.0/8
relay_domains = $mydestination

#relayhost = op25b.asahi-net.or.jp
transport_maps = hash:/etc/postfix/transport
alias_maps = hash:/etc/aliases, hash:/etc/mailman/aliases

#manual setting
allow_mail_to_commands = alias,forward,include
allow_mail_to_files = alias,forward,include
disable_vrfy_command = yes
allow_percent_hack = yes
swap_bangpath = yes
forward_path = $home/.forward$recipient_delimiter$extension,$home/.forward
sendmail_path = /usr/sbin/sendmail

# vi /etc/postfix/transport
最後に追記
ezweb.ne.jp :mail.asahi-net.or.jp
.ezweb.ne.jp :mail.asahi-net.or.jp
docomo.ne.jp :mail.asahi-net.or.jp
.docomo.ne.jp :mail.asahi-net.or.jp
vodafone.ne.jp :mail.asahi-net.or.jp
.vodafone.ne.jp :mail.asahi-net.or.jp
softbank.ne.jp :mail.asahi-net.or.jp
.softbank.ne.jp :mail.asahi-net.or.jp
pdx.ne.jp :mail.asahi-net.or.jp
.pdx.ne.jp :mail.asahi-net.or.jp

○SMTP-AuthにシステムのID/PWを使う
# /etc/rc.d/init.d/saslauthd start
# chkconfig saslauthd on
# chkconfig --list saslauthd

○Maildir形式メールボックス自動作成
# mkdir -p /etc/skel/Maildir/new
# mkdir -p /etc/skel/Maildir/cur
# mkdir -p /etc/skel/Maildir/tmp
# chmod -R 700 /etc/skel/Maildir/

○Sendmail止める
# /etc/rc.d/init.d/sendmail stop
# chkconfig sendmail off
# chkconfig --list sendmail
# alternatives --config mta

○Postfix起動
# /etc/rc.d/init.d/postfix start
# chkconfig postfix on
# chkconfig --list postfix

続いてDovecot（今回はIMAPのみとする）
これも最後にまとめて追記。
#vi /etc/dovecot.conf
protocols = imap imaps
mail_location = maildir:~/Maildir

あと自動起動設定して完了。

なお、ユーザーiwataについてはiwata01.hoge.comにメールを転送するよう、.forwardファイルを設定しておく。

○mailman
mailmanもインスコしておく。

# yum install mailman
# vi /etc/mailman/mm_cfg.py
DEFAULT_URL_HOST = 'mail.hoge.com'
DEFAULT_EMAIL_HOST = 'hoge.com'

MTA = 'Postfix'
DEFAULT_SERVER_LANGUAGE = 'ja'
DEFAULT_GENERIC_NONMEMBER_ACTION = 2
DEFAULT_LIST_ADVERTISED = No
DEFAULT_SUBJECT_PREFIX = "[%(real_name)s:%%d] "
DEFAULT_REPLY_GOES_TO_LIST = 1
OWNERS_CAN_ENABLE_PERSONALIZATION = Yes
VERP_PERSONALIZED_DELIVERIES = Yes

# /usr/lib/mailman/bin/mmsitepass [パスワード]
# /usr/lib/mailman/bin/genaliases
aliasesが /etc/mailman/aliases に生成される。
# chown mailman. /etc/mailman/aliases*
# chmod g+w /etc/mailman/aliases*
# vi /etc/postfix/main.cf
alias_maps = hash:/etc/aliases, hash:/etc/mailman/aliases
# /etc/rc.d/init.d/postfix restart
# /etc/rc.d/init.d/httpd reload

ここまででインスコは完了。続いてデータ引き継いでおく。
# rsync -av 192.168.0.9:/etc/mailman /etc/
# rsync -av 192.168.0.9:/usr/lib/mailman /usr/lib/
# rsync -av 192.168.0.9:/var/lib/mailman /var/lib/
# rsync -av 192.168.0.9:/var/log/mailman /var/log/

あと、ドメイン変更は以下を参考に。
http://mm.tkikuchi.net/pipermail/mmjp-users/2004-June/000917.html

# /etc/rc.d/init.d/postfix restart
# /etc/rc.d/init.d/httpd reload
# /etc/rc.d/init.d/mailman restart

で完了。

オリジナルCMS HogeCMSの改造

2008-04-13T08:08:00.007+09:00

■DBサーバ切り替え
このあたり。
# find ./ -name \*.php -print | xargs grep dbm01
mailsend/mail_send.php
edit.php
beacon.php
gallery/config.php
loginsys/login.php
beacon_bench.php

■キャッシュ対応
Squidを入れたので、キャッシュ制御をちゃんとせねばならん。

○common.php - 5分間キャッシュ有効
header("Expires: ".gmdate("D, d M Y H:i:s",time()+300)." GMT");
header("Last-Modified: ". gmdate("D, d M Y H:i:s"). " GMT");
header("Cache-Control: public, max-age=300");
header("Vary: User-Agent");

※投稿フォームがキャッシュされると困るので、index.phpに手を入れないとダメだな・・・。。

○beacon.php - キャッシュさせない
header("Expires: Thu, 01 Dec 1994 16:00:00 GMT");
header("Last-Modified: ". gmdate("D, d M Y H:i:s"). " GMT");
header("Cache-Control: no-cache, must-revalidate");
header("Cache-Control: post-check=0, pre-check=0", false);
header("Pragma: no-cache");

○image.php - 5分間キャッシュ有効
header("Expires: ".gmdate("D, d M Y H:i:s",time()+300)." GMT");
header("Last-Modified: ". gmdate("D, d M Y H:i:s"). " GMT");
header("Cache-Control: public, max-age=300");
header("Vary: User-Agent");
※下の方にキャッシュ無効設定が隠れているので注意

DomU sc01の設定

2008-04-13T04:17:00.003+09:00

# yum install squid
# mv /etc/squid/squid.conf /etc/squid/squid.conf.org
# vi /etc/squid/squid.conf
http_port 80 vhost
cache_peer www01.hoge.com parent 80 0 no-query originserver round-robin

acl valid1 dstdomain .hoge.com
http_access allow valid1
acl valid2 src 192.168.0.0/24
http_access allow valid2
acl all src 0/0
http_access deny all

cache_dir ufs /tmp/squid/cache 128 16 256
cache_effective_user squid
cache_effective_group squid
visible_hostname sc01.hoge.com
cache_mem 128 MB
maximum_object_size 4096 KB
maximum_object_size_in_memory 4096 KB

forwarded_for off

coredump_dir /var/cache/squid
cache_access_log /var/log/squid/access.log
cache_log /var/log/squid/cache.log
cache_store_log /var/log/squid/store.log
emulate_httpd_log on
log_fqdn off

cache_vary on

※forwarded_for off について
OnにするとHTTPヘッダに X-Forwarded-For が付く・・・というのが一般的に囁かれていますが、
正確に言うと、X-Forwarded-Forを上書きする、が正しいようです。Offにしとくと既にあるX-Forwarded-Forがスルーされるので、受け側Apacheに入れたmod_rpafで正しく処理できます。ややこしい・・・。。。

# mkdir /tmp/squid/cache
# chown -R squid:squid /tmp/squid

ついでに日本語化。
Squid日本語化
# mv /etc/squid/errors /etc/squid/errors.org
# ln -s /usr/share/squid/errors/Japanese/ /etc/squid/errors
うむむ。日本語化されないじゃん。。。

DomU mdbm01の設定

2008-04-13T02:11:00.001+09:00

# yum install mysql-server
# vi /etc/my.cnf
[mysqld]
datadir = /var/lib/mysql
socket = /var/lib/mysql/mysql.sock
# Default to using old password format for compatibility with mysql 3.x
# clients (those using the mysqlclient10 compatibility package).
old_passwords=1
big-tables
query_cache_type=1
query_cache_limit=1M
query_cache_min_res_unit=4k
query_cache_size=32M
table_cache=128
log-bin
server-id=1

[mysql.server]
user=mysql
basedir=/var/lib

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

[mysqld]
default-character-set=utf8
skip-character-set-client-handshake
ft_min_word_len=1

[mysql]
default-character-set=utf8

[mysqldump]
default-character-set = binary

[client]
default-character-set=utf8

＃utf8を明示しないとエラー出るよ

DomU www01の設定

2008-04-13T00:30:00.008+09:00

■www01に導入するものと手順

# yum install httpd httpd-devel php perl
# yum install ImageMagick-perl
# perl -MCPAN -e shell
## install Jcode

○apacheの設定
バーチャルホストベースでwww01を作ります。httpd.confを適切に編集する。

○PHPの追加インスコ
yum install php-mysql php-pear php-mbstring php-mcrypt

○PHPの設定
#vi /etc/php.ini
↓以下変更点
output_buffering = Off
zlib.output_compression = Off
memory_limit = 64M
post_max_size = 80M
upload_max_filesize = 20M
mbstring.internal_encoding = EUC-JP
mbstring.http_input = auto
mbstring.http_output = SJIS
mbstring.detect_order = auto
mbstring.substitute_character = none;

※ad01は以下のとおり。
output_buffering = Off
zlib.output_compression = Off
register_argc_argv = On
mbstring.internal_encoding = EUC-JP
mbstring.http_input = auto
mbstring.http_output = SJIS
mbstring.detect_order = auto
mbstring.substitute_character = none;

あと、DBホストを設定変更しとこうね。

DomU iwata01の設定

2008-04-12T19:27:00.005+09:00

■statsに導入するものと手順
○apache周りの導入
# yum install httpd httpd-devel php perl

○apacheの設定
バーチャルホストベースでiwata01を作ります。httpd.confを適切に編集する。

○各種ライブラリの導入
# yum install ImageMagick-perl
# perl -MCPAN -e shell
全部Enter応答。
CPANのFTPに繋がらないエラーが出た。この日限定だと思うが、以下を入力して回避した。
ftp://ftp.dti.ad.jp/pub/lang/CPAN/
いくつもミラー設定したが、あちこちエラー出過ぎです orz
install Image::Size
install Image::IPTCInfo
install Image::Info
install Jcode
install Archive::Zip

続いてuploader.cgi用。依存関係で他は全部入る。
install MIME::WordDecoder
install File::Path

uploader.cgiをコピーしておく。
pop3ディレクトリを作成しておく。

○mod_rpafの導入
http://www.nire.com/2008/02/howto-install-mod_rpaf/

DomU gatekeeper01の設定

2008-04-12T18:43:00.009+09:00

■gatekeeperに導入するものと手順
○apache+mod_proxy
HTTPリバースプロキシはmod_proxyを利用するため、apacheを入れます。
# yum install httpd
httpd.confは適切に設定。
リバースプロキシ関係は別ファイルに切り出しておく。
# vi vi /etc/httpd/conf/proxy.conf
ProxyRequests Off
<proxy>
Order deny,allow
Allow from all
</proxy>

ProxyPass /balancer-manager !
<location>
SetHandler balancer-manager
Order Deny,Allow
Deny from all
Allow from 192.168.0.
</location>

<proxy>
BalancerMember http://iwata01.hoge.com loadfactor=10
</proxy>
<proxy>
BalancerMember http://stats01.hoge.com loadfactor=10
</proxy>

NameVirtualHost *:80
<virtualhost>
ServerName iwata.hoge.com
ProxyPass / balancer://cluster_iwata/ lbmethod=byrequests timeout=1
ProxyPassReverse / balancer://cluster_iwata/
ProxyPassReverseCookieDomain balancer://cluster_iwata/ iwata.hoge.com
ProxyPassReverseCookieDomain balancer://cluster_iwata/ iwata.hoge.com
ProxyPreserveHost On #バックエンドでバーチャルホストを使うため
</virtualhost>

<virtualhost>
ServerName stats.hoge.com
ProxyPass / balancer://cluster_stats/ lbmethod=byrequests timeout=1
ProxyPassReverse / balancer://cluster_stats/
ProxyPassReverseCookieDomain balancer://cluster_stats/ stats.hoge.com
ProxyPassReverseCookieDomain balancer://cluster_stats/ stats.hoge.com
ProxyPreserveHost On #バックエンドでバーチャルホストを使うため
</virtualhost>

受け側ではmod_rpafの導入を忘れずに。

あー、gccとgcc+++は今後も必要そうなので、webminのCommand shellから全PCに導入しておく。基本イメージに含めればよかったね。。
# yum -y install gcc gcc-c++

○DeleGate
手順は以下で検証済み。
http://centos-server.blogspot.com/2008/03/delegate.html

SMTPサーバにPostfixを入れてあるが、25番ポートをDelegateに占有させるので泣く泣く切る。
一応設定は生かしておくので、アンインスコはしない。

IMAPは直接mail01に送る。設定するのはSMTPだけ。

・・・と思ったけど、Delegateをかますと、mail01から見るとローカルからの接続に見えちゃって、リレーし放題になっちゃうかも。これはまずい。
あ、いやまて、接続先を絞るわけだから、hoge.com宛以外の接続要求はmail01.hoge.comに飛ぶことはないわけで、問題ないかな。。。

・・・めんどくさいので、DeleGateは使わないことにした。HTTPもmod_proxyにしちゃったんで、抹消。

DomU stats01の設定

2008-04-11T02:31:00.007+09:00

■statsに導入するものと手順
○log集計
rsyncでwwwXXサーバのログを持ってきますが、これは後日。

○サーバ統括
Webminの操作をします。

Webminにログインし、全DomUを管轄下に置きます。
今回導入したDomUは全て目的が異なるため、異なるグループに所属させ、
Cluster Users and Groups
Cluster Webmin Servers
だけ利用します。

IPとドメインの関係は以下。
www01 IN A 192.168.0.31
lb01 IN A 192.168.0.21
sc01 IN A 192.168.0.211
gatekeeper01 IN A 192.168.0.11
dbm01 IN A 192.168.0.51
iwata01 IN A 192.168.0.91
stats01 IN A 192.168.0.81
mail01 IN A 192.168.0.71

○サーバ監視
Cactiを入れます。
ただし、先にdbm01にMySQLを入れなければなりません。
http://centossrv.com/mysql.shtml

次にRRDTool
yum --enablerepo=rpmforge install rrdtool

あとは http://centos-server.blogspot.com/2008/04/cacti.html で。

※なお、Cactiは起動時にMySQLに繋ぐらしく、他のドメインより後から起動させなければなりません。

○Webalizerの導入
Webalizerを導入し、アクセスログ集計を行います。
ログはgatekeeperXXから回収する。
gatekeeperXXのログはgatekeeperXX自身により週1回rotateする。

インストール
# yum install webalizer
# mkdir /kfs/logs/gatekeepers
# mkdir /kfs/logs/$HOSTNAME

gatekeeperXXのローカルにあるログをgatekeeperXX自身がcronで/kfs/logs/gatekeeperXXに上書きコピーする（毎時20分＋logrotate前に週1回4:30にも実行）
# \cp -f /var/log/httpd/* /kfs/logs/$HOSTNAME/

awstatsの中に入っているlogresolvemerge.plでログを統合し、/kfs/logs/gatekeepers/に出力する。（毎時40分）
# perl /kfs/logs/logresolvemerge.pl /kfs/logs/gatekeeper0*/komaspo_access_log > /kfs/logs/gatekeepers/komaspo_access_log

stats01のWebalizerが/kfs/logs/gatekeepers/のログを集計し、members_html/webalizer/に結果を書き出す（毎時00分）
これはWebminで設定しちゃうことにする。

Webalizerが文字化けするので、後処理で自作コードを走らせる。
Jcode.pmをCPANで入れておく。
# perl -MCPAN -e shell
全部Enter応答。
CPANのFTPに繋がらないエラーが出た。この日限定だと思うが、以下を入力して回避した。
ftp://ftp.dti.ad.jp/pub/lang/CPAN/
いくつもミラー設定したが、あちこちエラー出過ぎです orz
install Jcode

BINDの設定

2008-04-11T02:12:00.000+09:00

一気にDomUを立ち上げたので、一気にBINDに登録します。

www01 IN A 192.168.0.31
lb01 IN A 192.168.0.21
sc01 IN A 192.168.0.211
gatekeeper01 IN A 192.168.0.11
dbm01 IN A 192.168.0.51
iwata01 IN A 192.168.0.91
stats01 IN A 192.168.0.81
mail01 IN A 192.168.0.71

DomUを一気に立ち上げる

2008-04-11T02:10:00.004+09:00

ここまでで一旦、DomUを一気に作ってしまいました。
以下、コンソールに流したコマンド。

■イメージ量産
cp --sparse=auto /kfs_alpha/xen/standard.img /kfs_alpha/xen/www01.img
cp --sparse=auto /kfs_alpha/xen/standard.img /kfs_alpha/xen/sc01.img
cp --sparse=auto /kfs_alpha/xen/standard.img /kfs_alpha/xen/gatekeeper01.img
cp --sparse=auto /kfs_alpha/xen/standard.img /kfs_alpha/xen/dbm01.img
cp --sparse=auto /kfs_alpha/xen/standard.img /kfs_alpha/xen/iwata01.img
cp --sparse=auto /kfs_alpha/xen/standard.img /kfs_alpha/xen/stats01.img
cp --sparse=auto /kfs_alpha/xen/standard.img /kfs_alpha/xen/mail01.img

■設定量産
cp /etc/xen/standard /etc/xen/www01
sed -i 's/name = "standard"/name = "www01"/g' /etc/xen/www01
sed -i 's/maxmem = 512/maxmem = 1024/g' /etc/xen/www01
sed -i 's/memory = 512/memory = 1024/g' /etc/xen/www01
sed -i 's/uuid = "37d373d8-22ae-7923-2e14-3977aa63ac00"/uuid = "37d373d8-22ae-7923-2e14-3977aa63001f"/g' /etc/xen/www01
sed -i 's/disk = \[ \"tap:aio:\/kfs_alpha\/xen\/standard.img,xvda,w\" \]/disk = \[ "tap:aio:\/kfs_alpha\/xen\/www01.img,xvda,w\" \]/g' /etc/xen/www01
sed -i 's/vif = \[ \"mac=00:16:3e:63:95:00,bridge=xenbr0\" \]/vif = \[ \"mac=00:16:3e:63:00:1f,bridge=xenbr0\" \]/g' /etc/xen/www01

cp /etc/xen/standard /etc/xen/sc01
sed -i 's/name = "standard"/name = "sc01"/g' /etc/xen/sc01
sed -i 's/maxmem = 512/maxmem = 1024/g' /etc/xen/sc01
sed -i 's/memory = 512/memory = 1024/g' /etc/xen/sc01
sed -i 's/uuid = "37d373d8-22ae-7923-2e14-3977aa63ac00"/uuid = "37d373d8-22ae-7923-2e14-3977aa6300d3"/g' /etc/xen/sc01
sed -i 's/disk = \[ \"tap:aio:\/kfs_alpha\/xen\/standard.img,xvda,w\" \]/disk = \[ "tap:aio:\/kfs_alpha\/xen\/sc01.img,xvda,w\" \]/g' /etc/xen/sc01
sed -i 's/vif = \[ \"mac=00:16:3e:63:95:00,bridge=xenbr0\" \]/vif = \[ \"mac=00:16:3e:63:00:d3,bridge=xenbr0\" \]/g' /etc/xen/sc01

cp /etc/xen/standard /etc/xen/gatekeeper01
sed -i 's/name = "standard"/name = "gatekeeper01"/g' /etc/xen/gatekeeper01
sed -i 's/maxmem = 512/maxmem = 256/g' /etc/xen/gatekeeper01
sed -i 's/memory = 512/memory = 256/g' /etc/xen/gatekeeper01
sed -i 's/uuid = "37d373d8-22ae-7923-2e14-3977aa63ac00"/uuid = "37d373d8-22ae-7923-2e14-3977aa63000b"/g' /etc/xen/gatekeeper01
sed -i 's/disk = \[ \"tap:aio:\/kfs_alpha\/xen\/standard.img,xvda,w\" \]/disk = \[ "tap:aio:\/kfs_alpha\/xen\/gatekeeper01.img,xvda,w\" \]/g' /etc/xen/gatekeeper01
sed -i 's/vif = \[ \"mac=00:16:3e:63:95:00,bridge=xenbr0\" \]/vif = \[ \"mac=00:16:3e:63:00:0b,bridge=xenbr0\" \]/g' /etc/xen/gatekeeper01

cp /etc/xen/standard /etc/xen/dbm01
sed -i 's/name = "standard"/name = "dbm01"/g' /etc/xen/dbm01
sed -i 's/maxmem = 512/maxmem = 1024/g' /etc/xen/dbm01
sed -i 's/memory = 512/memory = 1024/g' /etc/xen/dbm01
sed -i 's/uuid = "37d373d8-22ae-7923-2e14-3977aa63ac00"/uuid = "37d373d8-22ae-7923-2e14-3977aa630033"/g' /etc/xen/dbm01
sed -i 's/disk = \[ \"tap:aio:\/kfs_alpha\/xen\/standard.img,xvda,w\" \]/disk = \[ "tap:aio:\/kfs_alpha\/xen\/dbm01.img,xvda,w\" \]/g' /etc/xen/dbm01
sed -i 's/vif = \[ \"mac=00:16:3e:63:95:00,bridge=xenbr0\" \]/vif = \[ \"mac=00:16:3e:63:00:33,bridge=xenbr0\" \]/g' /etc/xen/dbm01

cp /etc/xen/standard /etc/xen/iwata01
sed -i 's/name = "standard"/name = "iwata01"/g' /etc/xen/iwata01
sed -i 's/maxmem = 512/maxmem = 1024/g' /etc/xen/iwata01
sed -i 's/memory = 512/memory = 1024/g' /etc/xen/iwata01
sed -i 's/uuid = "37d373d8-22ae-7923-2e14-3977aa63ac00"/uuid = "37d373d8-22ae-7923-2e14-3977aa63005b"/g' /etc/xen/iwata01
sed -i 's/disk = \[ \"tap:aio:\/kfs_alpha\/xen\/standard.img,xvda,w\" \]/disk = \[ "tap:aio:\/kfs_alpha\/xen\/iwata01.img,xvda,w\" \]/g' /etc/xen/iwata01
sed -i 's/vif = \[ \"mac=00:16:3e:63:95:00,bridge=xenbr0\" \]/vif = \[ \"mac=00:16:3e:63:00:5b,bridge=xenbr0\" \]/g' /etc/xen/iwata01

cp /etc/xen/standard /etc/xen/mail01
sed -i 's/name = "standard"/name = "mail01"/g' /etc/xen/mail01
sed -i 's/maxmem = 512/maxmem = 256/g' /etc/xen/mail01
sed -i 's/memory = 512/memory = 256/g' /etc/xen/mail01
sed -i 's/uuid = "37d373d8-22ae-7923-2e14-3977aa63ac00"/uuid = "37d373d8-22ae-7923-2e14-3977aa630047"/g' /etc/xen/mail01
sed -i 's/disk = \[ \"tap:aio:\/kfs_alpha\/xen\/standard.img,xvda,w\" \]/disk = \[ "tap:aio:\/kfs_alpha\/xen\/mail01.img,xvda,w\" \]/g' /etc/xen/mail01
sed -i 's/vif = \[ \"mac=00:16:3e:63:95:00,bridge=xenbr0\" \]/vif = \[ \"mac=00:16:3e:63:00:47,bridge=xenbr0\" \]/g' /etc/xen/mail01

cp /etc/xen/standard /etc/xen/stats01
sed -i 's/name = "standard"/name = "stats01"/g' /etc/xen/stats01
sed -i 's/maxmem = 512/maxmem = 512/g' /etc/xen/stats01
sed -i 's/memory = 512/memory = 512/g' /etc/xen/stats01
sed -i 's/uuid = "37d373d8-22ae-7923-2e14-3977aa63ac00"/uuid = "37d373d8-22ae-7923-2e14-3977aa630051"/g' /etc/xen/stats01
sed -i 's/disk = \[ \"tap:aio:\/kfs_alpha\/xen\/standard.img,xvda,w\" \]/disk = \[ "tap:aio:\/kfs_alpha\/xen\/stats01.img,xvda,w\" \]/g' /etc/xen/stats01
sed -i 's/vif = \[ \"mac=00:16:3e:63:95:00,bridge=xenbr0\" \]/vif = \[ \"mac=00:16:3e:63:00:51,bridge=xenbr0\" \]/g' /etc/xen/stats01

■DomU起動量産
xm create www01
xm create sc01
xm create gatekeeper01
xm create dbm01
xm create iwata01
xm create stats01
xm create mail01

■DomUそれぞれ処理
○www01
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.31/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:1F/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=www01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

○sc01
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.211/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:D3/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=sc01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

○gatekeeper01
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.11/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:0B/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=gatekeeper01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

○dbm01
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.51/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:33/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=dbm01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

○iwata01
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.91/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:5B/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=iwata01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

○stats01
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.81/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:51/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=stats01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

○mail01
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.71/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:00:47/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HOSTNAME=standard.hoge.com/HOSTNAME=mail01.hoge.com/g' /etc/sysconfig/network
rm -rf /etc/ssh/ssh_host*
rm -rf /root/.bash_history
reboot

■DomU自動起動
ln -s /etc/xen/www01 /etc/xen/auto/www01
ln -s /etc/xen/sc01 /etc/xen/auto/sc01
ln -s /etc/xen/gatekeeper01 /etc/xen/auto/gatekeeper01
ln -s /etc/xen/dbm01 /etc/xen/auto/dbm01
ln -s /etc/xen/iwata01 /etc/xen/auto/iwata01
ln -s /etc/xen/stats01 /etc/xen/auto/stats01
ln -s /etc/xen/mail01 /etc/xen/auto/mail01

Sparseファイルの取り扱い方法

2008-04-11T01:10:00.003+09:00

XenのイメージファイルをSparseファイルにしておくと
未使用領域を圧縮した状態になる。

■メリット
・イメージファイルのディスクスペースの節約になる
・コピーが速い（イメージファイルを量産する時に有効）

■デメリット
・書き込み速度がとても遅い
http://www.atmarkit.co.jp/flinux/rensai/xen02/xen02b.html
・ファイルが膨張するとHDDから溢れて壊れる可能性がある。
・対応したコマンドで取り扱わないと、元に戻る。

■取り扱い方法
○コピー
# cp --sparse=auto [コピー元] [コピー先]
# rsync -avS [コピー元] [コピー先]

○GNU TARで圧縮/解凍
圧縮 # tar zcSvf [書庫ファイル] [格納するファイル]
解凍 # tar zxSvf [書庫ファイル]

○通常ファイルをSparseファイルにする
# cp --sparse=always [コピー元] [コピー先]

○Sparseファイルを通常ファイルに戻す
# cp --sparse=never [コピー元] [コピー先]

○実容量を表示する
# du -h [ファイル名] ※ワイルドカードOK
↑ls -lと比べてみよう。

Xenのイメージサイズを変更する

2008-04-10T02:17:00.004+09:00

Xenのイメージファイルのサイズを変更します。

■条件
・イメージファイルは1つのまま。
・/を増やしたい。
・DomUのパーティションはデフォルトでインスコした＝/がLVMになっている。

■やり方
DomUをシャットダウンする。
# dd if=/dev/zero of=dummy4GB.img bs=1M count=4096
# cat standard.img dummy4GB.img > 8GB.img

DomUを起動し、fdiskでLVMを作る。
# fdisk /dev/xvda
n p 3 [ret] [ret]
t 3 8e
w
再起動

# pvcreate /dev/xvda3
# vgextend VolGroup00 /dev/xvda3

空き容量を確認する
# vgdisplay
↑Free PEの値を確認

# lvextend -l+XXX(←FreePEの値) /dev/VolGroup00/LogVol00
# e2fsck -f /dev/VolGroup00/LogVol00
# resize2fs /dev/VolGroup00/LogVol00

■参考なかなか情報がなくて苦労しました。。。
http://tomo.ac/goodstream/xen/centos5/imgfile.html
http://fedorasrv.com/xen-domuhdd-add.shtml
http://slashdot.jp/~Ryo.F/journal/366066
http://pc.watanet.com/lab/homesvr/linux/lvm_resize/lvm_resize.html

NTPで時刻同期

2008-04-08T22:44:00.003+09:00

そういやNTP入れてなかった。

■やりかた
http://fedorasrv.com/ntp.shtml

■使うサーバ
ntp.asahi-net.or.jp
ってのが公式でアナウンスされてるので使うことにする。

導入後、自動起動設定。
# ntpdate ntp.asahi.com
# /etc/rc.d/init.d/ntpd start
# chkconfig ntpd on
# chkconfig --list ntpd

どうやらDomUは自動的にDom0に同期するらしいので、放置。

Cactiの導入

2008-04-08T20:45:00.005+09:00

ポコポコたくさんサーバを立てるので、監視用にCactiを入れておきます。
Net-SNMPについてはXenの標準イメージにも導入しておく。
Cactiはネットワークを通じて1つあればよくて、mysql-serverのインスコが先に必要。

■基本的な手順
http://centossrv.com/rrdtool-cacti.shtml

■ただし
・標準XenイメージにはNet-SNMPだけ入れておく。

・RRDToolは普通に入れる。

・Cactiの前に。
　以下は事前に明示して入れておく。
　依存関係で勝手にrpmforgeから入るのを防止する。

# yum install apr apr-util gmp httpd mysql net-snmp-utils perl-DBI perl-Net-Daemon perl-PlRPC php php-cli php-common php-mysql php-pdo php-snmp postgresql-libs

・さてようやくcacti
# yum --enablerepo=rpmforge install cacti

あとの設定は先の参考サイトで。所々間違ってるけど。
public →ユニークな名前にしよう。

ソフトウェアRAIDの構築

2008-04-07T01:37:00.010+09:00

HDDとメモリを買ってきたので、ソフトウェアRAIDで再セットアップすることにする。

■基本ポリシー
・500GB×2で丸ごとRAID1(ミラー)
・Xenの管理コマンドを覚えるのが面倒なので、GNOMEを入れてしまう。

■パーティションの切り方
http://www.linuxmania.jp/soft_raid.html

ただし、以下相違点。
・swapは2GB（2048MB）
・/はLVMで構築。

LVMを切るのでグラフィカルインストールでなければならない。
グラフィカルインストールだとオプションが違う。
導入するもの
・開発-レガシーなソフトウェアの開発、開発ツール、開発ライブラリ
・ベースシステム-ベース
・仮想化
・言語-日本語のサポート

インスコ終わったらgrub忘れずに。
[root@linux ~]# grub 　
grub> root (hd0,0)
grub> setup (hd0)
grub> root (hd1,0)
grub> setup (hd1)
grub> root (hd0,0)
grub> setup (hd0)
grub> quit

DeleGateの導入(POP3、SMTP編)

2008-04-05T01:43:00.008+09:00

DeleGateはPOPもSMTPも中継できちゃいますので、導入します。

まずpop。
# vi pop.conf
-P110
SERVER=pop
ADMIN="root@hoge.com"
RELIABEL="*"
RELAY=proxy
CACHE="no"
LOGFILE=""
CONNECT="d:*:*"
MOUNT="* pop://hoge.com/*" #default
REACHABLE="192.168.0.9"
MOUNT="//moge.com/* pop://moge.com/*"
REACHABLE="192.168.0.9"

↑この設定の解説。
MOUNT="* pop://hoge.com/*"
普通にPOPアクセスがあると、hoge.comに中継されます。

MOUNT="//hoge.com/* pop://hoge.com/*"
POPのアカウント名が「アカウント名#moge.com」となってる時には、moge.comに中継されます。

REACHABLE="192.168.0.9"
中継先は192.168.0.9縛りです。

次にSMTP編。
-P25
SERVER="smtp"
RELIABEL="*"
RELAY=proxy
CACHE="no"
LOGFILE=""
CONNECT="d:*:*"
MOUNT="/* smtp://192.168.0.2/* vhost=-smtp.bbb.biz"
REACHABLE="192.168.0.0/24"

↑この設定の解説
外から来たsmtpを内側に振り分けます。
SMTPサーバを外部に制限無しに解放してしまうのは危険なので、到達できるIPを限定しておきます。

POP起動（コンソール付き）
# delegate -vv +=pop.conf
POP起動
# delegate +=pop.conf
POP終了
# delegate -P110 -Fkill

SMTP起動（コンソール付き）
# delegate -vv +=smtp.conf
SMTP起動
# delegate +=smtp.conf
SMTP終了
# delegate -P25 -Fkill

なお。
DeleGateは積極的に名前解決してくれるので、「アカウント名#存在しないドメイン」とやると、DNSの設定によっては自動的に補完してくれちゃいます。このため、指定以外の文字列でもサーバにアクセスできてしまうことがままあるのでご注意。

Delegateの導入(HTTP編)

2008-03-30T14:07:00.005+09:00

Delegateを導入します。
XenとDelegateなリバースプロキシを組み合わせて、グローバルIP1つでバーチャルホストでない複数ドメインを運用する計画。

バーチャルホストに対しての利点
・ドメインごとに環境を完全に分けられる。
・バーチャルホストだと、一部のドメインを別マシンに分離する作業が大工事になってしまうが、本方式だと超簡単に対応できる。（マイグレーションすれば作業終了）

バーチャルホストに対してのデメリット
・XenのためネットワークのI/Oパフォーマンスがボトルネックになる（以前測定済みで許容範囲と判断）
・Xenのためバージョンアップでの互換性喪失リスクがあったりする（冒険）
・管理すべき環境が増える（必要以上に細かく分けすぎないようにする）
・サーバリソースを余分に食う（物理的な分割よりは低コストと判断）

Squidでもなくmod_proxyでもなくDelegateを選んだのは、HTTPに限らずメール環境も一緒にリバースプロキシできるから。
SMTPリレーでなくリバースプロキシが良いのは、サーバの切り離しがラクだから。

まずインストール。
# wget ftp://ftp.delegate.org/pub/DeleGate/delegate9.7.7.tar.gz
# tar zxvf delegate9.7.7.tar.gz
# cd delegate9.7.7
# make

と思ったらエラー。開発環境入れてないんだった。

# yum install gcc
# yum install gcc-c++

で改めてmake
メールアドレス聞かれるので、とりあえずrootを入力してみる。
どうせ受け取らないけど。
# mkdir /usr/local/delegate
# cp src/delegated /usr/local/delegate/
# chown -R nobody:nobody /usr/local/delegate/
# cd /usr/local/delegate/

設定書く。
# vi http.conf
-P80
SERVER=http
ADMIN="root@hoge.com"
RELIABLE="*"
HTTPCONF="add-qhead:X-Forwarded-For:%a"
RELAY=proxy
CACHE="no"
LOGFILE=""
CONNECT="d:*:*"
MOUNT="/* http://www.hoge.com/* vhost=-alpha"
REACHABLE="192.168.0.9"
MOUNT="/* http://192.168.0.105/* vhost=-beta"
REACHABLE="192.168.0.105"
MOUNT="/-/ = rcode=404"
MOUNT="/-/admin/* = rcode=404"

最後の404指定は管理画面やバージョン番号の丸出しを防ぐため from DeleGateのML。
Deledateの使い方を紹介してるサイトは数あれど、これを載せてるサイトは見かけませんでした。みんな正気か！？

起動（コンソール付き）
# delegate -vv +=http.conf

起動
# delegate +=http.conf

終了
# delegate -P80 -Fkill

これで動くけれども、受け側のapacheにmod_rpafを入れてやらないとログが全部alphaになっちゃう。
http://www.nire.com/2008/02/howto-install-mod_rpaf/

Xenのネットワークベンチマーク取ってみた。

2008-03-29T20:50:00.006+09:00

XenのDom間のLAN速度を測定。

まず、DomU→dom0通信
[root@p01 kfs]# netperf -H alpha -fM
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to alpha.hoge.com (192.168.0.2) port 0 AF_INET
Recv Send Send
Socket Socket Message Elapsed
Size Size Size Time Throughput
bytes bytes bytes secs. MBytes/sec
87380 16384 16384 10.01 114.79

Dom0間通信(110MB/Sec)より速いので、これはGJ。CPUパワーを全力で食ってますが。
あ、ちなみに
Dom0のlocalhostでベンチ取ったら234MB/Secでした。
DomUのlocalhostでベンチ取ったら337MB/Secでした。
DomUのほうが速いという不思議。

次に、同一Dom0上にあるDomU→DomU通信。理屈的にはDomU→Dom0→DomUとなるはず。
[root@p01 kfs]# netperf -H 192.168.0.105 -fM
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 192.168.0.105 (192.168.0.105) port 0 AF_INET
Recv Send Send
Socket Socket Message Elapsed
Size Size Size Time Throughput
bytes bytes bytes secs. MBytes/sec
87380 16384 16384 10.01 68.15

68MB/Sec。さっきの半分近い。
ローカル通信のくせに遅いのね。xm topで監視してたら、CPUパワーも全力食ってたようだし。
CPUパワーに依存する＆現在の環境では、Domをまたぐごとに50％のオーバーヘッドがあるらしい。

続いて異なるDom0間でのDomU→DomU通信の場合。理屈的にはDomU→Dom0→Dom0→DomUになるかな？
[root@p01 kfs]# netperf -H 192.168.0.105 -fM
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 192.168.0.105 (192.168.0.105) port 0 AF_INET
Recv Send Send
Socket Socket Message Elapsed
Size Size Size Time Throughput
bytes bytes bytes secs. MBytes/sec
87380 16384 16384 10.01 33.04

33MB/Sec。
やはり通過するDomが増えた事によるオーバーヘッドだろうか。こちらも50％ダウンである。
受信側のほうがCPUめいっぱい、送信は70％くらいの負荷でした。

Xenのイメージファイルをコピーする

2008-03-29T20:02:00.007+09:00

http://antas.jp/blog/ina/archives/2007/10/xen_domain-u_duplicate.html

概ねこのまんまなんだけど、
IPアドレスはこの方法では指定できない？ような気がする。

量産する場合は以下の設定を事前にしておこう。

DNSの設定がDHCPになってる場合は、中身全部消して上書きしておく。
# vi /etc/resolv.conf
search xxx.com
nameserver 192.168.0.6
nameserver 202.224.32.1

DHCPとeth0を切っておく。IPとかも消しとく（後でsedで置換しちゃう）
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=none
ONBOOT=no
HWADDR=00:16:3E:63:95:XX
IPADDR=192.168.0.XXX

複製元OS SSHサーバのホスト鍵を削除します。
# rm -rf /etc/ssh/ssh_host*

複製元OS rootユーザのbash履歴ファイルも削除します。
# rm -rf /root/.bash_history

この状態でtarボールにでもしておくと便利かも。
で、ここから通常オペレーション。

・複製元Domain-Uの仮想ディスクイメージファイルをコピー
# cd /var/lib/xen/images/
# cp -p domain1.img domain2.img

・新しいConfigファイルを作成
# cd /etc/xen/
# cp -p domain1 domain2

viなどのエディタでConfigファイルを開き、ドメイン名、仮想ディスクイメージファイル名、MACアドレス、uuidを変更します。
MACアドレスは、前半の'00:16:3e'は、Xenで共通で使用するものです。
後半の3つを同じセグメントで重複しないよう適当に変更します。
ここでは、末尾よりひとつ前を+1しています。
uuidも、末尾のひとつ前を+1しています。
以下、Configファイルの変更箇所のみ記述します。
-- 変更前
name = "domain1"
disk = [ 'tap:aio:/var/lib/xen/images/domain1.img,xvda,w', ]
vif = [ 'mac=00:16:3e:63:94:e3, bridge=xenbr0', ]
uuid = "079e8369-f9ad-0e06-0b95-9b360be8ee0a"
-- 変更後
name = "domain2"
disk = [ 'tap:aio:/var/lib/xen/images/domain2.img,xvda,w', ]
vif = [ 'mac=00:16:3e:63:95:e3, bridge=xenbr0', ]
uuid = "079e8369-f9ad-0e06-0b95-9b360be8ee1a"

IPがわからんので -c でコンソール直結。
xm create domain2 -c

ホスト名を変更します。必要な部分だけ書きます。
# vi /etc/sysconfig/network
HOSTNAME=domain2

IPアドレス、　Xenコンフィグファイルのvifで指定したMACアドレスを書きます。必要な部分だけ書きます。
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=none
HWADDR=00:16:3E:63:95:E3
ONBOOT=yes
IPADDR=192.168.0.13
NETMASK=255.255.255.0
GATEWAY=192.168.0.1

ラクするならこちら。IPとかは適宜書き換えて使ってね。

○DomUを最初に起動する前に動かすコード
cp /etc/xen/standard /etc/xen/www01
sed -i 's/name = "standard"/name = "www01"/g' /etc/xen/www01
sed -i 's/maxmem = 512/maxmem = 512/g' /etc/xen/www01
sed -i 's/memory = 512/memory = 512/g' /etc/xen/www01
sed -i 's/uuid = "37d373d8-22ae-7923-2e14-3977aa63ac00"/uuid = "37d373d8-22ae-7923-2e14-3977aa63ac1f"/g' /etc/xen/www01
sed -i 's/disk = \[ \"tap:aio:\/kfs_alpha\/xen\/standard.img,xvda,w\" \]/disk = \[ "tap:aio:\/kfs_alpha\/xen\/www01.img,xvda,w\" \]/g' /etc/xen/www01
sed -i 's/vif = \[ \"mac=00:16:3e:63:95:00,bridge=xenbr0\" \]/vif = \[ \"mac=00:16:3e:63:95:1f,bridge=xenbr0\" \]/g' /etc/xen/www01
cp /kfs_alpha/xen/standard.img /kfs_alpha/xen/www01.img

○DomUを最初に起動させてから動かすコード
sed -i 's/IPADDR=192.168.0.XXX/IPADDR=192.168.0.2/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/HWADDR=00:16:3E:63:95:XX/HWADDR=00:16:3E:63:95:02/g' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i 's/ONBOOT=no/ONBOOT=yes/g' /etc/sysconfig/network-scripts/ifcfg-eth0

XenのHDDベンチマーク取ってみた。

2008-03-29T06:00:00.004+09:00

とりあえずXenのHDDベンチマーク取ってみた。

alpha(Dom0)のベンチ
[root@alpha ~]# hdparm -Tt /dev/sda
/dev/sda:
Timing cached reads: 3108 MB in 2.00 seconds = 1556.04 MB/sec
Timing buffered disk reads: 196 MB in 3.02 seconds = 64.86 MB/sec

beta(Dom0)のベンチ
[root@beta ~]# hdparm -Tt /dev/sda
/dev/sda:
Timing cached reads: 3104 MB in 2.00 seconds = 1552.36 MB/sec
Timing buffered disk reads: 192 MB in 3.00 seconds = 63.90 MB/sec

p01(共有ストレージ＝alpha、稼働＝alpha)
[root@localhost ~]# hdparm -Tt /dev/xvda
/dev/xvda:
Timing cached reads: 3188 MB in 2.00 seconds = 1595.82 MB/sec
Timing buffered disk reads: 166 MB in 3.03 seconds = 54.85 MB/sec

p02(共有ストレージ＝alpha、稼働＝beta) ←1GbpsのLAN、NFSで共有
[root@localhost ~]# hdparm -Tt /dev/xvda/dev/xvda:
Timing cached reads: 3160 MB in 2.00 seconds = 1580.61 MB/sec
Timing buffered disk reads: 62 MB in 3.01 seconds = 20.59 MB/sec

○結論
alpha、betaはほぼ同水準で65 MB/sec。そりゃまぁ、買ったばっかりの同一モデルだし、差が出る訳がない。
Dom0(alpha)の上でDomUを動かした場合、55 MB/sec。20％弱のオーバーヘッド。
Dom0(alpha)にストレージを残したままbetaにライブマイグレーションした場合、20.59 MB/sec。もうね、70％ダウンですよ。

ネットワーク越しにしたことでモロに影響が出ているわけですが、では私の環境のネットワーク速度はどんなもんでしょう。

[root@beta ~]# netperf -H alpha -fM
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to alpha (192.168.0.2) port 0 AF_INET
Recv Send Send
Socket Socket Message Elapsed
Size Size Size Time Throughput
bytes bytes bytes secs. MBytes/sec

87380 16384 16384 10.01 110.31

はい、110MB/Secと出ました。
でも同じネットワーク上でWin同士でデータをやり取りしたり、SCP転送したりすると、速くて20MB/sec程度のもんなので、先のHDDベンチの水準は妥当な感じがします。

やっぱりライブマイグレーションしてHDDにガリガリアクセスするのは無理があるなぁ。

ハードディスクのベンチ

2008-03-29T04:18:00.003+09:00

非キャッシュで読み取りベンチ
# hdparm -Tt /dev\sda
# hdparm -Tt /dev\xvda

HDD情報読み取り
# hdparm -i /dev/sda
# hdparm -i /dev/xvda ←これ動かない

Xenで遊ぶぞ

2008-03-29T03:01:00.008+09:00

とりあえずXen入れて、ライブマイグレーションしてみる。
「OSとはインストールするものではなく、コピーするものである」という哲学に沿って、使い回せるイメージの作成を目指します。

# virt-install -n hoge -r 256 -f /kfs/hoge -s 4 --nographics -l ftp://ftp.riken.go.jp/Linux/centos/5.1/os/x86_64

hogeという識別子をつける(-n)
256MBのメモリを割り当て(-r)
/kfs/hogeというファイル名で仮想ファイル[xvd形式]を作成する(-f) ←これは識別子と揃えておいたほうがいいぞ
4GBの仮想ファイルを作成する(-s)
GUIは利用しない(--nographics)
指定ftpからインストール(-l)

Domain-0のメモリが足りないとき、無理矢理圧縮する方法
# xm mem-set Domain-0 128

インスコ時はDHCPにしとくと、後でイメージコピーできて便利だぞ

とりあえずオプションはデフォルトで進める。
ソフトパッケージはカスタムして空っぽにする。（コピーして使い回すため）
あと普通にカスタム。

# yum install yum-fastestmirror
# yum -y update
# wget http://prdownloads.sourceforge.net/webadmin/webmin-1.410-1.noarch.rpm
# rpm --install webmin-1.410-1.noarch.rpm
# rm webmin-1.410-1.noarch.rpm

webmin設定する。
いらないスタートアップも消す。
こんなもんかしら。
DHCPで割り当てられたipは
# ifconfig
で調べられるぞ。

Xen自体は、
XenのHTTPインターフェースを有効化
# vi /etc/xen/xend-config.sxp
(xend-http-server yes) #どうも落ちる。原因不能。
(xend-port 8000)
(xend-address '192.168.1.100') # 接続元を限定
# service xend restart

Xenのマイグレーション有効化
# vi /etc/xen/xend-config.sxp
(xend-relocation-server yes)
(xend-relocation-port 8002)
(xend-relocation-hosts-allow '')
# service xend restart

ライブマイグレーションする
# xm migrate moge hoge.com --live
ネットワークコネクションも切れず、数秒で移動させられる。かなり実用的な機能のようだが、しかし使い道が思いつかない・・・

1:超RAIDで可用性バリバリだがCPUが弱い共有ストレージを用意する
2:OSを数台のPCで動かし、メンテ時や過負荷時にマイグレしたりしてみる

そうするとディスクのメンテナンスコストは抑えられそうだが、一台壊れると影響範囲が極めて広く、それって結局可用性が下がっちゃって意味ないような気がする。
読み書きが集中したらパフォーマンス落ちるし。
うーん・・・一体、何に使うんだろう・・・。。。

DHCP、オンメモリ運用、書き込み無しを前提に、サーバをポコポコ増やしまくる用途なら効くような気がするが、それってライブマイグレーションなんか実はどうでもよくて、ディスクのイメージ化のほうが重要だったり。あー、しかしDHCPだとトラブったサーバを特定できないから、ポコポコ増やすにも向いてないね、やっぱり。

いらないサービスを消し去る

2008-03-29T01:42:00.002+09:00

webminで作業しちゃう。
こうしちゃう。

アクション起動時に開始しますか？
acpid はいいらない
anacron はい
atd はい
auditd はいいらない
autofs はい
avahi-daemon はいいらない
avahi-dnsconfd いいえ
bluetooth はいいらない
conman いいえ
cpuspeed はいいらない
crond はい
cups はいいらない
dhcdbd いいえ
dnsmasq いいえ
dund いいえ
firstboot はいいらない
gpm はい
haldaemon はい
halt いいえ
hidd はいいらない
ip6tables はいいらない
iptables はい
irda いいえ
irqbalance はいシングルプロセッサだけどいちおう入れておくか
killall いいえ
krb524 いいえ
kudzu はい
libvirtd はい
lvm2-monitor はい
mcstrans はいいらない
mdmonitor はい raidじゃないけど一応いれておくか
mdmpd いいえ
messagebus はい
microcode_ctl はいいらない
multipathd いいえ
netconsole いいえ
netfs はい
netplugd いいえいちおういれておくか
network はい
NetworkManager いいえ
NetworkManagerDispatcher いいえ
nfs いいえ
nfslock はい
nscd いいえ
oddjobd いいえ
pand いいえ
pcscd はいいらない
portmap はい
psacct いいえ
rdisc いいえ
readahead_early はいいらない
readahead_later いいえ
restorecond はいいらない
rpcgssd はい
rpcidmapd はい
rpcsvcgssd いいえ
saslauthd いいえ
sendmail はいいちおういれておくか
single いいえ
smartd はいいちおういれておくか
sshd はい
syslog はい
webmin はい
wpa_supplicant いいえ
xend はい
xendomains はい
xfs はい
ypbind いいえ
yum-updatesd はいいらないあぶない
/etc/rc.d/rc.local はい

こちらが詳しい。
http://engineers-be-ambitious.blogspot.com/2007/05/centos-5-server-cd.html
でも私はnfsとXenを使うので、必要なのは残しました。

これを2マシン設定。
＃ほんとはcfengineを導入するとラクそうなんだけど、めんどいのでいずれまた。

NFSサーバを建てるぞ

2008-03-29T01:40:00.004+09:00

# mkdir /hoge
# chown -R nfsnobody:nfsnobody /hoge
# vi /etc/exports

中身は↓
/hoge 192.168.0.0/255.255.255.0(async,no_root_squash,rw)

# /etc/rc.d/init.d/portmap start
# /etc/rc.d/init.d/nfs start

自動起動も設定しとこう
# chkconfig portmap on
# chkconfig --list portmap
# chkconfig nfs on
# chkconfig --list nfs

ちなみにマウントする時 mount <ファイルシステムタイプ> <マウント先>
#mount -t nfs hoge.com:/hoge /hoge

自動マウントはこちら
# vi /etc/fstab
hoge.com:/hoge /hoge nfs rw 0 0

さんこう
http://kajuhome.com/nfs.shtml

一応ですね、Dom0は/kfs_alphaを公開し、全Dom0が自動マウントするようにしておきます。

イントラDNSサーバに新サーバを追加

2008-03-29T01:02:00.002+09:00

BIND使っとります。レコードをこんな感じで修正
vi /var/named/hoge.com.db

$ttl 60
hoge.com. IN SOA moge.hoge.com. root.hoge.com. (
2008032901
28800
14400
3600000
86400 )
IN NS hoge.com.
IN MX 10 hoge.com.
@ IN A 192.168.0.9
* IN A 192.168.0.9
hoge IN A 192.168.0.9
moge IN A 192.168.0.9
foo.hoge IN A 192.168.0.9
alpha IN A 192.168.0.2 ←新サーバ1
beta IN A 192.168.0.3 ←新サーバ2

シリアル番号上げて保存。

webminのインストール

2008-03-29T00:52:00.007+09:00

管理はメンドイのでwebmin入れてザクザクやります。

# wget http://prdownloads.sourceforge.net/webadmin/webmin-1.410-1.noarch.rpm
# rpm --install webmin-1.410-1.noarch.rpm

これでブラウザから10000番ポートにアクセスすると・・・

あっ！イントラ用DNSサーバに新鯖登録するの忘れてた・・・
・・・ま、次のエントリで書くとして、とりあえず完了。

webmin設定に入る。
デフォルトのテーマが気に入らないのでMSC.Linuxに変更。
日本語UTF-8も選択しとく。
webminアップデートもかけてみる。最初から最新の入れておけよって感じ？
Submit Your OSもしてみる

HTTPじゃアクセスしたくないぞ。SSL暗号化をクリックすると以下のメッセージが出るので、そのまま入れてしまえ。

>Perlモジュール NET::SSLeayがシステム上にインストールされていません。OpenSSLライブラリ及びNET::SSLeayをインストールするにはWebmin Webサイトからの指示に従ってください。
>別の選択肢として、Webminに必要なNet::SSLeay Perlモジュールをダウンロードとインストールさせることができます。

>Perlからのエラーメッセージ : Can't locate Net/SSLeay.pm in @INC (@INC contains: /usr/libexec/webmin /usr/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi /usr/lib64/perl5/site_perl/5.8.7/x86_64-linux-thread-multi /usr/lib64/perl5/site_perl/5.8.6/x86_64-linux-thread-multi /usr/lib64/perl5/site_perl/5.8.5/x86_64-linux-thread-multi /usr/lib/perl5/site_perl/5.8.8 /usr/lib/perl5/site_perl/5.8.7 /usr/lib/perl5/site_perl/5.8.6 /usr/lib/perl5/site_perl/5.8.5 /usr/lib/perl5/site_perl /usr/lib64/perl5/vendor_perl/5.8.8/x86_64-linux-thread-multi /usr/lib64/perl5/vendor_perl/5.8.7/x86_64-linux-thread-multi /usr/lib64/perl5/vendor_perl/5.8.6/x86_64-linux-thread-multi /usr/lib64/perl5/vendor_perl/5.8.5/x86_64-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.8 /usr/lib/perl5/vendor_perl/5.8.7 /usr/lib/perl5/vendor_perl/5.8.6 /usr/lib/perl5/vendor_perl/5.8.5 /usr/lib/perl5/vendor_perl /usr/lib64/perl5/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/5.8.8 .)

改めてSSL暗号化。

>可能であればSSLを使用可能にしますか?
>はい

>非SSLリクエストをSSLモードにリダイレクトしますか?
>はい

あとはデフォルトでおｋ

IPアクセス制限かけておこう。

webminサーバの索引
ブロードスキャンしてみる。
新旧のサーバが色々引っかかる。
旧サーバに引きずられたくないので消しておく。
>ホスト名
>適切に編集しておく。

>サーバの種類
>CentOS Linux

>Member of server groups
>New group なんか入力する

>リンクの種類
>Webmin 経由でログイン
↑これにしとくとCluster管理できる。

Cluster Webmin Servers で自分と、シンクロさせたいwebminを登録しとく。
これやっとくと、1台でyumしたら他のサーバも同期できるので、環境差が発生しなくて便利ですよ。
ユーザーIDも連動できるし。一度環境差ができちゃうと意味なくなるけど、セットアップ初期は、まぁ便利。登録は片方のサーバだけでいいです。両方登録するとその部分が環境差になっちゃうし、どっちがどっちだかわからなくなるし、意味ないです。

こんなもんかしら。

セットアップ

2008-03-29T00:31:00.009+09:00

何はともあれ、セットアップ。

110GdのBIOSはデフォルト。

昔Torrentで落とした5.0(x86_64)のDVD版をlinux textでインスコ。

・インストールオプション
　Virtualizationのみオン。カスタムで他もそぎ落とす。
・パーティション
　全フォーマットのデフォルト
・DNSサーバ
　既存の自分で建ててるDNSサーバをPrimaryに(192.168.0.6)
　SecondaryはプロバイダのDNS。

インスコ完了したら
firstbootが立ち上がるので、FirewallをDisable（ルータ通すのでいらんわ）、SELinuxもDisable（めんどいわ）

yum install yum-fastestmirror ←yum高速化プラグイン
yum -y update ←全部アップデート

念のため再起動したらネットワークから操作します。

rpmforgeのレポジトリを入れてみる。
# wget http://dag.wieers.com/rpm/packages/rpmforge-release/rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm
# rpm -Uvh rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm
# rm -f rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm
# sed -i 's/enabled = 1/enabled = 0/g' /etc/yum.repos.d/rpmforge.repo

auditのメッセージがうざいので消し去る
# yum remove audit

このブログの趣旨

2008-03-29T00:27:00.004+09:00

CentOSの設定なんかをメモします。あくまで自分用メモです。

○経緯
NEC Express 5800/110Gc×1、110Gd×1、ミニPC×1でサーバ運用中です。
110Gd×2を追加導入しました。

これまで作業履歴を残してこなかったため、結構ブラックボックスになってしまっています。
新規導入したついでに、今後は残しておこうと思います。
万が一、誰かの参考にでもなっちゃうようなことがあれば幸いです。期待しないでね。