日々のこと

Google用にサイトマップ（sitemap.xml）を作成する

2012-08-28T10:32:00.006+09:00

サイトのページ数が１０００件未満だと

http://www.sitemapxml.jp/

のようなオンラインの無料サービスを使うと楽なんだけど、今回は１０００件以上なので、

http://gsitecrawler.com/

にあるGSiteCrawlerを使うことにしました。
約４５０００件あり、作成に丸１日かかりました。

redmineの「メールによるチケットの登録」でハマったのでメモしておく

2012-08-27T14:18:00.000+09:00

redmine2.0.3をインストール後、

http://redmine.jp/guide/RedmineReceivingEmails/

の「メールサーバからメールを転送」に従い、Postfixのaliasに以下のように設定しました。

redmine: "|/var/lib/redmine/extra/mail_handler/rdm-mailhandler.rb -u http://redmine.example.co.jp/ -k LHdYz6oQ1PH3fDGVgtnt -p neomaster -t bug -o project,tracker,priority"

また、redmineの設定項目「受信メール」では、「受信メール用のWebサービスを有効にする」にチェックし、「APIキー」には「LHdYz6oQ1PH3fDGVgtnt」を登録しています。

この状態で、メール経由でチケットの登録しようとすると

<redmine@example.co.jp>: permission denied. Command output: Request was denied
by your Redmine server. Make sure that 'WS for incoming emails' is enabled
in application settings and that you provided the correct API key.

というエラーメールが帰ってきます。

http://redmine.jp/faq/issue/mail-handler-errors/

を見ても、「受信メール」のことしか書いていないので、原因がわからず。
２，３時間設定を見なおしたり、redmineのソースを見たりして悩んだ末、ふと、先日設定したアクセス制限が原因かもと思い、Locationディレクティブに

allow from redmine設置サーバのIP

を設定したところ、無事解決しました。

なんだか、とても疲れました。（＾＾；）

ソフトバンクのガラケーへのデコレメールでハマる。

2012-08-22T09:38:00.002+09:00

サーバのプログラムから、各種キャリアのケータイにHTMLメール（デコメール、デコレメールなど）を送信していたのだが、１ヶ月ほど前から、ソフトバンクのデコレメールだけ画像が表示されなくなったという報告を頂いた。

http://creation.mb.softbank.jp/mc/tech/doc/A-089-011-Mail_ContentDevelopmentGuide_1.0.1.pdf

を見ながら、文字コードやエンコーディング、メールの構成、メールのサイズ、インラインオブジェクトの数などいろいろとチェックしたのだが問題なし。

数時間悩み、なにげに Content-ID の長さを短くしてみたところ、あっけなく問題は解消してしまった。
うーーーん。以前までは問題なかったし、PDFにも長さについての記述はなかったのになぁ。
参りました。

redmineとpassengerでアクセス制限にハマる

2012-08-22T09:06:00.000+09:00

redmineとpassengerを導入したのだが、アクセス制限でハマったので記録しておく。

普段、apacheでのアクセス制限は

<Directory /var/lib/redmine>
Order deny,allow
deny from all
allow from xxx.xxx.xxx.xxx
</Directory>

のような感じで書くのだが、mod_passengerが優先されるようで、この設定ではうまくいかない。

Directoryディレクティブの代わりにLocationディレクティブを使って

<Location /redmine>
Order Deny,Allow
Deny from all
allow from xxx.xxx.xxx.xxx
</Location>

のようにするとうまくいきました。

なお、「/redmine」はredmineへのURLとなります。

なので、この場合は、http://xxx.xxx.xxx/redmineというURLの場合です。

centos6.3にredmine2.0をインストールする

2012-08-17T13:35:00.000+09:00

http://blog.redmine.jp/articles/redmine-2_0-installation_centos/
を参考に、centos6.3にredmine2.0をインストールする。

●各種ツールをインストールする。

・開発ツール(Cコンパイラ等)
　# yum groupinstall "Development Tools"

・RubyとPassengerのビルドに必要なヘッダファイルなど
　# yum install openssl-devel readline-devel zlib-devel curl-devel libyaml-devel

・MySQLとヘッダファイル
　# yum install mysql-server mysql-devel

・Apacheとヘッダファイル
　# yum install httpd httpd-devel

・ImageMagickとヘッダファイル
　# yum install ImageMagick ImageMagick-devel

のインストールを行う。

rubyについては、まずrubyのバージョン管理ツールrvmをインストールし、rvm経由でrubyをインストールする。

　# bash -s stable < <(curl -s https://raw.github.com/wayneeseguin/rvm/master/binscripts/rvm-installer)

でrvmのインストールが完了すると、

　# rvm list known

でインストールできるrubyのバージョンを確認できる。

　# rvm install 1.9.3

で、ruby 1.9.3をインストールする。
他のバージョンのrubyを利用していない場合は、ruby 1.9.3が利用できる状態になっている。
他のバージョンを利用している場合は、

　# rvm use 1.9.3

で、切り替える必要がある。
最後にgemを一括インストールするためのツール、bundlerをインストールする。

　# gem install bundler --no-rdoc --no-ri

●redmineで利用するMySQLの設定をする。

デフォルトキャラクタセットをutf8に設定するために、my.confに以下を追加する。

[mysql]

default-character-set = utf8

[mysqld]

default-character-set = utf8

次に、redmine用データベースとユーザーの作成を行う。

# mysql -uroot -pxxxx

mysql> create database db_redmine default character set utf8;

mysql> grant all on db_redmine.* to user_redmine identified by '********';

mysql> flush privileges;

mysql> exit;

●redmineのインストール。

redmineのインストール

http://rubyforge.org/frs/?group_id=1850

からtar.gzを取得する。

解凍後、/var/lib/redmineにredmineを設置する。

redmineの設定を行う

データベースの接続設定として、

/var/lib/redmine/config/database.yml

に

production:

adapter: mysql2

database: db_redmine

host: localhost

username: user_redmine

password: ********

encoding: utf8

を保存する。

メールサーバへの接続設定として、

/var/lib/redmine/config/configuration.yml

に

production:

email_delivery:

delivery_method: :smtp

smtp_settings:

address: "localhost"

port: 25

domain: 'example.co.jp'

を保存する。

redmineに必要なgemパッケージをインストールする

　# bundle install --without development test postgresql sqlite

セッションデータ暗号化用鍵の生成とテーブル作成を行う

コマンド実行は/var/lib/redmine/で行う。

　# rake generate_secret_token

　# RAILS_ENV=production rake db:migrate

●apacheの設定

Passengerのインストール

・Passengerのインストール

　# gem install passenger --no-rdoc --no-ri

・PassengerのApache用モジュールのインストール

　# passenger-install-apache2-module

インストールが完了すると

LoadModule passenger_module /usr/local/rvm/gems/ruby-1.9.3-p194/gems/passenger-3.0.15/ext/apache2/mod_passenger.so

PassengerRoot /usr/local/rvm/gems/ruby-1.9.3-p194/gems/passenger-3.0.15

PassengerRuby /usr/local/rvm/wrappers/ruby-1.9.3-p194/ruby

のようなのが表示されるので控えておく。

Passengerの設定

/etc/httpd/conf.d/passenger.confに

LoadModule passenger_module /usr/local/rvm/gems/ruby-1.9.3-p194/gems/passenger-3.0.15/ext/apache2/mod_passenger.so

PassengerRoot /usr/local/rvm/gems/ruby-1.9.3-p194/gems/passenger-3.0.15

PassengerRuby /usr/local/rvm/wrappers/ruby-1.9.3-p194/ruby

Header always unset "X-Powered-By"

Header always unset "X-Rack-Cache"

Header always unset "X-Content-Digest"

Header always unset "X-Runtime"

PassengerMaxPoolSize 20

PassengerMaxInstancesPerApp 4

PassengerPoolIdleTime 3600

PassengerUseGlobalQueue on

PassengerHighPerformance on

PassengerStatThrottleRate 10

RailsSpawnMethod smart

RailsAppSpawnerIdleTime 86400

RailsFrameworkSpawnerIdleTime 0

を保存する。

ファイル所有権の変更

apache上のPassengerでredmineを実行するために所有権を変更しておく。

　# chown -R apache:apache /var/lib/redmine

バーチャルホストの設定

バーチャルホストでredmineを実行できるようにhttpd.confに

ServerName redmine.example.co.jp

DocumentRoot "/var/lib/redmine/public"

# This relaxes Apache security settings.

AllowOverride all

# MultiViews must be turned off.

Options -MultiViews

のようなのを追加しておく。

以上で、redmineのインストールは終了です。

あとは、apacheを再起動して、redmine.example.co.jpにアクセスできればOKです。

WebminのSSL化をまとめておく。

2012-08-16T10:51:00.000+09:00

WebminのSSL化の手順をまとめておきます。

手順としては、

１）PerlのNet::SSLeayをインストール
２）WebminでSSLの利用設定

となります。

１）
PerlのNet::SSLeayをインストールについて。
yumでモジュールをインストールします。

yum -y install perl-Net-SSLeay

２）
WebminでSSLの利用設定について。

Webmin画面左カラムの「Webmin」→「Webmin 設定」と進む。
Webminの設定項目の一覧がでるので、「SSL 暗号化」を選ぶ。

「可能であればSSLを使用可能にしますか?」で「はい」を選ぶ、「保存」ボタンを押す。
保存後、すぐに設定が効いてSSL接続以外をはじくようになるので、「Error - Bad Request」の
エラーメッセージが表示されます。

これで設定は完了ですので、今後は、
https://ドメイン名:10000
でアクセスしなおします。

ただし、認証については、オレオレ認証なので、セキュリティの警告画面が出ます。
が、気にせず進みましょう。

エクステリアの戸棚

2012-08-16T10:38:00.001+09:00

お盆休みにエクステリアの戸棚を作成。

扉の作成に手間取りました。

花壇

2012-08-09T09:17:00.000+09:00

ミモザの花壇を作りました。
レンガ40個で出来上がり(^o^)

Apacheのdigest認証でハマった

2012-08-07T12:24:00.000+09:00

Apacheでユーザー認証を行うには（Digest認証編）
を参考に

AuthType Digest

AuthName "Secret Zone"

AuthDigestDomain /member/

AuthDigestFile /etc/httpd/.htdigest

Require user secret

のような感じで設定するが、

Invalid command 'AuthDigestFile', perhaps misspelled or defined by a module not included in the server configuration

というエラーがでる。

いろいろ調べた結果、AuthDigestFile が AuthUserFile に変わったようだったので、

修正すると改善しました。

なお、したかったことは、php経由でdigest認証を通過すること。

php自体は以下のようなのでOKです。

$ch = curl_init();

curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_DIGEST);

curl_setopt($ch, CURLOPT_USERPWD, "$username:$password");

curl_setopt($ch, CURLOPT_URL, $url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$str = curl_exec($ch);

curl_close($ch);

Dovecotの再起動

2012-08-06T09:07:00.000+09:00

Dovecotを再起動するには、

/etc/rc.d/init.d/dovecot restart

の他に

/bin/kill -HUP `cat /var/run/dovecot/master.pid 2>/dev/null`

というのもある。
ただし、後者の場合は、ログファイルが変わらないので注意が必要。

バーベキューコンロ用のテーブル

2012-08-03T09:08:00.001+09:00

McAfee SiteAdvisorで「閲覧は危険を伴う可能性があります」と出る

2012-08-03T08:49:00.000+09:00

勤めてる会社が管理する、サイト「メール配信(月500円～)・ステップメール NEO（ http://www.mail-neo.com/ ）」が、McAfee SiteAdvisorで「閲覧は危険を伴う可能性があります」と出るという報告を利用者から頂いた。

とりあえず、https://www.siteadvisor.com/sites/www.mail-neo.com

で原因を調べたんだけど、詳しいことが買いてないので、何もわからず。

ちょっと不安になったので、念のため、

http://safeweb.norton.com/
http://www.gred.jp/
http://www.unmaskparasites.com/
http://www.aguse.jp/

のような他のチェックサイトでも調べてみたけど、すべて安全と出ます。

McAfee SiteAdvisorのサイトを調べると、http://www.siteadvisor.com/webmasters/index.html

に「サイト評価に対するフィードバックを行う方法」という項目があったので、内容に従い、

メールで調査と依頼しました。

翌日、McAfeeから以下のようなメールを頂きました。

Hello,

We have received your request. It will be reviewed and processed by our team in the order it was received. Any adjustment made based on the review will be published in http://www.siteadvisor.com.

Sincerely,

Kyoko
McAfee GTI Customer Response Team - North America

とりあえず、処理を進めてくれる模様。
早く改善されるとよいんだけど。

追記。
その後、３日ほどしてから
https://www.siteadvisor.com/sites/www.mail-neo.com
を再度チェックしてみると、問題なしとなっていました。

無事、解決できてよかった。(^^)

エクステリアの水栓

2012-08-03T08:17:00.000+09:00

レンガで作ってみました。
カエルとフクロウの蛇口がお気に入り。

CentOS 6.2 でpostfixにopendkimを導入する。

2012-08-01T13:52:00.000+09:00

CentOS 6.2 でpostfixにopendkimを導入する。

１）
epelにあるopendkimを利用するので、epelが使えない場合は
epelを使えるようにする。

具体的には、CentOS 6.2で64bitなら以下のようなコマンドを発行する。

wget http://ftp-srv2.kddilabs.jp/Linux/distributions/fedora/epel/6/x86_64/epel-release-6-5.noarch.rpm
rpm -ivh epel-release-6-5.noarch.rpm

２）
yumを使ってopendkimを導入する。

yum -y install opendkim

３）
opendkim用のプライベートキーを用意する。
例えば、ドメインが hoge.co.jp とすると以下のようなコマンドを発行する。

mkdir /etc/opendkim/keys/hoge.co.jp
/usr/bin/opendkim-genkey -D /etc/opendkim/keys/hoge.co.jp/ -d hoge.co.jp -s default
chown -R opendkim:opendkim /etc/opendkim/keys
mv /etc/opendkim/keys/hoge.co.jp/default.private /etc/opendkim/keys/hoge.co.jp/default

４）
opendkimまわりの設定ファイルを修正する。
関係するのは、

/etc/opendkim.conf
/etc/opendkim/KeyTable
/etc/opendkim/TrustedHosts
/etc/opendkim/SigningTable

の４つのファイル。
/etc/opendkim.confの変更内容は以下のとおり。

Mode sv
#KeyFile /etc/opendkim/keys/default.private
KeyTable refile:/etc/opendkim/KeyTable
SigningTable refile:/etc/opendkim/SigningTable
ExternalIgnoreList refile:/etc/opendkim/TrustedHosts
InternalHosts refile:/etc/opendkim/TrustedHosts

/etc/opendkim/KeyTableの変更内容は以下のとおり。

default._domainkey.hoge.co.jp hoge.co.jp:default:/etc/opendkim/keys/hoge.co.jp/default

/etc/opendkim/TrustedHostsの変更内容は以下のとおり。

127.0.0.1
localhost
mail.hoge.co.jp
hoge.co.jp

/etc/opendkim/SigningTableの変更内容は以下のとおり。

hoge.co.jp default._domainkey.hoge.co.jp

５）
Postfixの設定も変更する。
/etc/postfix/main.cfに以下を追記する。

#opendkim
smtpd_milters = inet:127.0.0.1:8891
non_smtpd_milters = $smtpd_milters
milter_default_action = accept

６）
DNSの設定も変更する。

cat /etc/opendkim/keys/hoge.co.jp/default.txt

で表示される内容をDNSサーバに設定する。
可能なら、以下のようなDKIMポリシーも設定する。

_adsp._domainkey.example.com IN TXT "dkim=unknown"

７）
opendkimの開始とpostfixの再起動。

/etc/rc.d/init.d/opendkim start
/etc/rc.d/init.d/postfix restart

これで終わりです。
ついでに、上記の処理をシェルスクリプトにしてみました。
良かったら自己責任で使ってください。(^^;)

#!/bin/sh

#DNS
#DNS=hoge.co.jp

echo "----> Start DKIM setting for ${DNS}"

####
# install epel
####
if [ ! -e /etc/yum.repos.d/epel.repo ]
then
echo '----> Install epel'
OSFILE=`ls /etc -F | grep "release$\|version$"`
OS=`cat /etc/${OSFILE}`
MACHINE=`uname -m`

if [[ "$OS" =~ "CentOS release 6" ]]; then
OSVER="6"
RPM="epel-release-6-5.noarch.rpm"
else
echo '---->fail'
exit;
fi

if [[ "$MACHINE" =~ "x86_64" ]]; then
MACHINEVER="x86_64"
else
MACHINEVER="i386"
fi

EPELURL="http://ftp-srv2.kddilabs.jp/Linux/distributions/fedora/epel/${OSVER}/${MACHINEVER}/${RPM}"
wget $EPELURL
rpm -ivh $RPM
fi

###
# install opendkim
###
echo '----> Install opendkim'
yum -y install opendkim

if [ ! -e /etc/opendkim/keys/${DNS}/default ]
then
mkdir /etc/opendkim/keys/${DNS}
/usr/bin/opendkim-genkey -D /etc/opendkim/keys/${DNS}/ -d ${DNS} -s default
chown -R opendkim:opendkim /etc/opendkim/keys
mv /etc/opendkim/keys/${DNS}/default.private /etc/opendkim/keys/${DNS}/default
fi

DKIM_CONF=/etc/opendkim.conf
KEY_TABLE=/etc/opendkim/KeyTable
TRUSTED_HOSTS=/etc/opendkim/TrustedHosts
SIGNING_TABLE=/etc/opendkim/SigningTable

POSTFIX_CONF=/etc/postfix/main.cf

echo '----> Eidt opendkim.conf'
if [ -e $DKIM_CONF ]
then
if [ -e ${DKIM_CONF}.org ]
then
cp ${DKIM_CONF}.org ${DKIM_CONF}
else
cp ${DKIM_CONF} ${DKIM_CONF}.org
fi

sed -e 's/^Mode.*/Mode sv/' \
-e 's/^KeyFile/#KeyFile/' \
-e 's/^#KeyTable/KeyTable/' \
-e 's/^#SigningTable/SigningTable/' \
-e 's/^#ExternalIgnoreList/ExternalIgnoreList/' \
-e 's/^#InternalHosts/InternalHosts/' \
${DKIM_CONF} > ${DKIM_CONF}.tmp
cp ${DKIM_CONF}.tmp ${DKIM_CONF}
rm -f ${DKIM_CONF}.tmp

echo '----> Eidt KeyTable'
if [ -e ${KEY_TABLE}.org ]
then
cp ${KEY_TABLE}.org ${KEY_TABLE}
else
cp ${KEY_TABLE} ${KEY_TABLE}.org
fi
echo "default._domainkey.${DNS} ${DNS}:default:/etc/opendkim/keys/${DNS}/default" >> ${KEY_TABLE}

echo '----> Eidt TrustedHosts'
if [ -e ${TRUSTED_HOSTS}.org ]
then
cp ${TRUSTED_HOSTS}.org ${TRUSTED_HOSTS}
else
cp ${TRUSTED_HOSTS} ${TRUSTED_HOSTS}.org
fi
echo "localhost" >> ${TRUSTED_HOSTS}
echo "mail.${DNS}" >> ${TRUSTED_HOSTS}
echo "${DNS}" >> ${TRUSTED_HOSTS}

echo '----> Eidt SigningTable'
if [ -e ${SIGNING_TABLE}.org ]
then
cp ${SIGNING_TABLE}.org ${SIGNING_TABLE}
else
cp ${SIGNING_TABLE} ${SIGNING_TABLE}.org
fi
echo "${DNS} default._domainkey.${DNS}" >> ${SIGNING_TABLE}

echo '----> Eidt Postfix main.cf'
GRP=`cat ${POSTFIX_CONF}|grep 'smtpd_milters'`
if [ -z $GRP ]
then
echo "" >> ${POSTFIX_CONF}
echo "#opendkim" >> ${POSTFIX_CONF}
echo "smtpd_milters = inet:127.0.0.1:8891" >> ${POSTFIX_CONF}
echo 'non_smtpd_milters = $smtpd_milters' >> ${POSTFIX_CONF}
echo 'milter_default_action = accept' >> ${POSTFIX_CONF}
fi

echo '----> (re)start daemons'
if [ -e /etc/rc.d/init.d/opendkim ]
then
restatus=`/etc/rc.d/init.d/opendkim status`
if [[ "$restatus" =~ stopped ]]; then
/etc/rc.d/init.d/opendkim start
else
/etc/rc.d/init.d/opendkim restart
fi
else
echo '/etc/rc.d/init.d/opendkim not exists'
exit;
fi
/sbin/chkconfig opendkim on

if [ -e /etc/rc.d/init.d/postfix ]
then
restatus=`/etc/rc.d/init.d/postfix status`
if [[ "$restatus" =~ stopped ]]; then
/etc/rc.d/init.d/postfix start
else
/etc/rc.d/init.d/postfix restart
fi
else
echo '/etc/rc.d/init.d/postfix not exists'
exit;
fi

echo '#########################################'
echo 'INSTALL IS OVER'
echo '#########################################'
echo ''
echo 'Change DNS'
cat /etc/opendkim/keys/${DNS}/default.txt
echo "_adsp._domainkey"' IN TXT "dkim=unknown"'
else
echo "----> FAIL: ${DKIM_CONF} is not exists!"
exit;
fi

レゴ

2012-08-01T13:03:00.001+09:00

gmailのバックアップ

2012-06-25T16:24:00.002+09:00

windows7でgmailをバックアップしたい。
が、Thunderbirdなどのメーラを使って手動で同期するなど、手間のかかる
方法は一切使いたくない方のために。

１）
gmailの設定でPOPにアクセスできるようにする。

２）
cygwinをインストールする。
インストールの際に、Mailの項目のfetchmailとprocmailにも
チェックしておく。

３）
ログインユーザ名がnkdの場合、
C:\cygwin\home\nkd\
というディレクトリができている。
ここにメール関係の設定ファイルを置く。

まず、fetchmailの設定。
fetchmailはgmailからメールを取り出す処理を行う。

.fetchmailrcというファイルを作成し、以下のように記述する。

----
poll pop.gmail.com
protocol pop3
username "user@gmail.com" password "mypass"
keep ssl
mda "/usr/bin/procmail -m /home/nkd/.procmailrc"
----

※user@gmail.comはgmailのメールアドレス。
※mypassはgmailのログインパスワード。
※nkdの部分は自分のログインユーザ名とする。

次に、procmailの設定。
procmailは取り出したメールを振り分けて保存する処理を
行う。fetchmailだけだと１つのファイルにメールが書き込まれて
いくので、使い勝手が悪いのでメールごとに１つのファイルに
書き込むようにする。

.prcomailrcというファイルを作成し、以下のように記述する。

----
MAILDIR=/home/nkd/
VERBOSE=on

:0
Mail/
----

※nkdの部分は自分のログインユーザ名とする。

４）
動作の確認。
cygwinのアイコンにアクセスし、

fetchmai -vk

と入力してみる。いろいろとログが出力されるので、ログを確認し
メールを取り込めているか確認する。
なお、ちゃんと取り込めている場合、
C:\cygwin\home\nkd\Mail\new
以下にメールごとのファイルが作成されている。

５）
最後に、windowsのタスクスケジューラを使って定期的にgmailに
アクセスするようにする。

ただし、

fetchmai -vk

を実行するだけのバッチファイルを登録すると、処理ごとに
ウィンドウが表示されるので煩わしいので、VBSファイルを利用して
ウィンドウを非表示とする。

作成するのは、gmailbak.batとgmailbak.vbsの２つのファイル。
ともにC:\cygwin\home\nkd\以下に作成する。

gmailbak.batの内容は以下のとおり。

----
c:/cygwin/bin/bash.exe --login -i -c "fetchmail -k;
----

gmailbak.vbsの内容は以下のとおり。

----
Set objWSHShell = CreateObject("WScript.Shell")
objWSHShell.Run "cmd.exe /c C:\cygwin\home\nkd\gmailbak.bat", 7
----

※nkdの部分は自分のログインユーザ名とする。

タスクスケジューラには、定期的にgmailbak.vbsを実行するように
設定すれば完了。

webalizerのWarning

2010-08-05T11:41:00.004+09:00

cronのログを見ていて

/etc/cron.daily/00webalizer:
Warning: Truncating oversized referrer field [10033]

のようなログに気がついた。

調べてみると

このエラーはエラーメッセージにある通りaccess_logの行で1行あたりの文字数があまりにも多いものが存在したことが原因で起きます。
このような長い行は、IISを攻撃対象としているネットワークワーム(多分、Nimda)がバッファオーバーランを利用した攻撃を行うために非常に長いリクエストを発行し、それをApacheがaccess_logに保存することにより作成されます。

対策はwebalizerのソースコードをいじって長い行に対応できるようにするか、Apacheの設定でワームの攻撃をaccess_logに保存しないように設定するかだと思います。
後者の方法については「Apache NULL.IDA」で検索するとたくさん見つかると思います。

ということらしい。（参照：http://home.k05.itscom.net/aperuto/webalizer.html）

で、さらに調べて、httpdのワームとかのログを別ファイルに保存するようにした。

（ついでに画像ファイルのログは記録しないようにした。）

httpd.confで

CustomLog logs/access_log combined

となっているところを

#CustomLog logs/access_log combined

SetEnvIf Request_URI "\.(gif|jpg|png|ico)$" no_log

SetEnvIf Request_URI "\.(ida|IDA|exe|printer|asp|dll)" worm no_log

SetEnvIf Request_URI "^/_mem_bin/" worm no_log

SetEnvIf Request_URI "^/_vti_bin/" worm no_log

SetEnvIf Request_URI "^/c/" worm no_log

SetEnvIf Request_URI "^/d/" worm no_log

SetEnvIf Request_URI "^/msadc/" worm no_log

SetEnvIf Request_URI "^/MSADC/" worm no_log

SetEnvIf Request_URI "^/scripts/" worm no_log

SetEnvIf Request_URI "^/default.ida" worm no_log

SetEnvIf Request_URI "root\.exe" worm no_log

SetEnvIf Request_URI "cmd\.exe" worm no_log

SetEnvIf Request_URI "NULL\.IDA" worm no_log

CustomLog logs/access.log combined env=!no_log

CustomLog logs/worm.log combined env=worm

のように修正。

修正後、httpdをリスタートして完了。

CentOS5.5 ログローテーションエラー duplicate log entry for /var/log/xferlog

2010-08-05T10:35:00.000+09:00

数日前から、

/etc/cron.daily/logrotate:

error: vsftpd.log:7 duplicate log entry for /var/log/xferlog

というエラーが出ていた。

/etc/logrotate.d 以下のFTP関係のファイルを確認してみるとvsftpdとproftpd

が競合していることが分かった。

proftpdは利用していないので

> yum -y remove proftpd

でproftpdを削除。

> /usr/sbin/logrotate -vd /etc/logrotate.conf

で問題が解消されたことを確認。

postfixでcannot update mailboxというエラーが出る

2010-07-30T07:26:00.003+09:00

postfixのログを見ていて

cannot update mailbox /var/mail/webmaster for user webmaster. error writing message: File too large

というようなログがあることに気がつきました。

main.cfに

mailbox_size_limit = 1024000000

message_size_limit = 327680000

のような設定をし、とりあえず上限をあげてみた。

BINDのnetwork unreachable resolving

2010-07-30T07:15:00.002+09:00

logwatchを見ていると

network unreachable resolving 'xxx.com/MX/IN': 2001:503:a83e::2:30#53: 1 Time(s)
network unreachable resolving 'x.x.x.x.in-addr.arpa/PTR/IN': 2001:500:13::c7d4:35#53: 1 Time(s)

のようなログが大量に出てる。

調べてみると /etc/sysconfig/named に

OPTION=”-4″

を追加してIPv6 を明示的に使用しない設定にするとよいみたいなので

設定してみた。

centos5.5でpostfixにDKIMを導入

2010-07-28T13:27:00.002+09:00

centos5.5でpostfixにDKIMを導入。

ドメインはhoge.com

１）

dkim-milter 2.8.3-4.el5 をyumでインストール

２）

> dkim-genkey -d hoge.com -r -D /etc/mail/dkim-milter

で公開キーと秘密キーを作成。

３）

> chown dkim-milter:dkim-milter /etc/mail/dkim-milter/default.private

で秘密キーのパーミッションをdkim-milterにする。

４）

/etc/mail/dkim-milter/dkim-filter.conf

を設定する。内容は以下のような感じ。

> more /etc/mail/dkim-milter/dkim-filter.conf

::::::::::::::

/etc/mail/dkim-milter/dkim-filter.conf

::::::::::::::

## dkim-filter.conf -- configuration file for DKIM filter

## $Id: dkim-filter.conf.sample,v 1.27 2008/12/27 05:21:56 msk Exp $

## ADSPDiscard { yes | no }

## default "no"

## Reject messages which are determined to be "suspicious" according to the

## sending domain's published signing procedure (ADSP) record if that record

## also recommends rejection of such messages.

# ADSPDiscard No

## ADSPNoSuchDomain { yes | no }

## default "no"

## Reject messages which are determined to be from nonexistent domains during

## the Author Domain Signing Practises (ADSP) check.

# ADSPNoSuchDomain No

## AllowSHA1Only { yes | no }

## default "no"

## By default, the filter will refuse to start if signing mode is enabled

## but rsa-sha1 will be used (either because it is the only algorithm

## available or because it was explicitly requested) since this violates

## the strong recommendations of RFC4871 section 3.3.

# AllowSHA1Only no

## AlwaysAddARHeader { yes | no }

## default "no"

## Add an "Authentication-Results:" header even to unsigned messages

## from domains with no "signs all" policy. The reported DKIM result

## will be "none" in such cases. Normally unsigned mail from non-strict

## domains does not cause the results header to be added.

# AlwaysAddARHeader no

## AlwaysSignHeaders header-list

## default (none)

## Specifies a list of headers whose names should appear in signatures

## whether or not they were signed, preventing their later addition.

# AlwaysSignHeaders header1,header2,...

## AuthservID string

## default (local host name)

## Defines the "authserv-id" token to be used when generating

## Authentication-Results headers after message verification.

# AuthservID example.com

## AuthservIDWithJobID

## default "no"

## Appends a "/" followed by the MTA's job ID to the "authserv-id" token

## when generating Authentication-Results headers after message verification.

# AuthservIDWithJobId no

## AutoRestart { yes | no }

## default "no"

## Indicate whether or not the filter should arrange to restart automatically

## if it crashes.

# AutoRestart No

AutoRestart yes

## AutoRestartCount n

## default 0

## Sets the maximum automatic restart count. After this number of

## automatic restarts, the filter will give up and terminate. A value of 0

## implies no limit.

# AutoRestartCount 0

## AutoRestartRate n/t[u]

## default (none)

## Sets the maximum automatic restart rate. See the dkim-filter.conf(5)

## man page for the format of this parameter.

# AutoRestartRate n/tu

AutoRestartRate 12/1h

## Background { yes | no }

## default "yes"

## Indicate whether or not the filter should run in the background.

# Background Yes

## BaseDirectory path

## default (none)

## Causes the filter to change to the named directory before beginning

## operation. Thus, cores will be dumped here and configuration files

## are read relative to this location.

# BaseDirectory /var/run/dkim-filter

## BodyLengths { yes | no }

## default "no"

## Indicate whether or not signatures with body length tags should be

## generated.

# BodyLengths No

## Canonicalization hdrcanon[/bodycanon]

## default "simple/simple"

## Select canonicalizations to use when signing. If the "bodycanon" is

## omitted, "simple" is used. Valid values for each are "simple" and

## "relaxed".

# Canonicalization simple/simple

## ClockDrift n

## default 300

## Specify the tolerance range for expired signatures or signatures

## which appear to have timestamps in the future, allowing for clock

## drift.

# ClockDrift 300

## Diagnostics { yes | no }

## default "no"

## Specifies whether or not signatures with header diagnostic tags should

## be generated.

# Diagnostics No

## DNSTimeout n

## default 10

## Specify the time in seconds to wait for replies from the nameserver when

## requesting keys or signing policies.

# DNSTimeout 10

## Domain name[,...]

## default (none)

## Specify for which domain(s) signing should be done. No default; must

## be specified for signing.

# Domain example.com

Domain hoge.com

## DontSignMailTo addrlist

## default (none)

## Gives a list of recipient addresses or address patterns whose mail should

## not be signed. Wildcard ("*") characters are allowed.

# DontSignMailTo addr1,addr2,...

## EnableCoredumps { yes | no }

## default "no"

## On systems which have support for such, requests that the kernel dump

## core even though the process may change user ID during its execution.

# EnableCoredumps no

## ExternalIgnoreList filename

## Names a file from which a list of externally-trusted hosts is read.

## These are hosts which are allowed to send mail through you for signing.

## Automatically contains 127.0.0.1. See man page for file format.

# ExternalIgnoreList filename

## FixCRLF { yes | no }

## Requests that the library convert "naked" CR and LF characters to

## CRLFs during canonicalization. The default is "no".

# FixCRLF no

## InternalHosts filename

## Names a file from which a list of internal hosts is read. These are

## hosts from which mail should be signed rather than verified.

## Automatically contains 127.0.0.1. See man page for file format.

# InternalHosts filename

InternalHosts /etc/mail/dkim-milter/internalhosts

## KeepTemporaryFiles { yes | no }

## default "no"

## If set, causes temporary files generated during message signing or

## verifying to be left behind for debugging use. Not for normal operation;

## can fill your disks quite fast on busy systems.

# KeepTemporaryFiles no

## KeyFile filename

## Specifies the path to the private key to use when signing. Ignored if

## Keylist is set. No default; must be specified for signing.

# KeyFile /var/db/dkim/example.private

KeyFile /etc/mail/dkim-milter/default.private

## KeyList filename

## Specifies the path to the list of keys and signing domains to be applied

## by the signing filter. The entries in this file should be of the form:

## pattern:domain:keypath

## ...where "pattern" is a pattern of user@host to match, with "*" being

## allowed as a wildcard; "domain" is the signing domain; and "keypath"

## is the path to the private key to use to generate signatures for such

## users. The selector used will be the filename portion of "keypath".

## Blank lines are ignored, and the hash ("#") character is interpreted

## as the beginning of a comment. See dkim-filter.conf(5) for more

## information.

#KeyList /etc/mail/dkim-milter/keys/keylist

## LocalADSP filename

## Allows specification of local ADSP overrides for domains. This should be

## a path to a file containing entries, one per line, with comments and

## blank lines allowed. An entry is of the form "domain:policy" where

## "domain" is either a fully-qualified domain name (e.g. "foo.example.com")

## or a subdomain name preceded by a period (e.g. ".example.com"), and

## "policy" is either "unknown", "all", or "discardable", as per the current

## ADSP draft specification. This allows local overrides of policies to

## enforce for domains which either don't publish ADSP or publish weaker

## policies than the verifier would like to enforce.

# LocalADSP /etc/mail/local-adsp-rules

## LogWhy { yes | no }

## default "no"

## If logging is enabled (see Syslog below), issues very detailed logging

## about the logic behind the filter's decision to either sign a message

## or verify it. The logic behind the decision is non-trivial and can be

## confusing to administrators not familiar with its operation. A

## description of how the decision is made can be found in the OPERATIONS

## section of the dkim-filter(8) man page. This causes a large increase

## in the amount of log data generated for each message, so it should be

## limited to debugging use and not enabled for general operation.

# LogWhy no

## MacroList macro[=value][,...]

## Gives a set of MTA-provided macros which should be checked to see

## if the sender has been determined to be a local user and therefore

## whether or not signing should be done. See dkim-filter.conf(5) for

## more information.

# MacroList foo=bar,baz=blivit

## MaximumHeaders n

## Disallow messages whose header blocks are bigger than "n" bytes.

## Intended to detect and block a denial-of-service attack. The default

## is 65536. A value of 0 disables this test.

# MaximumHeaders n

## MaximumSignedBytes n

## Don't sign more than "n" bytes of the message. The default is to

## sign the entire message. Setting this implies "BodyLengths".

# MaximumSignedBytes n

## MilterDebug n

## Request a debug level of "n" from the milter library. The default is 0.

# MilterDebug 0

## Minimum n[% | +]

## default 0

## Sets a minimum signing volume; one of the following formats:

## n at least n bytes (or the whole message, whichever is less)

## must be signed

## n% at least n% of the message must be signed

## n+ if a length limit was presented in the signature, no more than

## n bytes may have been added

# Minimum n

## Mode [sv]

## default sv

## Indicates which mode(s) of operation should be provided. "s" means

## "sign", "v" means "verify".

# Mode sv

## MTA mtaname[,...]

## Specifies a list of MTAs whos mail should always be signed rather than

## verified. The "mtaname" is extracted from the DaemonPortOptions line

## in effect.

# MTA name

MTA MSA

## MustBeSigned

## default (none)

## Defines a list of headers which, if present on a message, must be

## signed for the signature to be considered acceptable.

# MustBeSigned header1,header2,...

## OmitHeaders headerlist

## default (none)

## Specifies a list of headers that should always be omitted when signing.

## Header names should be separated by commas.

# OmitHeaders header1,header2,...

OmitHeaders Authentication-Results

## On-...

## Specifies what to do when certain error conditions are encountered.

## See dkim-filter.conf(5) for more information.

# On-Default

# On-BadSignature

# On-DNSError

# On-InternalError

# On-NoSignature

# On-Security

## PeerList filename

## Contains a list of IP addresses, CIDR blocks, hostnames or domain names

## whose mail should be neither signed nor verified by this filter. See man

## page for file format.

# PeerList filename

## PidFile filename

## Name of the file where the filter should write its pid before beginning

## normal operations.

# PidFile filename

PidFile /var/run/dkim-milter/dkim-milter.pid

## POPDBFile filename

## Names a database which should be checked for "POP before SMTP" records

## as a form of authentication of users who may be sending mail through

## the MTA for signing. Requires special compilation of the filter.

## See dkim-filter.conf(5) for more information.

# POPDBFile filename

## Quarantine { yes | no }

## default "no"

## Indicates whether or not the filter should arrange to quarantine mail

## which fails verification. Intended for diagnostic use only.

# Quarantine No

## QueryCache { yes | no }

## default "no"

## Instructs the DKIM library to maintain its own local cache of keys and

## policies retrieved from DNS, rather than relying on the nameserver for

## caching service. Useful if the nameserver being used by the filter is

## not local. The filter must be compiled with the QUERY_CACHE flag to enable

## this feature, since it adds a library dependency.

# QueryCache No

## RemoveARAll { yes | no }

## default "no"

## Remove all Authentication-Results: headers on all arriving mail.

# RemoveARAll No

## RemoveARFrom list

## default (none)

## Remove all Authentication-Results: headers on all arriving mail that

## claim to have been added by hosts listed in this parameter. The list

## should be comma-separated. Entire domains may be specified by preceding

## the dopmain name by a single dot (".") character.

# RemoveARFrom host1,host2,.domain1,.domain2,...

## RemoveOldSignatures { yes | no }

## default "no"

## Remove old signatures on messages, if any, when generating a signature.

# RemoveOldSignatures No

## ReportAddress addr

## default (executing user)

## Specifies the sending address to be used on From: headers of outgoing

## failure reports. By default, the e-mail address of the user executing

## the filter is used.

# ReportAddress postmaster@example.com

## RequiredHeaders { yes | no }

## default no

## Rejects messages which don't conform to RFC2822 header count requirements.

# RequiredHeaders No

## Selector name

## The name of the selector to use when signing. No default; must be

## specified for signing.

Selector default

## SendADSPReports { yes | no }

## default "no"

## Specifies whether or not the filter should generate report mail back

## to senders when the ADSP (Author Domain Signing Practises) check fails for

## a message. See dkim-filter.conf(5) for details.

# SendADSPReports No

## SendReports { yes | no }

## default "no"

## Specifies whether or not the filter should generate report mail back

## to senders when verification fails and an address for such a purpose

## is provided. See dkim-filter.conf(5) for details.

# SendReports No

## SignatureAlgorithm signalg

## default "rsa-sha256"

## Signature algorithm to use when generating signatures. Must be either

## "rsa-sha1" or "rsa-sha256".

# SignatureAlgorithm rsa-sha256

SignatureAlgorithm rsa-sha1

## SignatureTTL seconds

## default "0"

## Specifies the lifetime in seconds of signatures generated by the

## filter. A value of 0 means no expiration time is included in the

## signature.

# SignatureTTL 0

## SignHeaders header-list

## default (none)

## Specifies the list of headers which should be included when generating

## signatures. The string should be a comma-separated list of header names.

## See the dkim-filter.conf(5) man page for more information.

# SignHeaders header1,header2,...

## Socket socketspec

## Names the socket where this filter should listen for milter connections

## from the MTA. Required. Should be in one of these forms:

## inet:port@address to listen on a specific interface

## inet:port to listen on all interfaces

## local:/path/to/socket to listen on a UNIX domain socket

# Socket inet:port@localhost

#Socket inet:8891@localhost

#Socket local:/var/run/dkim-milter/dkim-milter.sock

## StrictTestMode { yes | no }

## default "no"

## Selects strict CRLF mode during testing (see the "-t" command line

## flag in the dkim-filter(8) man page). Messages for which all header

## fields and body lines are not CRLF-terminated are considered malformed

## and will produce an error.

# StrictTestMode no

## SubDomains { yes | no }

## default "no"

## Sign for subdomains as well?

# SubDomains No

## Syslog { yes | no }

## default "no"

## Log informational and error activity to syslog?

# Syslog No

Syslog Yes

## SyslogFacility facility

## default "mail"

## Valid values are :

## auth cron daemon kern lpr mail news security syslog user uucp

## local0 local1 local2 local3 local4 local5 local6 local7

## syslog facility to be used

# SyslogFacility mail

## SyslogSuccess { yes | no }

## default "no"

## Log success activity to syslog?

# SyslogSuccess No

SyslogSuccess yes

## TemporaryDirectory path

## default /var/tmp

## Specifies which directory will be used for creating temporary files

## during message processing.

# TemporaryDirectory /var/tmp

## TestPublicKeys filename

## default (none)

## Names a file from which public keys should be read. Intended for use

## only during automated testing.

# TestPublicKeys /tmp/testkeys

## UMask mask

## default (none)

## Change the process umask for file creation to the specified value.

## The system has its own default which will be used (usually 022).

## See the umask(2) man page for more information.

# UMask 022

## Userid userid

## default (none)

## Change to user "userid" before starting normal operation? May include

## a group ID as well, separated from the userid by a colon.

# UserID userid

UserID dkim-milter:dkim-milter

## X-Header { yes | no }

## default "no"

## Add an X- header to messages passing through this filter to identify

## messages it has processed.

# X-Header No

５）

/etc/sysconfig/dkim-milter

を設定する。内容は以下のような感じ。

> more /etc/sysconfig/dkim-milter

::::::::::::::

/etc/sysconfig/dkim-milter

::::::::::::::

# To sign only, use -bs

# EXTRA_FLAGS=-bs

USER="dkim-milter"

#PORT=inet:8891@localhost

SIGNING_DOMAIN="hoge.com"

SELECTOR_NAME="default"

KEYFILE="/etc/mail/dkim-milter/default.private"

SIGNER=yes

VERIFIER=yes

CANON=simple

SIGALG=rsa-sha1

REJECTION="bad=r,dns=t,int=t,no=a,miss=r"

EXTRA_ARGS="-h -l -D"

６）

/etc/rc.d/init.d/dkim-milter

のSOCKET,EXTRA_FLAGSの内容を修正する。内容は以下のような感じ。

> more /etc/rc.d/init.d/dkim-milter

::::::::::::::

/etc/rc.d/init.d/dkim-milter

::::::::::::::

#!/bin/bash

# /etc/init.d/dkim-milter

# chkconfig: - 79 21

# description: DomainKeys Identified Mail Milter

# processname: dkim-filter

# config: /etc/mail/dkim-milter/dkim-milter.conf

# config: /etc/sysconfig/dkim-milter

# pidfile: /var/run/dkim-milter/dkim-milter.pid

# Source function library.

. /etc/init.d/functions

desc="DomainKeys Identified Mail Milter"

name=dkim-milter

prog=dkim-filter

prog_with_path=/usr/sbin/${prog}

user=${name}

pidfile=/var/run/${name}/${name}.pid

config=/etc/mail/${name}/${prog}.conf

#SOCKET=local:/var/run/${name}/${name}.sock

SOCKET=inet:8891@localhost

#EXTRA_FLAGS=""

TRUST="/etc/mail/dkim-milter/internalhosts"

EXTRA_FLAGS="-h -l -D -i ${TRUST} -I ${TRUST}"

[ -r /etc/sysconfig/${name} ] && . /etc/sysconfig/${name}

start() {

echo -n "Starting ${desc} (${prog}): "

daemon --user ${user} ${prog_with_path} -x ${config} -P ${pidfile} -p ${SOCKET} ${EXTRA_FLAGS}

RETVAL=$?

echo

if [ ${RETVAL} -eq 0 ]; then

touch /var/lock/subsys/${name}

return 0

else

return 1

}

stop() {

echo -n "Shutting down ${desc}: "

rm -f /var/lock/subsys/${name}

killproc ${prog}

RETVAL=$?

echo

if [ ${RETVAL} -eq 0 ]; then

rm -f ${pidfile}

return 0

else

return 1

}

case "$1" in

start)

start

;;

stop)

stop

;;

status)

status -p ${pidfile} ${prog}

;;

restart|reload)

stop

start

;;

condrestart)

[ -f /var/lock/subsys/${name} ] && stop

start

;;

echo "Usage: ${name} {start|stop|status|reload|restart}"

exit 1

;;

esac

exit $?

７）

Postfixの設定

/etc/postfix/main.cf に以下を追加する。

#DKIM

smtpd_milters = inet:localhost:8891

non_smtpd_milters = inet:localhost:8891

milter_default_action = accept

８）

署名をつけるネットワークのリストを設定。

内容は以下のような感じ。

112.42.11.121は他のサーバのIP。このIPからのメールについても書名をつける。

> more /etc/mail/dkim-milter/internalhosts

::::::::::::::

/etc/mail/dkim-milter/internalhosts

::::::::::::::

127.0.0.1

112.42.11.121

９）

dkim-milter、postfixの順番で稼動。

（停止の場合は、postfix、dkim-milterの順番）

１０）

DNSサーバに/etc/mail/dkim-milter/default.txtのレコードを登録して再起動。

※

設定ファイルや起動スクリプトに結構な重複があるが気にしない。

たぶん、もっとエレガントにできるんだろうけど、現状動くのでよしとする。

postfixで中継設定

2010-07-26T14:41:00.002+09:00

postfixで中継設定をした

hoge.comのメールをfoo.comに中継させたい場合。

まず、foo.comでpostconfを利用してmynetworksの値を

確かめる。

mynetworks = 127.0.0.0/8 184.38.66.0/25

のような感じだとした場合、/etc/postfix/main.cfで

mynetworks = 127.0.0.0/8 184.38.66.0/25 hoge.com

のように追加修正したらOK。

postfixでバウンスメール処理

2010-07-26T14:28:00.002+09:00

postfixでバウンスメール処理の設定をした。

まず、メール配信部分で、

hoge.comからfoo@foo.comにメールを配信する場合、Return-Pathに

bounce+foo=foo.com@hoge.comが入るようにしておく。

●postfixでの設定。

/etc/postfix/main.cf

に

recipient_delimiter = +

propagate_unmatched_extensions = canonical, virtual

local_recipient_maps =

を設定しておく。

エラーメールを処理するスクリプトがhoge.plだとした場合、

エイリアスに

bounce | /path/to/hoge.pl

設定したらOK。