諸行無常 - As Time Goes By -

RabbitMQ の冗長化を検証する / Consumer 編

2016-05-16T00:08:00.000+09:00

はじめに

前回、『RabbitMQ の 冗長化を考える』でRabbitMQ の冗長化の設定を行いました。
今回は、その冗長化した RabbitMQ サーバーを実際、Failover させて、その様子を観察したいと思います。

冗長化を考える理由に
何かしらの障害が発生したとしても Publisher が送信したメッセージを
Consumer によって確実に処理させたいということが挙げられると思います。

全体を通してでは、
Publisher が送信したメッセージは、Consumer で確実に処理されるということになると思います。

これを Publisher と Consumer の間に Queue を置いて考えると
Publisher は、何かしらの障害が発生したとしてもメッセージを確実に Queue に届けるところまでが
責任範囲で、その後、Queue のメッセージが Consumer でどう処理されるかは、責任の範囲外になると思います。
一方、Consumer は、Queue にメッセージがどのような方法で届けられたかはということは、関係なく
Queue にあるメッセージを確実に処理することが責任範囲になると思います。

このように Publisher と Consumer の責任範囲は、それぞれ被らないものだと思います。
そう考えると Failover をそれぞれ別々の視点で観察できるとのではないかと思いました。
(RPC 方式のメッセージ処理では、また違ってくると思うのですが今回は、考えません。
そんな訳で今回は、Consumer側 の Failover の様子を観察してみたと思います。

JavaClient では、Cluster の Node を複数、ConnectionFactory に設定することができ、
ConnectionFactory は、その中から接続可能な Node を選択して Connection を生成しているようです。
このことが接続している Node が落ちてしまった場合に ConnectionFactory に設定されている
別の接続可能な Node で自動的に接続が復帰することを可能にしているようです。
Node に仮想IP などを設定する必要がないようです。
厳密に負荷分散を考える場合は、仮想IP などが必要かもしれません。
(接続可能な IP の選択方法が Collections.shuffle() になってそうなので...

検証には、２種類の Consumer を考えています。
１つは、適当にスリープさせながらメッセージ処理をする HappyPath での Consumer と
もう１つは、スリープさせずに連続的にメッセージ処理をする UnhappyPath での Consumer になります。

以下、３点を Failover 時に検証します。

  1. 接続可能な Node に切り替わること。
  2. メッセージが消えたしまわないこと。
  3. メッセージが２重に処理されないこと。

始める前に...
RabbitMQ がインストール済であること
RabbitMQ サーバーにログイン可能でリソースにアクセスできるユーザが作成済であること
(ユーザとパスワードを "user01" と "passwd" としています。
ManagementPlugin が有効になっていて CommandLineTool が使えること
ホスト名が設定されていること
以上が前提になります。
このあたりはわたしも『yum の Local Repository に RabbitMQ をインストール』と
『RabbitMQ の 冗長化を考える』にまとめていますので
よろしければ、こちらも合わせて、ご参考に。

前置きが長くなってしまいましたが
ではでは！Getting Started!!

環境

検証機

開発言語	Java 1.8.0
フレームワーク	rabbitmq-java-client 3.6.1
ビルドツール	Gradle 2.12 ※gradle コマンドが実行できるように設定しておきます。
OS	Windows 8.1

前回と同様に以下、２台のサーバー(vm-1st と vm-2nd)で冗長化します。

RabbitMQ Server (vm-1st)

ホスト名	vm-1st
IP	192.168.10.110
ミドルウェア	RabbitMQ server 3.6.1 ユーザ： user01 パスワード： passwd
OS	CentOS-7-x86_64-Minimal-1511.iso VirtualBox 5.0.16

RabbitMQ Server (vm-2nd)

ホスト名	vm-2nd
IP	192.168.10.120
ミドルウェア	RabbitMQ server 3.6.1 ユーザ： user01 パスワード： passwd
OS	CentOS-7-x86_64-Minimal-1511.iso VirtualBox 5.0.16

プロジェクト構成

C ドライブ直下に「studying-rabbitmq-failover」フォルダを作成して各ファイルを以下のように配置します。
ファイルは、UTF-8 で保存します。

C:\studying-rabbitmq-failover
- src
  - main
    - java
      - studying
        
        MyAbstractConsumer.java
        
        MyCancelConsumer.java
        
        MyHappyConsumer.java
        
        MyUnhappyConsumer.java
- build.gradle
- publisher.gradle

準備

前回のおさらいも兼ねて Clustering の設定から始めたいと思います。
vm-2nd を vm-1st の Cluster に参加させます。

vm-2nd のターミナルから以下のコマンドを実行します。

vm-2nd

rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@vm-1st
rabbitmqctl start_app

Cluster の設定を確認します。
vm-1st と vm-2nd の両方のターミナルで以下のコマンドを実行します。

vm-1st

rabbitmqctl cluster_status

Cluster status of node 'rabbit@vm-1st' ...
[{nodes,[{disc,['rabbit@vm-1st','rabbit@vm-2nd']}]},
 {running_nodes,['rabbit@vm-2nd','rabbit@vm-1st']},
 {cluster_name,<<"rabbit@vm-1st">>},
...

vm-2nd

rabbitmqctl cluster_status

[{nodes,[{disc,['rabbit@vm-1st','rabbit@vm-2nd']}]},
 {running_nodes,['rabbit@vm-1st','rabbit@vm-2nd']},
 {cluster_name,<<"rabbit@vm-1st">>},
...

vm-1st と vm-2nd のどちらも "rabbit@vm-1st" という Cluster に参加していて起動中である。
問題ないようですね。

次に Queue と directタイプの Exchange と宣言します。
Queue名と Exchange名は、それぞれ "myQueue" と "myExchange" にします。
RoutingKey を "myKey" にして "myQueue" と "myExchange" を Bind します。
vm-1st が HomeNode になるようにします。

また、今回使用する Queue名と Exchange名で Queue と Exchange がすでに存在していると
ややこしくなるので念のため削除してから作成します。

vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin delete exchange name=myExchange
rabbitmqadmin delete queue name=myQueue

rabbitmqadmin declare queue name=myQueue
rabbitmqadmin declare exchange name=myExchange type=direct
rabbitmqadmin declare binding source=myExchange destination=myQueue routing_key=myKey

宣言した Queue と Exchange そして、Bind を確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-1st | 0        |
+---------+---------+---------------+----------+

rabbitmqadmin list exchanges name type durable

+--------------------+---------+---------+
|        name        |  type   | durable |
+--------------------+---------+---------+
|                    | direct  | True    |
...
| myExchange         | direct  | True    |
+--------------------+---------+---------+

rabbitmqadmin list bindings

+------------+-------------+-------------+
|   source   | destination | routing_key |
+------------+-------------+-------------+
|            | myQueue     | myQueue     |
| myExchange | myQueue     | myKey       |
+------------+-------------+-------------+

問題なく宣言されているのが確認できると思います。

最後に QueueMirroring の設定をします。
先ほど宣言した Queue を Cluster 内のすべての Node で Mirroring するようにします。

vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqctl set_policy myPolicy "^myQueue$" '{"ha-mode":"all", "ha-sync-mode":"automatic"}'

追加でもう１つ
検証機が Windows なので Windows の hosts ファイルにも vm-1st と vm-2nd を追加しておきます。

C:\Windows\System32\drivers\etc\hosts

...
192.168.10.110 vm-1st
192.168.10.120 vm-2nd

準備は、これで終わりです。

ビルドスクリプトの作成

以下のような内容でビルドスクリプトを作成します。

build.gradle

apply from: 'publisher.gradle'

apply plugin: 'java'
apply plugin: 'eclipse'
apply plugin: 'application'

sourceCompatibility = '1.8'
targetCompatibility = '1.8'
[compileJava, compileTestJava]*.options*.encoding = 'UTF-8'

mainClassName = (project.hasProperty('mainClass')) ? "$mainClass" : ''

repositories {
  jcenter()
}

dependencies {
  compile 'com.rabbitmq:amqp-client:3.6.1'
}

Consumer側の冗長化の検証に RabbitMQ サーバーにメッセージを送信するスクリプトがあった方が
やりやすいと思ったので Java でメッセージ送信する Publisher側のプロジェクトも考えたのですが
今回は、以下のような gradle の task で済ませようと思います。

publisher.gradle

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.MessageProperties;

def messageCount = project.hasProperty('messageCount') ? "$messageCount" : 10000

// (1)
task happyPublisher << {
  println 'start'
  Connection connection = newConnection();
  Channel channel = connection.createChannel();

  def tasks = [
    'Maurice', 'Verdine', 'Philip', 'Jessica', 'Larry', 
    'Johnny', 'Ralph', 'Al', 'Andrew', 'XXX'
  ]

  tasks.each {
    byte[] body = it.getBytes();
    channel.basicPublish("myExchange", "myKey", MessageProperties.PERSISTENT_TEXT_PLAIN, body);
  }

  connection.close();
  println 'done'
}

// (2)
task unhappyPublisher << {
  println 'start'
  
  Connection connection = newConnection();
  Channel channel = connection.createChannel();
      
  for (int ct = 0; ct < messageCount; ct++) {
    byte[] body = String.format("test-%d", ct + 1).getBytes();
    channel.basicPublish("myExchange", "myKey", MessageProperties.PERSISTENT_TEXT_PLAIN, body);
  }

  connection.close();
  println 'done'
}

// RabbitMQ Server に接続して connection を生成する。
Connection newConnection() {  
  ConnectionFactory factory = new ConnectionFactory();
  factory.setHost("vm-1st");
  factory.setUsername("user01");
  factory.setPassword("passwd");
  factory.newConnection();
}

buildscript {
  repositories { jcenter() }
  dependencies { classpath 'com.rabbitmq:amqp-client:3.6.1' }
}

スクリプトの内容は、以下のようになります。

(1) happyPublisher タスク

HappyPath の検証ケースで使用するメッセージを RabbitMQサーバーに送信します。
メッセージを10通送信します。

(2) unhappyPublisher タスク

UnhappyPath の検証ケースで使用するメッセージを RabbitMQサーバーに送信します。
メッセージを10,000通送信します。

RabbitMQ サーバー接続クラスを作成する

RabbitMQ サーバーに接続する処理などを共通化した以下のようなクラスを作成します。
検証で作成する Consumerクラスはこのクラスを継承する形にします。

src/main/java/studying/rabbitmq/MyAbstractConsumer.java

package studying.rabbitmq;

import java.io.IOException;
import com.rabbitmq.client.Address;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.Recoverable;
import com.rabbitmq.client.impl.recovery.AutorecoveringChannel;
import com.rabbitmq.client.impl.recovery.AutorecoveringConnection;

public abstract class MyAbstractConsumer {
  
  public void doAction() throws Exception {
 
    // RabbitMQ Server 接続情報
    ConnectionFactory factory = new ConnectionFactory();
    factory.setUsername("user01");
    factory.setPassword("passwd");


    // (1) 冗長化の設定をして RabbitMQ Server に接続する。
    Address[] addrs = new Address[]{new Address("vm-1st"), new Address("vm-2nd")};
    factory.setAutomaticRecoveryEnabled(true);
    AutorecoveringConnection connection = (AutorecoveringConnection)factory.newConnection(addrs);

    System.out.printf("listening... %s %n", connection.getAddress().getHostName());
    Thread.sleep(10 * 1000);

    
    // (2) Queue と Exchange の宣言と Bind をする。
    boolean durable = true;
    String queueName    = "myQueue";
    String exchangeType = "direct";
    String exchangeName = "myExchange";
    String routingKey   = "myKey";

    AutorecoveringChannel channel = (AutorecoveringChannel)connection.createChannel();
    channel.exchangeDeclare(exchangeName, exchangeType, durable);
    channel.queueDeclare(queueName, durable, false, false, null);
    channel.queueBind(queueName, exchangeName, routingKey);
    channel.basicQos(1);

    
    // (3) Connection と Channel に ShutdownListener を設定する。
    connection.addShutdownListener(cause -> System.out.printf("Connection Shutdown... %n"));
    channel.addShutdownListener(cause -> System.out.printf("Channel    Shutdown... %n"));


    // (4) Connection と Channel に RecoveryListener を設定する。
    connection.addRecoveryListener((Recoverable recoverable) -> {
      AutorecoveringConnection conn = (AutorecoveringConnection)recoverable;
      String hostName = conn.getAddress().getHostName();
      System.out.printf("Connection Recovered !!! %s %n", hostName);
    });
    channel.addRecoveryListener((Recoverable recoverable) -> {
      AutorecoveringChannel chan = (AutorecoveringChannel)recoverable;
      String hostName = chan.getConnection().getAddress().getHostName();
      System.out.printf("Channel    Recovered !!! %s %n", hostName);
    });

 
    // Consumer を設定する。
    this.assignConsumerFor(channel, queueName);
  }

  // (5)
  protected abstract void assignConsumerFor(Channel channel, String queue) throws IOException;
}

処理内容は、以下のようになります。

(1) 冗長化の設定をして RabbitMQ Server に接続する。

ClusterNode のホスト名(または、IP)を複数指定して Connection を作成します。
AutomaticRecovery も忘れずに有効化しておきます。

(2) Queue と Exchange の宣言と Bind をする。

準備の時に行っているので不要だと思いますが
ここでも Queue と Exchange の宣言とその Bind をしています。
念のため basicQos でメッセージの取り出しを１回につき１つにしています。

(3) Connection と Channel に ShutdownListener を設定する。

Connection と Channel の Shutdown時、コンソールにログを出力します。

(4) Connection と Channel に RecoveryListener を設定する。

Connection と Channel の Recovery時、コンソールにログを出力します。

(5) assignConsumerFor() メソッド

サブクラスはこのメソッドを実装して Consumer を Channel に割り当てます。

Happy Path を検証する

初めは、おおよそ想定通りにいってくれるであろうパターンから検証してみたいと思います。
適当にスリープさせながら10通のメッセージを処理します。
以下のような内容で Consumerクラスを作成します。

src/main/java/studying/rabbitmq/MyHappyConsumer.java

package studying.rabbitmq;

import java.io.IOException;
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Consumer;
import com.rabbitmq.client.DefaultConsumer;
import com.rabbitmq.client.Envelope;

public class MyHappyConsumer extends MyAbstractConsumer {

  @Override
  protected void assignConsumerFor(Channel channel, String queue) throws IOException {

    Consumer consumer = new DefaultConsumer(channel) {

      protected int ack;
      
      @Override
      public void handleDelivery(String consumerTag, Envelope envelope, 
          AMQP.BasicProperties properties, byte[] body) throws IOException {
        
        String message = new String(body, "UTF-8");
        String hostName = channel.getConnection().getAddress().getHostName();
        
        System.out.printf(" Received '%-7s'", message);
        System.out.printf(" - %s", hostName);
        System.out.printf(" deliveryTag:%s",  envelope.getDeliveryTag());
        System.out.printf(" redeliver:%s %n", envelope.isRedeliver());

        try {
          // 3秒 sleep する。
          Thread.sleep(3 * 1000);
          
          // ack を返す。
          channel.basicAck(envelope.getDeliveryTag(), false);
          this.ack++;
          System.out.printf("  Done '%s' ack:%d %n", message, this.ack);

        } catch (InterruptedException e) {
          System.out.printf("  Interrupted '%s' %n", message);
          e.printStackTrace();
        } catch (Exception e) {
          System.out.printf("  Error '%s' %n", message);
          throw e;
        }
      }
    };

    boolean autoAck = false;
    channel.basicConsume(queue, autoAck, consumer);
  }

  
  public static void main(String[] args) {
    try {
      new MyHappyConsumer().doAction();
    } catch (Exception e) {
      e.printStackTrace();
    }
  }
}

DefaultConsumerクラスの handleDelivery() メソッドをオーバーライドしてメッセージ処理をしています。

処理内容としては、

  1. 受信したメッセージをコンソールに表示する。
  2. ３秒スリープさせてタイミングを整える。
  3. RabbitMQ サーバーに ack を返す。
     RabbitMQ サーバーに返した ack をカウントする。
     ただし Exception が発生した場合は、ack を返さないようにします。
  4. 最後にもう一度メッセージをコンソールに表示する。

のようになります。

想定されるケースとしては、
HomeNode に接続している状態で Failover が発生する場合と
HomeNode 以外に接続している状態で Failover が発生する場合があると思います。
とりあえず、HomeNode に接続しているケースから見ていきたいと思います。

検証の前に Queue のメッセージをクリアしてから
HomeNode が vm-1st になっているのと QueueMirroring の同期を確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin purge queue name=myQueue

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-1st | 0        |
+---------+---------+---------------+----------+

rabbitmqctl sync_queue myQueue

rabbitmqctl list_queues name slave_pids synchronised_slave_pids

Listing queues ...
myQueue [<rabbit@vm-2nd.3.297.0>]       [<rabbit@vm-2nd.3.297.0>]

問題がなければ、検証を始めます。

Consumer を HomeNode の vm-1st に接続させてメッセージを送信します。
適当なところで vm-1st の RabbitMQ サーバーを停止させます。
その時、どうように Failover するか観察したいと思います。

コマンドプロンプトを開いて gradle から Consumer を起動します。

Consumer

cd /d C:\studying-rabbitmq-failover
gradle clean run -PmainClass=studying.rabbitmq.MyHappyConsumer -q

listening... vm-1st

と表示され vm-1st に接続できたらメッセージを送信します。

vm-2nd に接続されたら

どの ClusterNode に接続されるかは、ランダムのようです。
(よく分かりませんが...
今回の場合、vm-1st と vm-2nd の２台なので
確率論的にみて３回くらいやり直せば希望する方に接続される筈なんですが...

新たにコマンドプロンプトを開いて gradle から 以下のようにメッセージを送信します。

Publisher

cd /d C:\studying-rabbitmq-failover
gradle happyPublisher -q

start
done

しばらくすると Consumer のコマンドプロンプトからメッセージが処理されていく様子が確認できると思います。

Consumer

...
listening... vm-1st
 Received 'Maurice' - vm-1st deliveryTag:1 redeliver:false
  Done 'Maurice' ack:1
 Received 'Verdine' - vm-1st deliveryTag:2 redeliver:false
  Done 'Verdine' ack:2
 Received 'Philip ' - vm-1st deliveryTag:3 redeliver:false

ここで vm-1st の RabbitMQ サーバーを停止させます。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

systemctl stop rabbitmq-server.service

そうすると Consumer のコマンドプロンプトから Failover する様子が確認できると思います。

Consumer

...
listening... vm-1st
 Received 'Maurice' - vm-1st deliveryTag:1 redeliver:false
  Done 'Maurice' ack:1
 Received 'Verdine' - vm-1st deliveryTag:2 redeliver:false
  Done 'Verdine' ack:2
 Received 'Philip ' - vm-1st deliveryTag:3 redeliver:false
  Done 'Philip' ack:3
 Received 'Jessica' - vm-1st deliveryTag:4 redeliver:false
Channel    Shutdown...
  Error 'Jessica'
com.rabbitmq.client.impl.DefaultExceptionHandler: ...
com.rabbitmq.client.AlreadyClosedException: connection is already closed due to connection error; ...
        at com.rabbitmq.client.impl.AMQChannel.ensureIsOpen(AMQChannel.java:195)
        at com.rabbitmq.client.impl.AMQChannel.transmit(AMQChan ...
        ...
Channel    Recovered !!! vm-2nd
Connection Recovered !!! vm-2nd
Connection Shutdown...
 Received 'Jessica' - vm-2nd deliveryTag:5 redeliver:true
  Done 'Jessica' ack:4
 Received 'Larry  ' - vm-2nd deliveryTag:6 redeliver:true
  Done 'Larry' ack:5
 Received 'Johnny ' - vm-2nd deliveryTag:7 redeliver:true
  Done 'Johnny' ack:6
 Received 'Ralph  ' - vm-2nd deliveryTag:8 redeliver:true
  Done 'Ralph' ack:7
 Received 'Al     ' - vm-2nd deliveryTag:9 redeliver:true
  Done 'Al' ack:8
 Received 'Andrew ' - vm-2nd deliveryTag:10 redeliver:true
  Done 'Andrew' ack:9
 Received 'XXX    ' - vm-2nd deliveryTag:11 redeliver:true
  Done 'XXX' ack:10

検証してみると

  1. "Jessica" のメッセージ処理をしている時に vm-1st の停止が発生していて
     HomeNode を vm-2nd に Failover できているようです。
  2. 最後のメッセージ "XXX" まで処理できているようです。
  3. Queue にあったメッセージの数と ack の数が一致しているので
     ２重にメッセージが処理されていることもないようです。

概ね想定通りうまくいっているのではないかと思います。

Failover のタイミングを拾えているのでここに Rollback 処理などを挟み込めると思います。
また、Failover 時に Queue に残っていたメッセージは、redeliver フラグが "true" になっているので
Re-Queue 扱いになっているのも分かると思います。

次に HomeNode でない Node に接続しているケースを見てみたいと思います。
恐らく今、HomeNode は、vm-2nd になっていると思います。
vm-1st の RabbitMQ サーバーを再起動させて確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

systemctl start rabbitmq-server.service

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd | 0        |
+---------+---------+---------------+----------+

HomeNode を vm-1st に戻したいので vm-2nd の RabbitMQ サーバーを再起動させます。
vm-2nd のターミナルから以下のコマンドを実行します。

vm-2nd

systemctl stop rabbitmq-server.service
systemctl start rabbitmq-server.service

先ほどと同様に Queue のメッセージをクリアしてから
HomeNode が vm-1st に戻ってきているのと QueueMirroring の同期を確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin purge queue name=myQueue

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-1st | 0        |
+---------+---------+---------------+----------+

rabbitmqctl sync_queue myQueue

rabbitmqctl list_queues name slave_pids synchronised_slave_pids

Listing queues ...
myQueue [<rabbit@vm-2nd.3.295.0>]       [<rabbit@vm-2nd.3.295.0>]

問題がなければ、検証を始めます。

Consumer を vm-2nd に接続させてメッセージを送信します。
適当なところで vm-1st の RabbitMQ サーバーを停止させて Failover する様子を観察したいと思います。

コマンドプロンプトを開いて gradle から Consumer を起動します。

Consumer

cd /d C:\studying-rabbitmq-failover
gradle clean run -PmainClass=studying.rabbitmq.MyHappyConsumer -q

listening... vm-2nd

vm-2nd に接続されたらメッセージを送信します。
新たにコマンドプロンプトを開いて gradle から以下のようにメッセージを送信します。

Publisher

cd /d C:\studying-rabbitmq-failover
gradle happyPublisher -q

start
done

Consumer のコマンドプロンプトからメッセージ処理が始まるのが確認できたら

Consumer

...
listening... vm-2nd
 Received 'Maurice' - vm-2nd deliveryTag:1 redeliver:false
  Done 'Maurice' ack:1
 Received 'Verdine' - vm-2nd deliveryTag:2 redeliver:false
  Done 'Verdine' ack:2
 Received 'Philip ' - vm-2nd deliveryTag:3 redeliver:false

vm-2nd の RabbitMQ サーバーを停止して Failover させます。
vm-2nd のターミナルから以下のコマンドを実行します。

vm-2nd

systemctl stop rabbitmq-server.service

Consumer のコマンドプロンプトを見ると Failover する様子が確認できると思います。

Consumer

...
listening... vm-2nd
 Received 'Maurice' - vm-2nd deliveryTag:1 redeliver:false
  Done 'Maurice' ack:1
 Received 'Verdine' - vm-2nd deliveryTag:2 redeliver:false
  Done 'Verdine' ack:2
 Received 'Philip ' - vm-2nd deliveryTag:3 redeliver:false
  Done 'Philip' ack:3
 Received 'Jessica' - vm-2nd deliveryTag:4 redeliver:false
Channel    Shutdown...
  Error 'Jessica'
com.rabbitmq.client.impl.DefaultExceptionHandler: ...
com.rabbitmq.client.AlreadyClosedException: connection is already closed due to connection error; ...
        at com.rabbitmq.client.impl.AMQChannel.ensureIsOpen(AMQChannel.java:195)
        at com.rabbitmq.client.impl.AMQChannel.transmit(AMQChan ...
        ...
Channel    Recovered !!! vm-1st
Connection Recovered !!! vm-1st
Connection Shutdown...
 Received 'Jessica' - vm-1st deliveryTag:5 redeliver:true
  Done 'Jessica' ack:4
 Received 'Larry  ' - vm-1st deliveryTag:6 redeliver:false
  Done 'Larry' ack:5
 Received 'Johnny ' - vm-1st deliveryTag:7 redeliver:false
  Done 'Johnny' ack:6
 Received 'Ralph  ' - vm-1st deliveryTag:8 redeliver:false
  Done 'Ralph' ack:7
 Received 'Al     ' - vm-1st deliveryTag:9 redeliver:false
  Done 'Al' ack:8
 Received 'Andrew ' - vm-1st deliveryTag:10 redeliver:false
  Done 'Andrew' ack:9
 Received 'XXX    ' - vm-1st deliveryTag:11 redeliver:false
  Done 'XXX' ack:10

検証してみると

  1. "Jessica" のメッセージ処理をしている時に vm-1st の停止が発生していて
     HomeNode を vm-2nd に Failover できているようです。
  2. 最後のメッセージ "XXX" まで処理できているようです。
  3. Queue にあったメッセージの数と ack の数が一致しているので
     ２重にメッセージが処理されていることもないようです。

こちらもうまくいっていると思います。

HomeNode に接続しているケースとの違いとして
Failover 時に処理していたメッセージは、redeliver フラグが "true" なので
Re-Queue 扱いになっているようですが、
それ以外の Queue に残っていたメッセージの redeliver フラグは "false" のままのようです。

Unhappy Path を検証する

不幸なタイミングで処理される可能性が高いパターンを検証してみたいと思います。
内容的には、先ほどの HappyPath とほぼ同じなのですが
今度は、スリープさせずに連続してメッセージ処理をするとどうなるか試してみたいと思います。
メッセージは、10,000通処理します。
以下のような内容で Consumerクラスを作成します。

src/main/java/studying/rabbitmq/MyUnhappyConsumer.java

package studying.rabbitmq;

import java.io.IOException;
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Consumer;
import com.rabbitmq.client.DefaultConsumer;
import com.rabbitmq.client.Envelope;

public class MyUnhappyConsumer extends MyAbstractConsumer {

  public final static int MESSAGE_COUNT = 10000;
  
  @Override
  protected void assignConsumerFor(Channel channel, String queue) throws IOException {
    
    int count = MyUnhappyConsumer.MESSAGE_COUNT;

    Consumer consumer = new DefaultConsumer(channel) {
      
      protected int ack;
      
      @Override
      public void handleDelivery(String consumerTag, Envelope envelope, 
          AMQP.BasicProperties properties, byte[] body) throws IOException {
        
        String message = new String(body, "UTF-8");
        long deliveryTag = envelope.getDeliveryTag();

        try {
          // ack を返す。
          boolean multiple = false;
          channel.basicAck(deliveryTag, multiple);
          this.ack++;
          
          if ((deliveryTag == 1) || (deliveryTag > (count - 2)) || 
              ((deliveryTag % (count / 5)) == 0)) {

            System.out.printf(" Done '%s'", message);
            System.out.printf(" - %s", channel.getConnection().getAddress().getHostName());
            System.out.printf(" deliveryTag:%s", deliveryTag);
            System.out.printf(" ack:%d %n", this.ack);
          }
        } catch (Exception e) {
          System.out.printf(" Error '%s' - deliveryTag:%s %n", message, deliveryTag);
          throw e;
        }
      }
    };

    boolean autoAck = false;
    channel.basicConsume(queue, autoAck, consumer);
  }

  
  public static void main(String[] args) {
    try {      
      new MyUnhappyConsumer().doAction();
    } catch (Exception e) {
      e.printStackTrace();
    }
  }
}

DefaultConsumerクラスの handleDelivery() メソッドをオーバーライドしてメッセージ処理をしています。

処理内容としては、

  1. 受信したメッセージをコンソールに表示する。
     今回は、メッセージを10,000通処理するので最初の１通目と最後の３通、そして途中５回だけにします。
  2. RabbitMQ サーバーに ack を返す。
     RabbitMQ サーバーに返した ack をカウントする。
     ただし Exception が発生した場合は、ack を返さないようにします。

のようになります。

こちらも HomeNode に接続している状態で Failover が発生する場合と
HomeNode 以外に接続している状態で Failover が発生する場合が考えられるのですが
HomeNode に接続している状態で Failover が発生する場合で検証したいと思います。

検証の前に Queue のメッセージをクリアしてから
HomeNode が vm-1st になっているのと QueueMirroring の同期を確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin purge queue name=myQueue

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-1st | 0        |
+---------+---------+---------------+----------+

rabbitmqctl sync_queue myQueue

rabbitmqctl list_queues name slave_pids synchronised_slave_pids

Listing queues ...
myQueue [<rabbit@vm-2nd.1.295.0>]       [<rabbit@vm-2nd.1.295.0>]

問題がなければ、検証を始めます。

今回は、先にメッセージを送信してしまいます。
コマンドプロンプトを開いて gradle から 以下のようにメッセージを送信します。

Publisher

cd /d C:\studying-rabbitmq-failover
gradle unhappyPublisher -q

start
done

送信したメッセージが Queue に届いているか確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-1st | 10000    |
+---------+---------+---------------+----------+

Queue にメッセージが届いているのが確認できたら
コマンドプロンプトを開いて gradle から以下のように Consumer を vm-1st に接続させて起動します。

Consumer

cd /d C:\studying-rabbitmq-failover
gradle clean run -PmainClass=studying.rabbitmq.MyUnhappyConsumer -q

listening... vm-1st

vm-2nd に接続されたら

メッセージが処理されるまで10秒空けていますので
その間に「CTRL」+「C」キーで処理を止めてもう一度、Consumer を起動し直します。

しばらくして Consumer のコマンドプロンプトからメッセージ処理が始まるのが確認できたら

Consumer

...
listening... vm-1st
 Done 'test-1' - vm-1st deliveryTag:1 ack:1
 Done 'test-2000' - vm-1st deliveryTag:2000 ack:2000
 Done 'test-4000' - vm-1st deliveryTag:4000 ack:4000

vm-1st の RabbitMQ サーバーを停止して Failover させます。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

systemctl stop rabbitmq-server.service

Consumer のコマンドプロンプトを見ると
以下のように Failover する様子が確認できると思います。

Consumer

...
listening... vm-1st
 Done 'test-1' - vm-1st deliveryTag:1 ack:1
 Done 'test-2000' - vm-1st deliveryTag:2000 ack:2000
 Done 'test-4000' - vm-1st deliveryTag:4000 ack:4000
Channel    Shutdown...
Channel    Recovered !!! vm-2nd
Connection Recovered !!! vm-2nd
Connection Shutdown...
 Done 'test-5999' - vm-2nd deliveryTag:6000 ack:6000
 Done 'test-7999' - vm-2nd deliveryTag:8000 ack:8000
 Done 'test-9998' - vm-2nd deliveryTag:9999 ack:9999
 Done 'test-9999' - vm-2nd deliveryTag:10000 ack:10000
 Done 'test-10000' - vm-2nd deliveryTag:10001 ack:10001

検証してみると

  1. 4,000通目から6,000通目のメッセージ処理をしている時に vm-1st の停止が発生していて
     HomeNode を vm-2nd に Failover できているようです。
  2. 最後のメッセージ "test-10000" まで処理できているようです。
  3. Queue にあったメッセージの数より ack の数が１つ多くなっています。
     ２重にメッセージが処理されてしまっているようです。

メッセージの２重処理が発生しているのに加えて Failover のタイミングも拾えていないようです。
Exception が catch できていないということは、channel.basicAck() メソッドで
ack を返すところまでは成功しているけれども ack が 届く前に RabbitMQ サーバーが
停止したのだろうと考えられます。

HomeNode 以外に接続している場合に Failover したら

こちらの場合も同様にメッセージの２重処理が発生するようです。

Consumer

listening... vm-2nd
 Done 'test-1' - vm-2nd deliveryTag:1 ack:1
 Done 'test-2000' - vm-2nd deliveryTag:2000 ack:2000
 Done 'test-4000' - vm-2nd deliveryTag:4000 ack:4000
Channel    Shutdown...
Channel    Recovered !!! vm-1st
Connection Recovered !!! vm-1st
Connection Shutdown...
 Done 'test-5999' - vm-1st deliveryTag:6000 ack:6000
 Done 'test-7999' - vm-1st deliveryTag:8000 ack:8000
 Done 'test-9998' - vm-1st deliveryTag:9999 ack:9999
 Done 'test-9999' - vm-1st deliveryTag:10000 ack:10000
 Done 'test-10000' - vm-1st deliveryTag:10001 ack:10001

Consumer Cancel Notification

Consumer に割り当てられている Queue が削除されたり、その他の理由で Queue にアクセスできなくなった時に
RabbitMQ サーバー から Consumer Cancel Notification というものが送られる仕組みがあるようです。
このキャンセル通知を Consumer が受け取ると以降のメッセージ処理を中止するようです。
Failover 時も、このキャンセル通知が送信されるようなので、ちょっと試してみようと思います。

わたしが確認できたところでは、
Failover 時、以下の条件をすべて満たす場合に、このキャンセル通知を受け取れるようです。

  ・ QueueMirroring している。
  ・ HomeNode 以外に接続している。
  ・ HomeNode が原因で Failover が発生した。
  ・ Consumer 引数の x-cancel-on-ha-failover が "true" になっている。

上記のケースで x-cancel-on-ha-failover を設定していないとどうなるか
先ほどの HappyPath の検証を使って見てみます。

検証の前に Queue のメッセージをクリアして
HomeNode が vm-1st になっているのと QueueMirroring の同期を確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin purge queue name=myQueue

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-1st | 0        |
+---------+---------+---------------+----------+

rabbitmqctl sync_queue myQueue

rabbitmqctl list_queues name slave_pids synchronised_slave_pids

Listing queues ...
myQueue [<rabbit@vm-2nd.3.297.0>]       [<rabbit@vm-2nd.3.297.0>]

Consumer を HomeNode でない vm-2nd に接続します。
コマンドプロンプトを開いて gradle から Consumer を起動します。

Consumer

cd /d C:\studying-rabbitmq-failover
gradle clean run -PmainClass=studying.rabbitmq.MyHappyConsumer -q

listening... vm-2nd

vm-2nd に接続できたのを確認したらメッセージを送信します。
新たにコマンドプロンプトを開いて gradle から以下のようにメッセージを送信します。

Publisher

cd /d C:\studying-rabbitmq-failover
gradle happyPublisher -q

start
done

Consumer のコマンドプロンプトからメッセージ処理が始まるのが確認できたら

Consumer

...
listening... vm-2nd
 Received 'Maurice' - vm-2nd deliveryTag:1 redeliver:false
  Done 'Maurice' ack:1
 Received 'Verdine' - vm-2nd deliveryTag:2 redeliver:false
  Done 'Verdine' ack:2
 Received 'Philip ' - vm-2nd deliveryTag:3 redeliver:false

HomeNode の vm-1st の RabbitMQ サーバーを停止して Failover させます。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

systemctl stop rabbitmq-server.service

Consumer のコマンドプロンプトでは以下のようにメッセージ処理が続いていると思います。

Consumer

...
listening... vm-2nd
 Received 'Maurice' - vm-2nd deliveryTag:1 redeliver:false
  Done 'Maurice' ack:1
 Received 'Verdine' - vm-2nd deliveryTag:2 redeliver:false
  Done 'Verdine' ack:2
 Received 'Philip ' - vm-2nd deliveryTag:3 redeliver:false
  Done 'Philip' ack:3
 Received 'Jessica' - vm-2nd deliveryTag:4 redeliver:false
  Done 'Jessica' ack:4
 Received 'Jessica' - vm-2nd deliveryTag:5 redeliver:true
  Done 'Jessica' ack:5
 Received 'Larry  ' - vm-2nd deliveryTag:6 redeliver:true
  Done 'Larry' ack:6
 Received 'Johnny ' - vm-2nd deliveryTag:7 redeliver:true
  Done 'Johnny' ack:7
 Received 'Ralph  ' - vm-2nd deliveryTag:8 redeliver:true
  Done 'Ralph' ack:8
 Received 'Al     ' - vm-2nd deliveryTag:9 redeliver:true
  Done 'Al' ack:9
 Received 'Andrew ' - vm-2nd deliveryTag:10 redeliver:true
  Done 'Andrew' ack:10
 Received 'XXX    ' - vm-2nd deliveryTag:11 redeliver:true
  Done 'XXX' ack:11

見てみると Queue のメッセージの数より ack の数が１つ多くなっています。
メッセージの２重処理が発生してしまっているようです。

もう少し見てみると "Jessica" のメッセージ処理が２回実行されているようです。
１回目の redeliver は、"false" ですが２回目の "true" になっています。
"Jessica" の２回目のメッセージ処理以降、メッセージの redeliver が "true" になっています。
恐らく vm-2nd で "Jessica" のメッセージを処理している間に vm-1st が Failover したのだと思います。
vm-1st は、"Jessica" のメッセージ処理の ack を受け取っていないので Re-Queue したのだと思います。
これがメッセージの２重処理の原因ではないでしょうか？
HappyPath と思っていましたが、実は、うまくいかないパターンもあるようです。

このような場合に Consumer Cancel Notification を利用して Consumer のメッセージ処理を止めることが
できるようです。
先ほどの HappyPath の検証で使用した MyHappyConsumerクラスを変更して
以下のような MyCancelConsumerクラスを作成します。

src/main/java/studying/rabbitmq/MyCancelConsumer.java

package studying.rabbitmq;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Consumer;
import com.rabbitmq.client.DefaultConsumer;
import com.rabbitmq.client.Envelope;

public class MyCancelConsumer extends MyAbstractConsumer {
  
  @Override
  protected void assignConsumerFor(Channel channel, String queue) throws IOException {

    Consumer consumer = new DefaultConsumer(channel) {
 
      protected int ack;
       
      @Override
      public void handleDelivery(String consumerTag, Envelope envelope, 
          AMQP.BasicProperties properties, byte[] body) throws IOException {
         
        String message = new String(body, "UTF-8");
        String hostName = channel.getConnection().getAddress().getHostName();
         
        System.out.printf(" Received '%-7s'", message);
        System.out.printf(" - %s", hostName);
        System.out.printf(" deliveryTag:%s",  envelope.getDeliveryTag());
        System.out.printf(" redeliver:%s %n", envelope.isRedeliver());
 
        try {
          // 3秒 sleep する。
          Thread.sleep(3 * 1000);
           
          // ack を返す。
          channel.basicAck(envelope.getDeliveryTag(), false);
          this.ack++;
          System.out.printf("  Done '%s' ack:%d %n", message, this.ack);
 
        } catch (InterruptedException e) {
          System.out.printf("  Interrupted '%s' %n", message);
          e.printStackTrace();
        } catch (Exception e) {
          System.out.printf("  Error '%s' %n", message);
          throw e;
        }
      }
        
      @Override
      public void handleCancel(String consumerTag) throws IOException {
        System.out.printf(" Canceled !!!!! %n");
      }
    };
 
    // x-cancel-on-ha-failover を true にして Consumer を Channel に割り当てる。
    Map<String, Object> args = new HashMap<String, Object>();
    args.put("x-cancel-on-ha-failover", true);
    boolean autoAck = false;
    channel.basicConsume(queue, autoAck, args, consumer);
  }


  public static void main(String[] args) {
    try {      
      new MyCancelConsumer().doAction();
    } catch (Exception e) {
      e.printStackTrace();
    }
  }
}

MyHappyConsumerクラスからの変更点としては、

  1. DefaultConsumerクラスの handleDelivery() メソッドをオーバーライドしてメッセージを処理しています。
  2. Channel に Consumer を割り当てる時に x-cancel-on-ha-failover引数を "true" にしています。

になります。

再度、検証したいと思います。
検証の前に Queue のメッセージをクリアして
HomeNode が vm-1st になっているのと QueueMirroring の同期を確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin purge queue name=myQueue

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-1st | 0        |
+---------+---------+---------------+----------+

rabbitmqctl sync_queue myQueue

rabbitmqctl list_queues name slave_pids synchronised_slave_pids

Listing queues ...
myQueue [<rabbit@vm-2nd.1.297.0>]       [<rabbit@vm-2nd.1.297.0>]

Consumer を HomeNode でない vm-2nd に接続します。
コマンドプロンプトを開いて gradle から Consumer を起動します。

Consumer

cd /d C:\studying-rabbitmq-failover
gradle clean run -PmainClass=studying.rabbitmq.MyCancelConsumer -q

listening... vm-2nd

vm-2nd に接続できたのを確認したらメッセージを送信します。
新たにコマンドプロンプトを開いて gradle から以下のようにメッセージを送信します。

Publisher

cd /d C:\studying-rabbitmq-failover
gradle happyPublisher -q

start
done

Consumer のコマンドプロンプトからメッセージ処理が始まるのが確認できたら

Consumer

...
listening... vm-2nd
 Received 'Maurice' - vm-2nd deliveryTag:1 redeliver:false
  Done 'Maurice' ack:1
 Received 'Verdine' - vm-2nd deliveryTag:2 redeliver:false
  Done 'Verdine' ack:2
 Received 'Philip ' - vm-2nd deliveryTag:3 redeliver:false

vm-1st の RabbitMQ サーバーを停止させて Consumer Cancel Notification が受け取れるか確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

systemctl stop rabbitmq-server.service

以下のように Consumer のコマンドプロンプトから Consumer Cancel Notification を受け取って
Consumer が停止しているのが確認できると思います。

Consumer

...
listening... vm-2nd
 Received 'Maurice' - vm-2nd deliveryTag:1 redeliver:false
  Done 'Maurice' ack:1
 Received 'Verdine' - vm-2nd deliveryTag:2 redeliver:false
  Done 'Verdine' ack:2
 Received 'Philip ' - vm-2nd deliveryTag:3 redeliver:false
  Done 'Philip' ack:3
 Received 'Jessica' - vm-2nd deliveryTag:4 redeliver:false
  Done 'Jessica' ack:4
 Canceled !!!!!

vm-1st の RabbitMQ サーバーを再起動させて Queue のメッセージを見ています。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

systemctl start rabbitmq-server.service

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd | 7        |
+---------+---------+---------------+----------+

見てみると Consumer は、ack を ４つカウントしているのですが
Queue のメッセージは、７通あります。
恐らく Failover が発生したため Consumer が最後に処理していたメッセージの ack が受け取れずに
Re-Queue されたのだと思います。
Consumer が止まらずにメッセージ処理を続けてたらメッセージの２重処理が発生していると思います。
それをどう回避するか、どう対応するかは、アプリの実装に委ねられるのだと思います。

おわりに

Failover は、ライブラリーやミドルウェアの設定でなんとかなりそうですが、
メッセージの２重処理については、アプリ側での対応になるようです。
このあたりは、アプリの要件によって変わってくるので仕方ないと思います。
(２重にメッセージが処理されてもサービス的に影響がない場合もあると思います。
いづれにせよ Consumer は、メッセージが２重に処理されることも
考慮した作りにしておく必要がありそうです。
また、２重処理されたメッセージを捕捉できるようなログも出力しておきたいところです。

参考URL: http://www.rabbitmq.com/clustering.html; http://www.rabbitmq.com/ha.html; http://www.rabbitmq.com/consumer-cancel.html; http://www.rabbitmq.com/api-guide.html

RabbitMQ の冗長化を考える

2016-05-12T00:23:00.000+09:00

はじめに

RabbitMQ の冗長化の機能として
Clustering(クラスタリング)と QueueMirroring(Queueミラーリング)が提供されているようです。
今回は、これらを使って冗長化を考えてみたいと思います。

Cluster の Node では、Queue、Exchange、Binding、User などが共有できるようです。
しかし Queue だけは、他と扱いが異なるということです。
Queue は、Cluster 内のどこか１つの Node が HomeNode となり保持される仕組みになっているようです。
HomeNode 以外の Node は、Queue を参照する形になるようです。
そのため HomeNode が落ちてしまうと他の Node は、Queue の参照できるけれども
Queue にあるメッセージが参照できなくなるという事態に陥ってしまうようです。
さらにメッセージが Persistence でなければメッセージ自体もなくなってしまう。
これをカバーするものが QueueMirroring となるようです。
HomeNode のメッセージを他の Node でも共有しようという仕組みのようです。

始める前に...
RabbitMQ がインストール済であること
RabbitMQ サーバーにログイン可能でリソースにアクセスできるユーザが作成済であること
(ユーザとパスワードを "user01" と "passwd" としています。
ManagementPlugin が有効になっていて CommandLineTool がインストールていること
以上が前提になります。
このあたりはわたしも『yum の Local Repository に RabbitMQ をインストール』にまとめていますので
よろしければ、こちらも合わせて、ご参考に。

ではでは！Getting Started!

環境

今回は、以下の２台のサーバー(vm-1st と vm-2nd)で冗長化構成を考えたいと思います。

RabbitMQ Server (vm-1st)

ホスト名	vm-1st
IP	192.168.10.110
ミドルウェア	RabbitMQ server 3.6.1 ユーザ： user01 パスワード： passwd
OS	CentOS-7-x86_64-Minimal-1511.iso VirtualBox 5.0.16

RabbitMQ Server (vm-2nd)

ホスト名	vm-2nd
IP	192.168.10.120
ミドルウェア	RabbitMQ server 3.6.1 ユーザ： user01 パスワード： passwd
OS	CentOS-7-x86_64-Minimal-1511.iso VirtualBox 5.0.16

準備

Clustering と QueueMirroring の設定をするにあたりホスト名とその名前解決が必要になるようです。

( ! ) 注意 RabbitMQ のリソース

ホスト名を変更すると User や Queue などが消えてしまう？

Queue、Exchange、Binding、User などは、ホスト名に関連付けされて
/var/lib/rabbitmq/mnesia ディレクトリ以下に保存されるようです。
(Mnesia という分散データベースが使われているようです。
実際、消えてはないのですが、変更前のホスト名で保存されているので
アクセスできなくなってしまうようです。

それぞれ以下のように設定します。
ホスト名を設定した後は、一度、再起動しておきます。

vm-1st

/etc/hostname

vm-1st

/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.110 vm-1st
192.168.10.120 vm-2nd

reboot

vm-2nd

/etc/hostname

vm-2nd

/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.110 vm-1st
192.168.10.120 vm-2nd

reboot

ホスト名を変更した場合

guest 以外のユーザが存在するか確認します。

rabbitmqadmin list users name tags

+--------+---------------+
|  name  |     tags      |
+--------+---------------+
| guest  | administrator |
+--------+---------------+

guest しか存在しない場合、恐らく User が消えてしまっていると思います。
ユーザとパスワードを "user01" と "passwd" にして再作成します。
リソースへのアクセス権限と Web の管理コンソールを使用するための Role も設定します。

rabbitmqctl add_user user01 passwd
rabbitmqctl set_permissions -p / user01 ".*" ".*" ".*"
rabbitmqctl set_user_tags user01 administrator

もう一度ユーザを確認します。

rabbitmqadmin list users name tags

+--------+---------------+
|  name  |     tags      |
+--------+---------------+
| guest  | administrator |
| user01 | administrator |
+--------+---------------+

user01 が追加されていれば OK です。

ユーザ作成は、Main の ClusterNode だけで OK です。
Sub の ClusterNode は、Main の ClusterNode の情報がレプリケートされます。

Clustering の設定方法には、いくつかあるのですが、
今回は、ManagementPlugin の CommandLineTool を使おうと思います。
そのためには、Cluster に参加する Node は、同じ ErlangCookie を持っていないといけないようです。
(コマンド実行時の認証に必要なようです。
ErlangCookie に特別な制限は、なくアルファベットの文字列であればなんでもよいようです。

とりあえず、vm-1st と vm-2nd に適当な同じ ErlangCookie 文字列を設定します。
手順としては、

  1. RabbitMQ サーバーを停止してから ErlangCookie を変更する。
  2. ErlangCookie を変更した後、RabbitMQ サーバーを再起動する。

とします。

vm-1st と vm-2nd のターミナルからそれぞれ以下のコマンドを実行します。

vm-1st

systemctl stop rabbitmq-server.service
echo MYERLANGCOOKIESTR > /var/lib/rabbitmq/.erlang.cookie
systemctl start rabbitmq-server.service

vm-2nd

systemctl stop rabbitmq-server.service
echo MYERLANGCOOKIESTR > /var/lib/rabbitmq/.erlang.cookie
systemctl start rabbitmq-server.service

ErlangCookie

vm-1st の ErlangCookie を vm-2nd にコピーするのもよいと思います。
vm-2nd のターミナルから以下のコマンドを実行します。

vm-2nd

mv /var/lib/rabbitmq/.erlang.cookie /var/lib/rabbitmq/.erlang.cookie_bk
scp root@vm-1st:/var/lib/rabbitmq/.erlang.cookie /var/lib/rabbitmq/.erlang.cookie
chown rabbitmq /var/lib/rabbitmq/.erlang.cookie

準備は、これで終わりです。

Clustering の設定

今、vm-1st と vm-2nd の Clustering がどうなっているか確認してみましょう。

まず、vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqctl cluster_status

Cluster status of node 'rabbit@vm-1st' ...
[{nodes,[{disc,['rabbit@vm-1st']}]},
 {running_nodes,['rabbit@vm-1st']},
 {cluster_name,<<"rabbit@vm-1st">>},
...

見てみると "rabbit@vm-1st" という Cluster があり
このサーバー(vm-1st) だけが参加していて起動している。
こんな感じでしょうか？

次に、vm-2nd のターミナルから以下のコマンドを実行します。

vm-2nd

rabbitmqctl cluster_status

Cluster status of node 'rabbit@vm-2nd' ...
[{nodes,[{disc,['rabbit@vm-2nd']}]},
 {running_nodes,['rabbit@vm-2nd']},
 {cluster_name,<<"rabbit@vm-2nd">>},
...

こちらも "rabbit@vm-2nd" という Cluster があり
このサーバー(vm-2nd) だけが参加していて起動している。

整理してみると
vm-1st と vm-2nd のどちらも
それぞれが Cluster を持っていて自サーバーのみ参加していて起動している。

Disk Node と RAM Node

Node の保存先に Disk と RAM があるようだ。
保存先に RAM を選ぶとパフォーマンスを稼げるということらしいが
一般的には、Disk を選択するのが無難なようだ。

ではでは、vm-2nd を vm-1st の Cluster に参加させてみましょう。
手順としては、

  1. vm-2nd を offline にする。
  2. vm-2nd を vm-1st の Cluster に参加させる。
  3. vm-2nd を online にする。

のようになります。

vm-2nd のターミナルから以下のコマンドを実行します。

vm-2nd

rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@vm-1st
rabbitmqctl start_app

ちゃんと Cluster に参加できたか確認します。
vm-1st と vm-2nd の両方のターミナルで以下のコマンドを実行します。

vm-1st

rabbitmqctl cluster_status

Cluster status of node 'rabbit@vm-1st' ...
[{nodes,[{disc,['rabbit@vm-1st','rabbit@vm-2nd']}]},
 {running_nodes,['rabbit@vm-2nd','rabbit@vm-1st']},
 {cluster_name,<<"rabbit@vm-1st">>},
...

vm-2nd

rabbitmqctl cluster_status

[{nodes,[{disc,['rabbit@vm-1st','rabbit@vm-2nd']}]},
 {running_nodes,['rabbit@vm-1st','rabbit@vm-2nd']},
 {cluster_name,<<"rabbit@vm-1st">>},
...

どうなったでしょう？
ちょっと見てみると
vm-1st と vm-2nd のどちらにも
"rabbit@vm-1st" という Cluster があり
そこにどちらも参加していてどちらも起動している。
いけてそうな感じですね！

Clustering の解除

vm-2nd を vm-1st の Cluster から解除する手順としては、

  1. vm-2nd を offline にする。
  2. vm-2nd を vm-1st の Cluster から解除する。
  3. vm-2nd を online にする。

のようになります。

vm-2nd のターミナルから以下のコマンドを実行します。

vm-2nd

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app

RabbitMQ と Erlang の version

RabbitMQ の version が違う Node は、Cluster に参加できないようです。
同様に Erlang の version が違う Node も Cluster に参加できないようです。
Clustering された RabbitMQ の version up は、なかなか大変？！

Queue を宣言する

とりあえず、Queue がないと始まらないので宣言をします。
Queue名を "myQueue" とします。
vm-1st と vm-2nd のどちらでも構わないのですが
ここでは、vm-2nd を HomeNode にして Queue を宣言したいと思います。

vm-2nd のターミナルから以下のコマンドを実行します。

vm-2nd

rabbitmqadmin declare queue name=myQueue

宣言できたか確認します。
デフォルト(無名)の Exchange に Bind されているかも確認します。

vm-2nd

rabbitmqadmin list queues name durable node messages 

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd | 0        |
+---------+---------+---------------+----------+

Queue名が "myQueue"、durable が "True"、HomeNode が "vm-2nd" で宣言されているようです。

rabbitmqadmin list bindings

+------------+-------------+-------------+
|   source   | destination | routing_key |
+------------+-------------+-------------+
|            | myQueue     | myQueue     |
+------------+-------------+-------------+

Queue名を RoutingKey にしてデフォルトの Exchange に Bind されているようです。

Queue の HomeNode

デフォルトでは、Queue を宣言した Node が HomeNode になるようです。

以下で HomeNode の決定条件を変更できるようです。
  ・Queue 作成時の x-queue-master-locator 引数
  ・queue-master-locator policy
  ・configuration ファイル

HomeNode の決定条件として以下の値が設定可能なようです。
  ・min-masters
  ・client-local (デフォルト)
  ・random

Queue の削除

Queue を指定して以下のコマンドを実行します。

rabbitmqadmin delete queue name=myQueue

HomeNode でない vm-1st からはどう見えているか確認したいと思います。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin list queues name durable node messages 

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd | 0        |
+---------+---------+---------------+----------+

vm-2nd と同じように見えているのが分かると思います。

HomeNode でない vm-1st からメッセージを送信するとどうなるか試してみたいと思います。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin publish routing_key=myQueue payload="Hello?"

送信されたメッセージが Queue に届いたか確認します。
vm-1st と vm-2nd の両方のターミナルで以下のコマンドを実行します。

vm-1st

rabbitmqadmin list queues name durable node messages 

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd | 1        |
+---------+---------+---------------+----------+

vm-2nd

rabbitmqadmin list queues name durable node messages 

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd | 1        |
+---------+---------+---------------+----------+

ちゃんと届いているようです。

Queue には、HomeNode があり Master / Slave のような構成になっているが
どこの Node からメッセージを送信しても Cluster 内のすべての Queue にレプリケートされるようです。
ある意味、MultiMaster的な動きになっていると思います。

メッセージの取り出しと削除

メッセージを取り出す場合は、Queue を指定して以下のコマンドを実行します。

rabbitmqadmin get queue=myQueue requeue=false

requeue を省略、または "true" にすると取り出したメッセージがもう一度、Queue に戻されます。

メッセージを削除する場合は、Queue を指定して以下のコマンドを実行します。

rabbitmqadmin purge queue name=myQueue

QueueMirroring していない状態で HomeNode になっている vm-2nd が落ちるとどうなるか試してみます。
vm-2nd の RabbitMQ サーバーを停止させた後、vm-1st から Queue がどう見えているか確認します。

vm-1st と vm-2nd のターミナルでそれぞれ以下のコマンドを実行します。

vm-2nd

systemctl stop rabbitmq-server.service

vm-1st

rabbitmqadmin list queues name durable node messages 

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd |          |
+---------+---------+---------------+----------+

Queue は見えているもののメッセージが見えなくなりました。

vm-2nd が復帰した時、メッセージがどうなっているか確認したいと思います。
vm-2nd の RabbitMQ サーバーを起動させた後、vm-1st と vm-2nd から Queue が
どう見えているか確認します。

vm-1st と vm-2nd のターミナルでそれぞれ以下のコマンドを実行します。

vm-2nd

systemctl start rabbitmq-server.service

rabbitmqadmin list queues name durable node messages 

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd | 0        |
+---------+---------+---------------+----------+

vm-1st

rabbitmqadmin list queues name durable node messages 

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd | 0        |
+---------+---------+---------------+----------+

メッセージが消えてしまっているのが分かると思います。

HomeNode が落ちてもメッセージが消えないように QueueMirroring の設定をすることにします。

DeliveryMode

メッセージ送信時に DeliveryMode を persistent にすると
送信したメッセージがディスク領域に保存されるようになるため
HomeNode が落ちてもメッセージが消えてしまうことはないようです。
ただし HomeNode が落ちている間、メッセージが見えなくなるので取り出しはできないようです。

DeliveryMode を persistent にしてメッセージを送信する。

rabbitmqadmin publish routing_key=myQueue payload="Hello?" properties='{"delivery_mode":2}'

HomeNode を停止する。

systemctl stop rabbitmq-server.service

メッセージを取り出してみる。

rabbitmqadmin get queue=myQueue requeue=false

*** Not found: /api/queues/%2F/myQueue/get

Not found になりメッセージを取り出せない。

HomeNode を起動させて Queue を確認する。

systemctl start rabbitmq-server.service

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd | 1        |
+---------+---------+---------------+----------+

メッセージは、残っている。
メッセージを取り出してみる。

rabbitmqadmin get queue=myQueue requeue=false

+-------------+----------+---------------+---------+---------------+------------------+-------------+
| routing_key | exchange | message_count | payload | payload_bytes | payload_encoding | redelivered |
+-------------+----------+---------------+---------+---------------+------------------+-------------+
| myQueue     |          | 0             | Hello?  | 6             | string           | False       |
+-------------+----------+---------------+---------+---------------+------------------+-------------+

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-2nd | 0        |
+---------+---------+---------------+----------+

メッセージが取り出せた。

QueueMirroring の設定

Clustering の設定と Queue の宣言に続いて QueueMirroring の設定に入りたいと思います。
policy を使って設定することになるようです。
設定する policy は、ha-mode とその値の ha-params になるようです。

先ほど宣言した Queue を Cluster 内のすべての Node で Mirroring するようにします。
policy名を "myPolicy" とします。

vm-1st と vm-2nd のどちらでも構わないのですが
とりあえず、vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqctl set_policy myPolicy "^myQueue$" '{"ha-mode":"all"}'

rabbitmqctl set_policy コマンドの書式

rabbitmqctl set_policy    policy名    パターン    policy設定

policy名

policy名を指定する。

パターン

policy を適用する Queue を正規表現を使って指定する。

policy設定

設定する policy をJSON 形式で指定する。

ha-mode と ha-params

ha-mode は、３つあり ha-params と合わせて以下のように設定できるようです。

all

すべての Node で mirroring する。(ha-params はない)

例)  '{"ha-mode":"all"}'

exactly

指定した数の Node で mirroring する。

ha-params には、Node数を指定する。

例)  '{"ha-mode":"exactly","ha-params":2}'

nodes

指定した Node で mirroring する。

ha-params には、Node名を指定する。

例)  '{"ha-mode":"nodes","ha-params":["rabbit@vm-1st", "rabbit@vm-2nd"]}'

policy が作成できたか確認します。
vm-1st のターミナルから以下のコマンドを実行します。

rabbitmqctl list_policies

Listing policies ...
/       myPolicy        all     ^myQueue$       {"ha-mode":"all"}       0

作成できているようです。

policy の削除

policy を指定して以下のコマンドを実行します。

rabbitmqctl clear_policy myPolicy

Cluster 内の Node で QueueMirroring が同期しているか確認します。
vm-1st のターミナルから以下のコマンドを実行します。

rabbitmqctl list_queues name slave_pids synchronised_slave_pids

Listing queues ...
myQueue [<rabbit@vm-1st.3.24159.1>]     [<rabbit@vm-1st.3.24159.1>]

"myQueue" の slave に vm-1st があり、同期している slave にも vm-1st があるようなので
問題ないと思います。

では、メッセージを送信してみて HomeNode が落ちてもメッセージが消えてしまわないか確認したいと思います。

vm-1st からメッセージを送信します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin publish routing_key=myQueue payload="Hello?"

HomeNode になっている vm-2nd の RabbitMQ サーバーを停止します。
vm-2nd のターミナルから以下のコマンドを実行します。

vm-2nd

systemctl stop rabbitmq-server.service

この状態で HomeNode でない vm-1st で Queue がどういう状態になっているか確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-1st | 1        |
+---------+---------+---------------+----------+

メッセージが消えずに残っているのが確認できると思います。
もう一点、HomeNode が vm-2nd から vm-1st に変わっているのも確認できると思います。

ここで vm-2nd の RabbitMQ サーバーが起動すると
vm-1st と vm-2nd から Queue がどう見えているか確認します。

vm-1st と vm-2nd のターミナルでそれぞれ以下のコマンドを実行します。

vm-2nd

systemctl start rabbitmq-server.service

rabbitmqadmin list queues name durable node messages 

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-1st | 1        |
+---------+---------+---------------+----------+

vm-1st

rabbitmqadmin list queues name durable node messages

+---------+---------+---------------+----------+
|  name   | durable |     node      | messages |
+---------+---------+---------------+----------+
| myQueue | True    | rabbit@vm-1st | 1        |
+---------+---------+---------------+----------+

HomeNode が vm-1st に変更されたままになっているのが確認できると思います。
HomeNode が落ちたタイミングで別の Node が HomeNode になり
メッセージを引き継ぐ形になっているようです。
そのため HomeNode が落ちてもメッセージが消えることは、ないようです。

HomeNode が変更されたので QueueMirroring の同期を確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqctl list_queues name slave_pids synchronised_slave_pids

Listing queues ...
myQueue [<rabbit@vm-2nd.3.293.0>]       []

slave として、vm-2nd が追加されているのは、確認できますが同期がうまくいっていないようです。

vm-1st のターミナルから以下のコマンドを実行して同期の設定をします。

vm-1st

rabbitmqctl sync_queue myQueue

もう一度、QueueMirroring の同期を確認します。
vm-1st のターミナルから以下のコマンドを実行します。

vm-1st

rabbitmqctl list_queues name slave_pids synchronised_slave_pids

Listing queues ...
myQueue [<rabbit@vm-2nd.3.293.0>]       [<rabbit@vm-2nd.3.293.0>]

今度は、問題なく同期できているのが確認できると思います。

QueueMirroring の同期

デフォルトの QueueMirroring の同期設定は、手動になっているようです。
policy 作成時に ha-sync-mode を "automatic" にすると自動同期にすることができるようです。

rabbitmqctl set_policy myPolicy "^myQueue$" '{"ha-mode":"all", "ha-sync-mode":"automatic"}'

おわりに

なかなかいい感じに MultiMaster のような形で冗長化できたのではと思います。
後は、Cluster 内の Node に仮想の IP を設定して、アプリからアクセスする感じでしょうか？

参考URL: http://www.rabbitmq.com/clustering.html; http://www.rabbitmq.com/ha.html

RabbitMQ で JSON RPC

2016-05-04T21:05:00.000+09:00

はじめに

前回、『RabbitMQ で同時処理実行数を制限する』で送信処理と受信処理を見てきましたが
今回は、それに加えてレスポンスを取得できるようにしたいと思います。
やり方として RabbitMQ Tutorials の『6 Remote procedure call (RPC)』が
参考になるのではないかと思います。

tutorial では、送信用の Queue とは別に 返信用の Queue を用意して
レスポンスを処理する方法になっていたかと思います。
非同期的にレスポンス処理するのであれば、このやり方になるのだろうと思います。
でも、なにか、こう、もうちょっと、そこまででなくていいのでお手軽にできる方法はないかと
JavaDoc を眺めていると JsonRpcServer と JsonRpcClient なるものを見つけました！
名前的にみてメッセージを JSON で RPC風に送受信処理と返信処理ができそうな雰囲気です！
これは！と思い試してみることにしました。

始める前に...
RabbitMQ がインストール済であること
RabbitMQ サーバーにログイン可能でリソースにアクセスできるユーザが作成済であること
(ユーザとパスワードを "user01" と "passwd" としています。
以上が前提になります。
このあたりはわたしも『yum の Local Repository に RabbitMQ をインストール』にまとめていますので
よろしければ、こちらも合わせて、ご参考に。

ではでは！Getting Started!

環境

開発機

開発言語	Java 1.8.0
フレームワーク	rabbitmq-java-client 3.6.1
ビルドツール	Gradle 2.12 ※gradle コマンドが実行できるように設定しておきます。
OS	Windows 8.1

RabbitMQ Server

IP	192.168.10.110
ミドルウェア	RabbitMQ server 3.6.1 ユーザ： user01 パスワード： passwd
OS	CentOS-7-x86_64-Minimal-1511.iso VirtualBox 5.0.16

プロジェクト構成

今回は、RPC ということでプロジェクトを Client と Service そして Gateway の３つに分けました。
というのも Client、Service、Gateway の３つそれぞれ別の jar ファイルになっていた方が
RPC では、何が何に依存していて、どこで何が必要なのかなど
その雰囲気がより伝わるだろうと思ったからです。
もちろん、１つのプロジェクトにするこもできます。

Client と Service のインターフェイス部分と両者で使用するデータクラスを Gateway に切り出しました。
Service は、Gateway のインターフェイスを実装してサービスとして公開します。
Client は、Gateway のインターフェイスからスタブを作成してサービスにアクセスします。
Service と Client は、Gateway のデータクラスを使って通信します。
おおよそ、こんな感じになると思います。

C ドライブ直下に「studying-rabbitmq-rpc」フォルダを作成して各ファイルを以下のように配置します。
ファイルは、UTF-8 で保存します。

C:\studying-rabbitmq-rpc
- client
  - src
    - main
      - java
        
        studying
        
        client
        
        MyRpcClient.java
- gateway
  - src
    - main
      - java
        
        studying
        
        gateway
        
        MyRequest.java
        
        MyResponse.java
        
        MyService.java
- service
  - src
    - main
      - java
        
        studying
        
        service
        
        MyRpcServer.java
        
        MyServiceImpl.java
- build.gradle
- settings.gradle

準備

ビルドスクリプトを作成します。
プロジェクトは、Client、Service、Gateway と３つあるのですがビルドスクリプトは１つにしています。

build.gradle

subprojects {
  apply plugin: 'java'
  apply plugin: 'eclipse'
  apply plugin: 'application'

  sourceCompatibility = '1.8'
  targetCompatibility = '1.8'
  [compileJava, compileTestJava]*.options*.encoding = 'UTF-8'
  
  mainClassName = (project.hasProperty('mainClass')) ? "$mainClass" : ''

  repositories {
    jcenter()
  }

  dependencies {
    compile 'com.rabbitmq:amqp-client:3.6.1'
    compile 'org.slf4j:slf4j-api:1.7.18'
    testCompile 'junit:junit:4.12'
  }
}

project(':client') {
  dependencies {
    compile project(':gateway')
  }
}

project(':service') {
  dependencies {
    compile project(':gateway')
  }
}

client と service の compile 時の依存関係に gateway の project/jar ファイルを追加しています。

settings.gradle

rootProject.name = 'studying-rabbitmq-rpc'
include 'client', 'gateway', 'service'

RabbitMQ のユーザが未作成の場合は、以下のようにして作成します。
作成したユーザがリソースにアクセスできるように権限も設定します。

rabbitmqctl add_user user01 passwd
rabbitmqctl set_permissions -p / user01 ".*" ".*" ".*"

ユーザとパスワードは、"user01" と "passwd" にしています。

Gateway の作成

まず、Client側と Service側の両方で使う Gateway から作成します。

送信と返信に使うメッセージデータクラスを作成します。

gateway/src/main/java/studying/gateway/MyRequest.java

package studying.gateway;

public class MyRequest {
  private String message;

  public String getMessage() {
    return message;
  }

  public void setMessage(String message) {
    this.message = message;
  }
}

gateway/src/main/java/studying/gateway/MyResponse.java

package studying.gateway;

public class MyResponse {
  private String result;

  public String getResult() {
    return result;
  }

  public void setResult(String result) {
    this.result = result;
  }
}

次にインターフェイスを作成します。
メソッドは２つ定義します。

gateway/src/main/java/studying/gateway/MyService.java

package studying.gateway;

public interface MyService {
  
  // (1)
  public String echo(String message);

  // (2)
  public Object print(Object param);
}

メソッドは、以下のようになります。

(1) echo()メソッド

文字列を引数に受けて、また文字列を返します。

(2) print()メソッド

Object型の引数で Object型の戻り値になっていますが、
実装的には、MyRequestクラスを Object型の引数で受けて、
MyResponseクラスを Object型で返すようになります。
(MyRequestクラスと MyResponseクラスを直接、引数と戻り値にできない事情が...

Service の作成

Gateway のインターフェイスの実装クラスを作成します。

service/src/main/java/studying/service/MyServiceImpl.java

package studying.service;

import java.util.Map;
import com.rabbitmq.tools.json.JSONUtil;
import studying.gateway.MyRequest;
import studying.gateway.MyResponse;
import studying.gateway.MyService;

public class MyServiceImpl implements MyService {

  // (1)
  @Override
  public String echo(String message) {
    System.out.printf("Received '%s' %n", message);
    
    return "Hello? " + message;
  }

  // (2)
  @SuppressWarnings("unchecked")
  @Override
  public Object print(Object param) {
    System.out.printf("Received '%s' %n", param);

    MyRequest request = new MyRequest();
    JSONUtil.tryFill(request, (Map<String, Object>) param);
    
    MyResponse response = new MyResponse();
    response.setResult("Hello! " + request.getMessage());
    
    return response;
  }
}

実装内容は、以下のようになります。

(1) echo()メソッド

受信したメッセージをコンソールに出力します。
メッセージに文字列 "Hello?" を付けて返します。

(2) print()メソッド

受信したメッセージをコンソールに出力します。
メッセージは、一旦、Object型で受けて JSONUtil を使って MyRequestクラスに出力します。
MyRequestクラスからメッセージを取り出して文字列 "Hello!" を付けて返信データにします。
返信データを MyResponseクラスに設定して返します。

引数と戻り値

JsonRpcServer/JsonRpcClient というだけあってメッセージデータは、JSON になっているようです。
String型や int型など primitive型は、直接 JSON に変換できるようなので
そのまま引数や戻り値にしても問題ないようです。
シンプルな JavaBean の形式をとっているクラスであえば、JSON に変換可能なようで
同じように引数や戻り値に使えるみたいです。
ただし、この場合、注意が必要で Proxy 越しに呼び出されるのが原因だと思うのですが
一旦 Object型にしないとうまく動かないようです。

RPC といっても今回は、Java クラスをシリアライズしたメッセージデータを使っている訳ではないので
Service側と Client側で同じ Javaクラスを使っていないと通信できないことはないと思います。
飽くまでも今回のメッセージデータは、JSON なので Service側と Client側がメッセージデータに
それぞれの Javaクラスを使っていたとしても JSON をそれぞれのクラスに変換(出力)できれば問題ないと思います。
今回は、Gateway という形でメッセージデータに同じクラスを使っていますが
Service側と Client側がそれぞれでメッセージデータ用の Javaクラスを用意してもよいと思います。
(おおよそ、フィールド名を合わせておけばクラス名が違っていてもいけそうです。

次にサービスを公開してメッセージの受付を開始するクラスを作成します。

service/src/main/java/studying/service/MyRpcServer.java

package studying.service;

import java.io.IOException;
import java.util.Map;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.tools.jsonrpc.JsonRpcServer;
import studying.gateway.MyService;

public class MyRpcServer {

  public static void main(String[] args) {
    System.out.printf("listening... %n");
    
    // RabbitMQ Server 接続情報
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.10.110");
    factory.setUsername("user01");
    factory.setPassword("passwd");
    Connection connection = null;
    
    try {
      // RabbitMQ Server に接続して Channel を生成する。
      connection = factory.newConnection();
      Channel channel = connection.createChannel();
      
      
      // Queue と Exchange を宣言して Bind をする。
      String queueName    = "myRpcQueue";
      String exchangeType = "direct";
      String exchangeName = "myRpcExchange";
      String routingKey   = "myRpcKey";
   
      boolean durable = true;
      boolean exclusive = false;
      boolean autoDelete = false;
      Map<String, Object> arguments = null;
      
      channel.exchangeDeclare(exchangeName, exchangeType, durable);
      channel.queueDeclare(queueName, durable, exclusive, autoDelete, arguments);
      channel.queueBind(queueName, exchangeName, routingKey);
      
      
      // メッセージの受付を開始する。
      JsonRpcServer server = new JsonRpcServer(channel, queueName, MyService.class, new MyServiceImpl());
      server.mainloop();
      
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      if (connection != null && connection.isOpen()) {
        try {
          connection.close();
        } catch (IOException e) {
          e.printStackTrace();
        }
      }
    }
  }
}

処理内容としては、
送受信処理に使う Queue と Exchange (direct タイプ) を宣言しています。
Queue名と Exchange名は、"myRpcQueue" と "myRpcExchange" になります。
RoutingKey を "myRpcKey" にして "myRpcQueue" と "myRpcExchange" を Bind しています。
MyServiceインターフェイスとその実装クラス MyServiceImpl を使って
メッセージの受信処理を開始しています。

Client の作成

サービスの呼び出しクラスを作成します。
echo()メソッドと print()メソッドを呼び出して結果をコンソールに出力します。

以下の内容で作成します。

client/src/main/java/studying/client/MyRpcClient.java

package studying.client;

import java.io.IOException;
import java.util.Map;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.tools.json.JSONUtil;
import com.rabbitmq.tools.jsonrpc.JsonRpcClient;
import studying.gateway.MyRequest;
import studying.gateway.MyResponse;
import studying.gateway.MyService;

public class MyRpcClient {
  
  @SuppressWarnings("unchecked")
  public void doAction() {

    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.10.110");
    factory.setUsername("user01");
    factory.setPassword("passwd");
    Connection connection = null;
    
    try {
      connection = factory.newConnection();
      Channel channel = connection.createChannel();

      String exchangeName = "myRpcExchange";
      String routingKey   = "myRpcKey";
      int timeout = 1000 * 5;

      // Stub を作成する。
      JsonRpcClient client = new JsonRpcClient(channel, exchangeName, routingKey, timeout);
      MyService serivce = (MyService)client.createProxy(MyService.class);

      
      // (1) echo()メソッド呼び出し
      String message = serivce.echo("dolphin");
      System.out.printf("echo: %s %n", message);
      
      
      // (2) print()メソッド呼び出し
      MyRequest request = new MyRequest();
      request.setMessage("revolution");
      Object source = serivce.print(request);
      
      MyResponse response = new MyResponse();
      JSONUtil.fill(response, (Map<String, Object>)source);
      System.out.printf("print: %s %n", response.getResult());
      
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      if (connection != null && connection.isOpen()) {
        try {
          connection.close();
        } catch (IOException e) {
          e.printStackTrace();
        }
      }
    }
  }

  public static void main(String[] args) {
    new MyRpcClient().doAction();
  }
}

Exchange と Queue の宣言と Bind は、Service側で行うので
Client側では、送信時に Exchange と RoutingKey を指定するだけにします。
送信する Exchange と RoutingKey は、"myRpcExchange" と "myRpcKey" にしています。
送信するまでに最低限 Exchange が存在していないとうまくいかないので
先に Service側を起動することになります。

処理内容は、以下のようになります。

(1) echo()メソッド呼び出し

引数と戻り値とも文字型なのでそのまま送信して、その結果をコンソールに出力します。

(2) print()メソッド呼び出し

メッセージを MyRequest クラスで送信します。
(インターフェイス的には、Object 型ですが実装は、MyRequest クラスになっています。
結果メッセージを一旦、Object 型で受けて JSONUtil を使って MyResponse クラスに出力します。
MyResponse クラスから結果メッセージを取り出してコンソールに出力します。

返信用の Queue

RabbitMQ の Tutorial 的には、返信メッセージの受付に Queue が宣言されているのですが
JsonRpcServer/JsonRpcClient では、Direct reply-to (amq.rabbitmq.reply-to.XXX) という
疑似的な Queue が暗黙的に返信用の Queue の代わりに使われるため
明示的に返信用の Queue を宣言する必要はないようです。

実行する

Queue と Exchange の設定をしている Service側を先に起動します。
コマンドプロンプトを開いて、gradle から Service側を起動します。

Service

cd /d C:\studying-rabbitmq-rpc
gradle :service:clean :service:run -PmainClass=studying.service.MyRpcServer -q

listening...

Service側が起動したのが確認できたら Client側を実行します。
Service側のコマンドプロンプトはそのままにしておいて
新たにコマンドプロンプトを開いて以下のコマンドを実行します。

以下のように表示されると思います。

Client

cd /d C:\studying-rabbitmq-rpc
gradle :client:clean :client:run -PmainClass=studying.client.MyRpcClient -q

echo: Hello? dolphin
print: Hello! revolution

Service側のコマンドプロンプトには、以下のように表示されると思います。

Service

...
listening...

Received 'dolphin'
Received '{message=revolution}'

また、以下のように jar ファイルを作って実行してみるのもいいと思います。

cd /d C:\studying-rabbitmq-rpc
gradle :service:clean :service:distZip -PmainClass=studying.service.MyRpcServer -q
gradle :client:clean :client:distZip -PmainClass=studying.client.MyRpcClient -q

おわりに

同期処理ではありますがレスポンスを取得できるようになったと思います。
(レスポンスを非同期処理で取得できるようにするのは、なかなか手間だと思います...

今回は、お手軽に、というのも裏テーマにあったので JsonRpcServer と JsonRpcClient を使いました。
使ってみたところ、Client側の実装が Java に限定されてしまいそうな懸念を持ちました。
しかも JsonRpcClientクラスを使わないとうまく通信できないかもしれません。
(RPC は、こんな感じ？
JsonRpcServerクラスの doCall() メソッド、JsonRpcClientクラスの call()メソッドあたりを
読み解いてみると Java 以外の Client を使って今回のサービスにアクセスできるかもしれません。
それもどうかな？
Service側と Client側がどちらも Java なら JMS でいいような気がします。
(RabbitMQ の JMS は有償だったような気が...

わたしは、Service側の実装が Java に依存するのには、なんら抵抗ないのですが
Client側が特定のプログラム言語(Java であっても)に依存してしまうのはイマイチだったりします。
ここは、なんとか考えないと。

参考URL: http://www.rabbitmq.com/getstarted.html; http://www.rabbitmq.com/api-guide.html

RabbitMQ で同時処理実行数を制限する

2016-05-01T23:21:00.001+09:00

はじめに

長い時間かかる処理を実行している間、ユーザー(またはクライアント)の対応をどう考えるか？
処理が終わるまで待たせるか？
待たせないようにするために処理を切り出して非同期的に実行できるようにするか？
どっちにしても長い時間かかる処理だけあってサーバー負荷は高い。
サーバー負荷の高い処理が連打されたりすると大変なことになってしまう。
処理が終わるまで待たせないようにする場合はもちろん、待たせる場合であっても
複数ユーザが同時に実行することを考えると何かしらの対策は必要になる。
理想としては、同時に実行できる処理数を制限して超えた分は Queue のようなものを使って処理待ちさせる。
処理に空きができたところで処理待ちしている処理を順に処理していく。

なにか簡単にできる方法はないかと考えていたところ MessageQueue に至った訳です。
MessageQueue サーバーとして RabbitMQ を使って検証してみようと思います。

始める前に...
RabbitMQ がインストール済であること
RabbitMQ サーバーにログイン可能でリソースにアクセスできるユーザが作成済であること
(ユーザとパスワードを "user01" と "passwd" としています。
以上が前提になります。
このあたりはわたしも『yum の Local Repository に RabbitMQ をインストール 』にまとめていますので
よろしければ、こちらも合わせて、ご参考に。

ではでは！Getting Started!!

ちょっと整理

主な Class と interface を整理したいと思います。
(com.rabbitmq.client パッケージにあるものです。

ConnectionFactory

hostName、userName、password などを元に RabbitMQサーバーと接続する。
接続情報を Connectionオブジェクトにして返す。

Connection

接続情報を保持する。
接続の Abort、Close を行う。
接続中に発生するイベントのハンドリングを行う。
Channelオブジェクトを生成する。
など。

Channel

Exchange と Queue の宣言を行う。
宣言した Exchange と Queue を Bind する。
メッセージの送信処理と受信処理を行う。
メッセージの受信処理に使う Consumer の割り当てを行う。
その他 AMQP の各種操作メソッドを提供する。

Exchange

```
メッセージの送信先になる。
メッセージ送信者(sender)はメッセージを直接 Queue に送信することはできない。
送られてきたメッセージを RoutingKey を元に格納する Queue を決定する。
```
```
以下４つのタイプがある。
```
fanout

無条件に Queue へメッセージを格納する。
※ ルーティングなし。(RoutingKey は無効)

direct

RoutingKey にマッチする Queue へ格納する。

topic

RoutingKey にパターンマッチする Queue へ格納する。
RoutingKey は「.」ドット区切りの単語で指定する。
  例) "kern.critical"  "auth.info"  "www.google.com"
ワイルドカード("*" "#")を含めたマッチング条件を指定できる。
  "*" は、１の単語にマッチする。
  "#" は、複数の単語にマッチする。
  例) "kern.*"  "*.info"  "#.com"

headers

メッセージ Header にマッチする Queue へ格納する。
```
direct タイプで無名の Exchange がデフォルトの Exchange として必ず提供されている。
Queue は、宣言と同時に暗黙的にこのデフォルトの Exchange と Queue名を RoutingKey にして
Bind される。
```

Queue

```
メッセージを格納する。
```

Consumer

割り当てられた Queue からメッセージを取り出して処理する。

環境

開発機

開発言語	Java 1.8.0
フレームワーク	rabbitmq-java-client 3.6.1
ビルドツール	Gradle 2.12 ※gradle コマンドが実行できるように設定しておきます。
OS	Windows 8.1

RabbitMQ Server

IP	192.168.10.110
ミドルウェア	RabbitMQ server 3.6.1 ユーザ： user01 パスワード： passwd
OS	CentOS-7-x86_64-Minimal-1511.iso VirtualBox 5.0.16

プロジェクト構成

作成するファイルは少ないのですがプロジェクトをApp と Worker に分けました。
というのも別の jar ファイルにしてそれぞれ実行した方が
プロセス間でメッセージのやりとりをしている様子をより実感できるかなと思ったからです。

C ドライブ直下に「studying-rabbitmq」フォルダを作成して各ファイルを以下のように配置します。
ファイルは、UTF-8 で保存します。

C:\studying-rabbitmq
- app
  - src
    - main
      - java
        
        studying
        
        sender
        
        App.java
- worker
  - src
    - main
      - java
        
        studying
        
        receiver
        
        MyConsumer.java
        
        Worker.java
- build.gradle
- settings.gradle

準備

ビルドスクリプトを作成します。
プロジェクトは、App と Worker と２つあるのですがビルドスクリプトは１つにしています。

build.gradle

subprojects {
  apply plugin: 'java'
  apply plugin: 'eclipse'
  apply plugin: 'application'

  sourceCompatibility = '1.8'
  targetCompatibility = '1.8'
  [compileJava, compileTestJava]*.options*.encoding = 'UTF-8'
  
  mainClassName = (project.hasProperty('mainClass')) ? "$mainClass" : ''

  repositories {
    jcenter()
  }

  dependencies {
    compile 'com.rabbitmq:amqp-client:3.6.1'
    compile 'org.slf4j:slf4j-api:1.7.18'
    testCompile 'junit:junit:4.12'
  }
}

settings.gradle

rootProject.name = 'studying-rabbitmq'
include 'app', 'worker'

RabbitMQ のユーザが未作成の場合は、以下のようにして作成します。
作成したユーザがリソースにアクセスできるように権限も設定します。

rabbitmqctl add_user user01 passwd
rabbitmqctl set_permissions -p / user01 ".*" ".*" ".*"

ユーザとパスワードは user01 と passwd にしています。

Worker の作成

Worker側から作成していきます。
全体的な内容としては Queue に届いたメッセージを取り出してコンソールに出力するとった感じになります。
メッセージを出力した後は、３秒間スリープします。
(これを長い時間かかる処理と想定しています。
Connection が使用できるスレッドを３つに制限します。
Channel を３つ作成してそれぞれに Consumer を１つ割り当てます。
３つまで同時にメッセージを処理してそれを超えた分は Queue で待たされるといった感じになると思います。

まず、Consumer クラスを以下の内容で作成します。

worker/src/main/java/studying/receiver/MyConsumer.java

package studying.receiver;

import java.io.IOException;

import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DefaultConsumer;
import com.rabbitmq.client.Envelope;

public class MyConsumer extends DefaultConsumer {
  
  private final String name;

  public MyConsumer(Channel channel, String name) {
    super(channel);
    
    this.name = name;
  }
  
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, 
      AMQP.BasicProperties properties, byte[] body) throws IOException {
    
    String message = new String(body, "UTF-8");
    long threadId = Thread.currentThread().getId();
    System.out.printf(" [thread-id:%02d] - %s Received '%s' %n", threadId, name, message);
    
    try {
      Thread.sleep(3 * 1000);
    } catch (InterruptedException e) {
      e.printStackTrace();
    } finally {
      System.out.printf("  [thread-id:%02d] - %s Done '%s' %n", threadId, name, message);
      this.getChannel().basicAck(envelope.getDeliveryTag(), false);
    }
  }
}

処理内容としては、
受信したメッセージと共にスレッドID、Consumer名をコンソールに出力します。
３秒後(長い時間かかる処理を想定)にもう一度スレッドID、Consumer名、メッセージをコンソールに出力します。

次にメッセージの受付を開始するクラスを作成します。

worker/src/main/java/studying/receiver/Worker.java

package studying.receiver;

import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

public class Worker {

  public static void main(String[] args) {
    try {
      new Worker().start();
    } catch (Exception e) {
      e.printStackTrace();
    }
  }
  
  public void start() throws Exception {
    
    final long threadId = Thread.currentThread().getId();
    System.out.printf("[thread-id:%02d] start %n", threadId);
    
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.10.110");
    factory.setUsername("user01");
    factory.setPassword("passwd");

    // Worker の数を３つにする。
    ExecutorService es = Executors.newFixedThreadPool(3);
    Connection connection = factory.newConnection(es);

    boolean durable = true;
    boolean autoAck = false;
    String queueName    = "myQueue";
    String exchangeType = "direct";
    String exchangeName = "myExchange";
    String routingKey   = "myKey";


    // Worker A
    Channel channelA = connection.createChannel();
    channelA.exchangeDeclare(exchangeName, exchangeType, durable);
    channelA.queueDeclare(queueName, durable, false, false, null);
    channelA.queueBind(queueName, exchangeName, routingKey);
    
    MyConsumer myConsumerA = new MyConsumer(channelA, "ConsumerA");
    channelA.basicConsume(queueName, autoAck, myConsumerA);
    

    // Worker B
    Channel channelB = connection.createChannel();
    channelB.exchangeDeclare(exchangeName, exchangeType, durable);
    channelB.queueDeclare(queueName, durable, false, false, null);
    channelB.queueBind(queueName, exchangeName, routingKey);
    
    MyConsumer myConsumerB = new MyConsumer(channelB, "ConsumerB");
    channelB.basicConsume(queueName, autoAck, myConsumerB);
    

    // Worker C
    Channel channelC = connection.createChannel();
    channelC.exchangeDeclare(exchangeName, exchangeType, durable);
    channelC.queueDeclare(queueName, durable, false, false, null);
    channelC.queueBind(queueName, exchangeName, routingKey);

    MyConsumer myConsumerC = new MyConsumer(channelC, "ConsumerC");
    channelC.basicConsume(queueName, autoAck, myConsumerC);
  }  
}

処理内容としては、
送受信処理に使う Queue と Exchange (direct タイプ) を宣言しています。
Queue名と Exchange名は、"myQueue" と "myExchange" になります。
RoutingKey を "myKey" にして "myQueue" と "myExchange" を Bind しています。
１つの Queue に対して３つの Consumer を割り当ててメッセージの受信処理を開始しています。

Connection が使用できるスレッドの数

Workerクラスの以下の部分でスレッドの数を設定していますが

...
// Worker の数を３つにする。
ExecutorService es = Executors.newFixedThreadPool(3);
Connection connection = factory.newConnection(es);
...

以下のように設定しなかった場合、どうなるか？

...
Connection connection = factory.newConnection();
...

JavaVM が使用できるプロセッサの数 × 2 になるようです。
(com.rabbitmq.client.impl.ConsumerWorkService 参照)

Consumer の実装

Consumerインターフェイスのメソッドの実装コードを１つ１つ書いていくのは、なかなかなので
今回は DefaultConsumerクラスを継承して必要なメソッドをオーバーライドする方法をとりました。
別のやり方として以下のように QueueingConsumerクラスを使ってメッセージの処理をする方法もあるようです。

QueueingConsumer consumer = new QueueingConsumer(channel);
channel.basicConsume(queueName, false, consumer);

while (true) {
  QueueingConsumer.Delivery delivery = consumer.nextDelivery();
  String message = new String(delivery.getBody());
  
  channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
}

Worker側は、だいたいこんな感じです。

App の作成

メッセージを送信するクラスをを作成します。

以下の内容で作成します。

app/src/main/java/studying/sender/App.java

package studying.sender;

import java.util.ArrayList;
import java.util.List;

import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.MessageProperties;

public class App {

  public static void main(String[] args) {    
    try {
      List<String> tasks = new ArrayList<String>();
      tasks.add("Maurice");
      tasks.add("Verdine");
      tasks.add("Philip");
      
      tasks.add("Jessica");
      tasks.add("Larry");
      tasks.add("Johnny");
      
      tasks.add("Ralph");
      tasks.add("Al");
      tasks.add("Andrew");

      tasks.add("XXX");
      
      ConnectionFactory factory = new ConnectionFactory();
      factory.setHost("192.168.10.110");
      factory.setUsername("user01");
      factory.setPassword("passwd");
      Connection connection = factory.newConnection();

      System.out.printf("send start %n");
      System.setProperty("java.util.concurrent.ForkJoinPool.common.parallelism", "10");
      tasks.parallelStream().forEach((String message) -> {        
        try {
          String exchangeName = "myExchange";
          String routingKey = "myKey";
          
          Channel channel = connection.createChannel();
          AMQP.BasicProperties props = MessageProperties.PERSISTENT_TEXT_PLAIN;
          channel.basicPublish(exchangeName, routingKey, props, message.getBytes());

          System.out.printf("[thread-id:%02d] '%s' %n", Thread.currentThread().getId(), message);
        } catch (Exception e) {
          e.printStackTrace();
        }
      });
      System.out.printf("send end %n");

      connection.close();
      
    } catch (Exception e) {
      e.printStackTrace();
    }
  }
}

Exchange と Queue の宣言と Bind は、Worker側で行うので
App側では、送信時に Exchange と RoutingKey を指定するだけにします。
送信する Exchange と RoutingKey は、"myRpcExchange" と "myRpcKey" にしています。
送信するまでに最低限 Exchange が存在していないとうまくいかないので
先に Worker側を起動することになります。

デフォルトの Exchange

今回、Exchange を宣言しましたが direct タイプの Exchange で問題なければ
デフォルトの Exchange を使ってもいいと思います。
Queue を宣言すると自動的にデフォルトの Exchange に Bind されるようです。
以下のようなコードが暗黙的に実行されているようなイメージだと思います。

...
String queueName    = "myQueue";
String exchangeName = "";
String routingKey   = queueName;

...
// 以下の Bind が暗黙的に行われていると思います。
channel.queueBind(queueName, exchangeName, routingKey);
...

rabbitmqctl list_bindings コマンドを使って Bind を確認できると思います。

rabbitmqctl list_bindings -p / source_name source_kind destination_name destination_kind routing_key

送信処理にデフォルトの Exchange を使うと以下のようになると思います。

...
String queueName    = "myQueue";
String exchangeName = "";
String routingKey   = queueName;
 
Channel channel = connection.createChannel();
AMQP.BasicProperties props = MessageProperties.PERSISTENT_TEXT_PLAIN;
channel.basicPublish(exchangeName, routingKey, props, message.getBytes());
...

受信処理にデフォルトの Exchange を使うと以下のようになると思います。

...
boolean durable = true;
boolean autoAck = false;
String queueName    = "myQueue";

Channel channel = connection.createChannel();
channel.queueDeclare(queueName, durable, false, false, null);
 
MyConsumer myConsumer = new MyConsumer(channel, "Consumer");
channel.basicConsume(queueName, autoAck, myConsumer);
...

実行する

本来、以下のようにして jar ファイルを作って実行したいところなのですが

cd /d C:\studying-rabbitmq
gradle :worker:clean :worker:distZip -PmainClass=studying.receiver.Worker -q
gradle :app:clean :app:distZip -PmainClass=studying.sender.App -q

gradle から実行してしまいます。
コマンドプロンプトを開いて、まず Worker側から起動します。

Worker

cd /d C:\studying-rabbitmq
gradle :worker:clean :worker:run -PmainClass=studying.receiver.Worker -q

[thread-id:01] start

Worker側が起動したのが確認できたら App側を実行します。
Worker側のコマンドプロンプトはそのままにしておいて
新たにコマンドプロンプトを開いて以下のコマンドで実行します。

App

cd /d C:\studying-rabbitmq
gradle :app:clean :app:run -PmainClass=studying.sender.App -q

send start
[thread-id:11] 'XXX'
...

しばらくすると Worker側のコマンドプロンプトに３秒間隔で以下のように表示されると思います。

Worker

[thread-id:01] start
 [thread-id:11] - ConsumerA Received 'XXX'
 [thread-id:12] - ConsumerB Received 'Larry'
 [thread-id:13] - ConsumerC Received 'Jessica'

３秒間後...

[thread-id:01] start
 [thread-id:11] - ConsumerA Received 'XXX'
 [thread-id:12] - ConsumerB Received 'Larry'
 [thread-id:13] - ConsumerC Received 'Jessica'
  [thread-id:11] - ConsumerA Done 'XXX'
 [thread-id:11] - ConsumerA Received 'Maurice'
  [thread-id:12] - ConsumerB Done 'Larry'
 [thread-id:12] - ConsumerB Received 'Verdine'
  [thread-id:13] - ConsumerC Done 'Jessica'
 [thread-id:13] - ConsumerC Received 'Andrew'

３秒間後...

[thread-id:01] start
 [thread-id:11] - ConsumerA Received 'XXX'
 [thread-id:12] - ConsumerB Received 'Larry'
 [thread-id:13] - ConsumerC Received 'Jessica'
  [thread-id:11] - ConsumerA Done 'XXX'
 [thread-id:11] - ConsumerA Received 'Maurice'
  [thread-id:12] - ConsumerB Done 'Larry'
 [thread-id:12] - ConsumerB Received 'Verdine'
  [thread-id:13] - ConsumerC Done 'Jessica'
 [thread-id:13] - ConsumerC Received 'Andrew'
  [thread-id:11] - ConsumerA Done 'Maurice'
 [thread-id:11] - ConsumerA Received 'Johnny'
  [thread-id:12] - ConsumerB Done 'Verdine'
 [thread-id:12] - ConsumerB Received 'Ralph'
  [thread-id:13] - ConsumerC Done 'Andrew'
 [thread-id:13] - ConsumerC Received 'Al'

３秒間後...

[thread-id:01] start
 [thread-id:11] - ConsumerA Received 'XXX'
 [thread-id:12] - ConsumerB Received 'Larry'
 [thread-id:13] - ConsumerC Received 'Jessica'
  [thread-id:11] - ConsumerA Done 'XXX'
 [thread-id:11] - ConsumerA Received 'Maurice'
  [thread-id:12] - ConsumerB Done 'Larry'
 [thread-id:12] - ConsumerB Received 'Verdine'
  [thread-id:13] - ConsumerC Done 'Jessica'
 [thread-id:13] - ConsumerC Received 'Andrew'
  [thread-id:11] - ConsumerA Done 'Maurice'
 [thread-id:11] - ConsumerA Received 'Johnny'
  [thread-id:12] - ConsumerB Done 'Verdine'
 [thread-id:12] - ConsumerB Received 'Ralph'
  [thread-id:13] - ConsumerC Done 'Andrew'
 [thread-id:13] - ConsumerC Received 'Al'
  [thread-id:11] - ConsumerA Done 'Johnny'
 [thread-id:11] - ConsumerA Received 'Philip'
  [thread-id:12] - ConsumerB Done 'Ralph'
  [thread-id:13] - ConsumerC Done 'Al'

３秒間後...

[thread-id:01] start
 [thread-id:11] - ConsumerA Received 'XXX'
 [thread-id:12] - ConsumerB Received 'Larry'
 [thread-id:13] - ConsumerC Received 'Jessica'
  [thread-id:11] - ConsumerA Done 'XXX'
 [thread-id:11] - ConsumerA Received 'Maurice'
  [thread-id:12] - ConsumerB Done 'Larry'
 [thread-id:12] - ConsumerB Received 'Verdine'
  [thread-id:13] - ConsumerC Done 'Jessica'
 [thread-id:13] - ConsumerC Received 'Andrew'
  [thread-id:11] - ConsumerA Done 'Maurice'
 [thread-id:11] - ConsumerA Received 'Johnny'
  [thread-id:12] - ConsumerB Done 'Verdine'
 [thread-id:12] - ConsumerB Received 'Ralph'
  [thread-id:13] - ConsumerC Done 'Andrew'
 [thread-id:13] - ConsumerC Received 'Al'
  [thread-id:11] - ConsumerA Done 'Johnny'
 [thread-id:11] - ConsumerA Received 'Philip'
  [thread-id:12] - ConsumerB Done 'Ralph'
  [thread-id:13] - ConsumerC Done 'Al'
  [thread-id:11] - ConsumerA Done 'Philip'

同時に３つずつメッセージが処理されているのが分かると思います。
また３つのスレッドが使い回されているのも確認できると思います。
さらに Consumer の処理が終わるまでスレッドが独占されている様子も分かると思います。 
この意味でスレッドセーフであるといえると思います。

おまけ

Connection が使用できるスレッドを１つに制限したらどうなるか？
ちょっと試してみます。

Worker側の処理で Connection を作成しているところを以下のように変更します。

worker/src/main/java/studying/receiver/Worker.java

...
// Worker の数を３つにする。
// ExecutorService es = Executors.newFixedThreadPool(3);
// Connection connection = factory.newConnection(es);

ExecutorService es = Executors.newFixedThreadPool(1);
Connection connection = factory.newConnection(es);
...

Worker側を再起動してから App側を実行すると
Worker側のコマンドプロンプトに３秒間隔で１つずつメッセージが以下のように表示されると思います。

Worker

[thread-id:01] start
 [thread-id:11] - ConsumerA Received 'Andrew'
  [thread-id:11] - ConsumerA Done 'Andrew'
 [thread-id:11] - ConsumerB Received 'Maurice'
  [thread-id:11] - ConsumerB Done 'Maurice'
 [thread-id:11] - ConsumerB Received 'Ralph'
  [thread-id:11] - ConsumerB Done 'Ralph'
 [thread-id:11] - ConsumerB Received 'Larry'
  [thread-id:11] - ConsumerB Done 'Larry'
 [thread-id:11] - ConsumerC Received 'Al'
  [thread-id:11] - ConsumerC Done 'Al'
 [thread-id:11] - ConsumerC Received 'Verdine'
  [thread-id:11] - ConsumerC Done 'Verdine'
 [thread-id:11] - ConsumerC Received 'Johnny'
  [thread-id:11] - ConsumerC Done 'Johnny'
 [thread-id:11] - ConsumerA Received 'Jessica'
  [thread-id:11] - ConsumerA Done 'Jessica'
 [thread-id:11] - ConsumerA Received 'XXX'
  [thread-id:11] - ConsumerA Done 'XXX'
 [thread-id:11] - ConsumerA Received 'Philip'
  [thread-id:11] - ConsumerA Done 'Philip'

３の Consumer が１つのスレッドを使い回して順番に処理してく様子が分かると思います。

今回のテーマから逸れるのですが
１つのメッセージを３つある Consumer のうちのどれか１つで処理するのでなく
１つのメッセージを３つある Consumer ３つで処理する方法を考えてみたいと思います。
"Publish/Subscribe" 方式でのメッセージ処理になると思います。

１つの Queue に３つの Consumer を割り当てていたのでラウンドロビンする形で処理されていました。
今度は、Consumer ごとにそれぞれ Queue を割り当てるようにします。

Worker側の処理で Queue の宣言しているところと
Consumer に割り当てているところを以下のように変更します。
また Connection が使用できるスレッド数を３つに戻しています。

worker/src/main/java/studying/receiver/Worker.java

...
// Worker の数を３つにする。
ExecutorService es = Executors.newFixedThreadPool(3);
Connection connection = factory.newConnection(es);
...

// Worker A
Channel channelA = connection.createChannel();
channelA.exchangeDeclare(exchangeName, exchangeType, durable);
channelA.queueDeclare(queueName + "A", durable, false, false, null);
channelA.queueBind(queueName + "A", exchangeName, routingKey);

MyConsumer myConsumerA = new MyConsumer(channelA, "ConsumerA");
channelA.basicConsume(queueName + "A", autoAck, myConsumerA);


// Worker B
Channel channelB = connection.createChannel();
channelB.exchangeDeclare(exchangeName, exchangeType, durable);
channelB.queueDeclare(queueName + "B", durable, false, false, null);
channelB.queueBind(queueName + "B", exchangeName, routingKey);

MyConsumer myConsumerB = new MyConsumer(channelB, "ConsumerB");
channelB.basicConsume(queueName + "B", autoAck, myConsumerB);


// Worker C
Channel channelC = connection.createChannel();
channelC.exchangeDeclare(exchangeName, exchangeType, durable);
channelC.queueDeclare(queueName + "C", durable, false, false, null);
channelC.queueBind(queueName + "C", exchangeName, routingKey);

MyConsumer myConsumerC = new MyConsumer(channelC, "ConsumerC");
channelC.basicConsume(queueName + "C", autoAck, myConsumerC);
...

Worker側を再起動してから App側を実行すると
Worker側のコマンドプロンプトに３秒間隔でメッセージが以下のように表示されると思います。

Worker

[thread-id:01] start
 [thread-id:11] - ConsumerA Received 'XXX'
 [thread-id:13] - ConsumerC Received 'XXX'
 [thread-id:12] - ConsumerB Received 'XXX'
  [thread-id:11] - ConsumerA Done 'XXX'
 [thread-id:11] - ConsumerA Received 'Al'
  [thread-id:13] - ConsumerC Done 'XXX'
  [thread-id:12] - ConsumerB Done 'XXX'
 [thread-id:13] - ConsumerC Received 'Al'
 [thread-id:12] - ConsumerB Received 'Al'
  [thread-id:11] - ConsumerA Done 'Al'
 [thread-id:11] - ConsumerA Received 'Johnny'
  [thread-id:13] - ConsumerC Done 'Al'
 [thread-id:13] - ConsumerC Received 'Johnny'
  [thread-id:12] - ConsumerB Done 'Al'
 [thread-id:12] - ConsumerB Received 'Johnny'
 ...

今度は３つの Consumer が送信されたメッセージをそれぞれ処理するのでログが３倍出力されると思います。

おわりに

MessageQueue サーバーを使って同時実行数を制御して処理できることが一応確認できたと思います。
しかし実際これでシステム開発しようとした場合、
冗長化であったり、トランザクションであったり、認証であったりと
考慮しないといけないことがまだまだあります。
今回は、３つの Worker を１つのプロセスで動かしていたので
プロセスが落ちると全部の Worker が止まっていまします。
簡単な冗長化であれば１プロセス１ Worker にして３つプロセスを起動すれば
同じように Worker ３つで処理できます。
この場合、プロセスが１つ落ちても Worker 全体が止まってしまうことはありません。
しかし Worker は動いていても MessageQueueサーバー自体が止まってしまうと
システム全体に影響が出ます。
ミドルウェアを導入することで開発は軽減されるものの管理が増える。
このあたりがミドルウェア導入の考えどころか？

参考URL: http://www.rabbitmq.com/getstarted.html; http://www.rabbitmq.com/api-guide.html

yum の Local Repository に RabbitMQ をインストール

2016-04-28T21:27:00.000+09:00

はじめに

みなさんミドルウェアのインストールってどうしてます？
わたしはディストリビューションのパッケージで用意されているのもをそのままインストールしています。
わたしの場合、CentOS なので yum でインストールすることになるのですが
yum でインストールするとだいたい最新のものでなかったりします。
わたしはどちらかというと開発者寄りなので、とりあえず開発ができれば少々古くても気になりません。
ところが yum で提供されていなかったりすると非常に困ってしまいます。
また、どうしても最新のものが使いた場合も同様です。
さぁどう考えるか？

まず他にだれか Repository を公開してくれていないか探します。
PostgreSQL は本家のサイトで最新の Repository を公開してくれているので助かります。
Samba4 は以前 SerNet というところのが使えたのですが 4.3 系から有償になったので使えません。

yum の Repository が見つからなかった場合、rpm を探します
無ければ泣く泣くソースからインストールになります。
手順どうりやればソースからインストールしても全然問題ないのですが
わたしの場合、Makefile の管理が悪いのでバーションアップに困って OS からやり直す場合が多いです。
(最近は VM を使っていたりするので OS からやり直すことは少なくなりました。
まぁ開発機なのでこれもOKかなと...

RabbitMQ は、EPEL で提供されているようですが
今回は、RabbitMQ の本家のサイトにある最新の rpm を利用しようと思います。
rpm はビルドこそしなくていいものの、その依存関係まではみてくれません。
RabbitMQ の場合、Erlang が依存関係にあるので
先にインストールしておくか、一緒にインストールしないといけません。
実際、この依存関係を調べるのもなかなかだったりします。
なにか、こう、一撃でインストールできる方法はないかと考えていたところ
yum の LocalRepository に至った訳です。

今回は、LocalRepository を使った RabbitMQ のインストールと
ユーザ設定などを中心に進めていきたいと思います。
ではでは！Getting Started!

環境

IP	192.168.10.110
ミドルウェア	RabbitMQ server 3.6.1 ユーザ： user01 パスワード： passwd
ミドルウェア	Apache 2.4.6
OS	CentOS-7-x86_64-Minimal-1511.iso VirtualBox 5.0.16

LocalRepository の作成

repository 作成のために creatrepo コマンドと LocalRepository を内部ネットワーク向けに
PrivateRepository として公開したいので Apache もインストールします。

yum install createrepo httpd

repository用のディレクトリを作成します。

mkdir -p /var/www/repo/centos/7/x86_64/rpms

場所はどこでもいいのですが、今回は、Apache のディレクトリの中に作成しました。

repository を作成します。

createrepo /var/www/repo/centos/7/x86_64

LocalRepository の作成としてはこんな感じです。

LocalRepository を yum の repository に追加します。

local.repo ファイルを以下のような内容で作成します。

/etc/yum.repos.d/local.repo

[local]
name=CentOS-$releasever - local
baseurl=file:///var/www/repo/centos/$releasever/$basearch
enabled=1
gpgcheck=0
protect=1

repo ファイルで使える変数

以下の変数が使えるようです。

$releasever

Red Hat Linux のリリースバージョン

$basearch

システムのベースアーキテクチャー
i686 と i586 は i386
AMD64 と Intel64 は x86_64 など

$arch

CPU アーキテクチャー
i586、i686、x86_64 など

以下のコマンドでリポジトリ一覧に LocalRepository が追加されていれば OK です。

LANG=C yum repolist

repo id             repo name           status
...
local/7/x86_64      CentOS-7 - local    0
...

PrivateRepository の作成

今度は、内部ネットワーク向けの PrivateRepository を作成したいと思います。
Repository のディレクトリは、先ほど作成した LocalRepository を流用します。
Repository のディレクトリを公開ディレクトリにする訳ですが
Apache の公開ディレクトリの設定方法にはいろいろあると思います。
今回は、手っ取り早く Apache の DocumentRoot の下に
LocalRepository のディレクトリのシンボリックリンクを張ります。

ln -s /var/www/repo/centos /var/www/html/centos

念のため Apache を再起動します。

systemctl enable httpd
systemctl restart httpd

PrivateRepository の private.repo ファイルを以下のような内容で作成します。

/etc/yum.repos.d/private.repo

[private]
name=CentOS-$releasever - private
baseurl=http://192.168.10.110/centos/$releasever/$basearch
enabled=1
gpgcheck=0
protect=1

リポジトリ一覧に追加されているか確認します。

LANG=C yum repolist

repo id             repo name           status
...
private/7/x86_64      CentOS-7 - private  0
...

RabbitMQ のインストール

Repository が完成したところで RabbitMQ をインストールしたいと思います。 
LocalRepository と PrivateRepository のどちらを使ってもいいと思います。

Erlang が依存関係にあるのですが、これが EPEL での提供になっているようなので
先に EPEL の Repository を追加します。

yum install epel-release.noarch

RabbitMQ の rpm をダウンロードしてきて Local/PrivateRepository のディレクトリに置きます。

cd /var/www/repo/centos/7/x86_64/rpms
curl -o rabbitmq-server-3.6.1-1.noarch.rpm \
  http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.1/rabbitmq-server-3.6.1-1.noarch.rpm

Erlang のインストール

わたしの場合、Erlang は最新でなくても気にならないので EPEL のものにしました。
気になる場合はLocal/PrivateRepository に最新のものを持ってきて
一緒にインストールするのもよいと思います。

createrepo コマンドで Repository を再設定します。

createrepo /var/www/repo/centos/7/x86_64

yum のキャッシュをクリアします。

yum clean all

後は yum で RabbitMQ をインストール します。

yum install rabbitmq-server

サービスの設定をして終わりです。

systemctl enable rabbitmq-server
systemctl start rabbitmq-server

rabbitmqctl コマンドで RabbitMQ の設定

ユーザを作成します。

rabbitmqctl add_user user01 passwd

user01 ユーザを作成してパスワードを passwd にしています。

作成したユーザがリソースにアクセスできるように権限を付与します。

rabbitmqctl set_permissions -p / user01 ".*" ".*" ".*"

user01 がすべてのリソースに対して write と read の権限を付与しています。

ユーザ一覧、パスワード変更、削除など。

rabbitmqctl list_users
rabbitmqctl change_password user01 newpasswd
rabbitmqctl delete_user user01

ユーザタグの設定と削除。

rabbitmqctl set_user_tags user01 administrator
rabbitmqctl set_user_tags user01 administrator test
rabbitmqctl set_user_tags user01

権限一覧、ユーザ権限一覧、権限取り消しなど。

rabbitmqctl list_permissions -p /
rabbitmqctl list_user_permissions user01
rabbitmqctl clear_permissions -p / user01

Queue、Exchange、Binding の一覧。

rabbitmqctl list_queues -p / name durable messages
rabbitmqctl list_exchanges -p / name durable type
rabbitmqctl list_bindings -p / source_name source_kind destination_name destination_kind routing_key

詳しいコマンドのパタメータについては man 参照。

ManagementPlugin を有効にする

Queue や Exchange などを Web 画面から管理できる ManagementPlugin を有効にします。

rabbitmq-plugins enable rabbitmq_management

Web の管理コンソール を利用できるように tag を使ってユーザに Role を設定します。

rabbitmqctl set_user_tags user01 administrator

Web の管理コンソールを開く前に一旦、RabbitMQ サーバーを再起動させます。

systemctl stop rabbitmq-server
systemctl start rabbitmq-server

ブラウザから「http://192.168.10.110:15672/」にアクセスします。
先ほどの Role を設定したユーザでログインできれば OK です。

CommandLineTool も合わせてインストールしておきます。
インストール方法としては、Web の管理コンソールのページから rabbitmqadmin のスクリプトを
ダウンロードしてきて /usr/local/bin に置くといった流れになります。

cd /usr/local/bin
curl -o rabbitmqadmin http://localhost:15672/cli/rabbitmqadmin
chmod 755 rabbitmqadmin

各コマンドのヘルプが表示されればインストールは、OK です。

rabbitmqadmin --help
rabbitmqadmin help subcommands
rabbitmqadmin help config

さらに CommandLineTool の bash 補完を有効にしておきます。
bash-completion がインストールされていない場合は、yum でインストールした後、
CommandLineTool の bash 補完を有効にします。

yum install bash-completion

rabbitmqadmin --bash-completion > /etc/bash_completion.d/rabbitmqadmin

再ログイン後に有効になるようです。

以下のように入力して

rabbitmqadmin he

「TAB」キーを押すと

rabbitmqadmin help

のように補完されれば OK です。

おわりに

とりあえず、わたしの Makefile 紛失問題は解決しそうです。
rpm の管理もいい感じに yum で一元化できるかなぁと思いました。

参考URL: https://wiki.centos.org/HowTos/CreateLocalRepos; http://www.serverlab.ca/tutorials/linux/network-services/creating-a-yum-repository-server-for-red-hat-and-centos/; https://access.redhat.com/documentation/ja-JP/Red_Hat_Enterprise_Linux/6/html/Deployment_Guide/sec-Using_Yum_Variables.html; http://www.rabbitmq.com; http://www.rabbitmq.com/man/rabbitmqctl.1.man.html

Samba4 で ActiveDirectory / Apache で Windows 統合認証

2014-05-17T02:04:00.001+09:00

はじめに

ユーザアカウントをそれぞれのシステムで別々に管理するのでなく
ActiveDirectory で一元的に管理したいというのはある。
例えば HTTP 認証で保護されたページにアクセスする時の ユーザID / パスワードなど。
もうちょっと欲張るとドメインにログインしている状態であれば
その ユーザID / パスワード でもって自動的に認証処理がパスできればなお素晴らしい！
まぁそういう訳で Windows 統合認証 / Windows Desktop SSO 認証になります。
Apache であればモジュールを追加すると試せそうだ。
ActiveDirectory については Samba4 を使います。
ではでは Getting Started!!

環境

Primary Domain Controller

OS	ContOS 6.5(CentOS-6.5-x86_64-minimal.iso)
Samba	4.1.7
Bind	9.8.2
NTP	4.2.6p5
レルム	MYDOMAIN.LOCAL
ドメイン	MYDOMAIN
Host	pdc
IP	192.168.0.10
Gateway	192.168.0.1
DNS	127.0.0.1

Web Server

OS	ContOS 6.5(CentOS-6.5-x86_64-minimal.iso) VMware Player 6.0.2
Apache	2.2.15
Host	web01
IP	192.168.0.110
Gateway	192.168.0.1
DNS	192.168.0.10
FQDN	web01.mydomain.local

Windows クライアント

OS	Windows 8.1
レルム	MYDOMAIN.LOCAL
ドメイン	MYDOMAIN
Host	win01
IP	192.168.0.150
Gateway	192.168.0.1
DNS	192.168.0.10

Primary Domain Controller の構築

わたしも blog にまとめているのでそちらを参考に構築してみてください。
『Samba4 で Active Directory / SerNet Repo でセットアップ』
『Samba4 で ActiveDirectory / インストール編 - わたしもやってみた - 』
『Samba4 で ActiveDirectory / PDC編 - わたしもやってみた - 』

Web Server の構築

とりあえず SELinux と iptables は止めておこう。

/etc/selinux/config

...
SELINUX=disabled
...

service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off

ネットワークの設定は次のような感じ。

/etc/sysconfig/network-scripts/ifcfg-eth0

...
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.110
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
NETWORK=192.168.0.0
BROADCAST=192.168.0.255
...

/etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=web01

DNS は PDC のものを利用する。

/etc/resolv.conf

domain mydomain.local
nameserver 192.168.0.10

必要なモジュールをインストールしていく。
Apache は当然として Samba AD とアクセスするために Kerberos 関連のものと
テストページ用に php もインストールする。

yum -y install httpd krb5-workstation mod_auth_kerb php

サービスの起動設定をしておく。

chkconfig httpd on

ここで再起動します。

reboot

PDC にログインして Web Server の 正引き DNS の設定をします。
一応確認もしておく。

ssh root@pdc
samba-tool dns add pdc mydomain.local web01 A 192.168.0.110
dig web01.mydomain.local
exit

Windows クライアントの設定

とりあえず MYDOMAIN.LOCAL ドメインへの参加くらいでしょうか？
ドメイン参加しているのであれば DNS は PDC に設定されていると思うので DNS の設定は 大丈夫だと思う。
もし hosts ファイルに Web Server の IP を追加するなら以下のような感じ。

C:\Windows\System32\drivers\etc\hosts

...
192.168.0.110  web01.mydomain.local web01

ここまでできたら Web ブラウザで「http://web01.mydomain.local」を開いて Apache が動いているか確認する。

Samba AD のユーザで Basic 認証

手始めに Apache から Samba AD にアクセスできているかの確認も兼ねて
Basic 認証の設定をしてみようと思います。
雰囲気としては、.htpasswd ファイルの代わりに Samba AD のユーザデータを使う感じだと思います。
では Web Server の設定をしていきます。
httpd.conf に追加してもよいのだけれども mod_auth_kerb をインストールすると
auth_kerb.conf が生成されていると思うのでこちらを編集します。

/etc/httpd/conf.d/auth_kerb.conf

<location "/">
  AuthName "AD authentication"
  AuthBasicProvider ldap
  AuthType Basic
  AuthLDAPGroupAttribute member
  AuthLDAPGroupAttributeIsDN On
  AuthLDAPURL ldap://pdc:389/cn=Users,dc=mydomain,dc=local?sAMAccountName?sub?(objectClass=*)
  AuthLDAPBindDN cn=administrator,cn=Users,dc=mydomain,dc=local
  AuthLDAPBindPassword passwd-123
  require valid-user 
</Location>

Apache から Samba AD にアクセスするユーザを administrator にしています。
パスワードは passwd-123 にしています。

確認用のテストページを以下の内容で作成します。

/var/www/html/index.php

<html>
  <head>
    <title>Samba AD User</title>
  </head>
  <body>
    <h2>Samba AD User</h2>
    <pre>
      USER : <?php echo $_SERVER['PHP_AUTH_USER']; ?>
      PASS : <?php echo $_SERVER['PHP_AUTH_PW']; ?>
    </pre>
  </body>
</html>

ここで再起動します。

reboot

再起動が終わったら Windows で Web ブラウザから「http://web01.mydomain.local」を開いてみます。
Basic 認証 のダイアログが表示されると思います。
適当な Samba AD ユーザを入力して「OK」ボタンを押します。
すると画面に入力したユーザIDとパスワードが表示されていると思います。
パスワードまでが表示されてしまっているのは Basic 認証 なんで仕方ないのでしょう。

今は Basic 認証 の確認なので Windows はドメインログインでなくローカルログインでも
検証できると思います。
また、Web Server もドメイン参加していなくても大丈夫そうです。

Windows Desktop SSO 認証の設定

さて、いよいよ本題の Windows 統合認証の設定に入りたいと思います。
まず、PDC 側での作業から始めます。
Web Server の DNS の正引きの設定に加えて逆引きの設定も必要だとのことなので
PDC の DNS に逆引きゾーンを追加して Web Server の 逆引き設定をする。

ssh root@pdc
samba-tool dns zonecreate pdc 0.168.192.in-addr.arpa
samba-tool dns add pdc 0.168.192.in-addr.arpa 110 PTR web01.mydomain.local

わたしのPDCの場合 administrator@MYDOMAIN.LOCAL のパスワードは passwd-123 になります。

DNS の正引き、逆引き設定ができているか確認します。

dig web01.mydomain.local 
dig -x 192.168.0.110

次に Web Server のための Service Principal を追加します。
どのユーザでも構わないと思うのですが
Service Principal 追加時に関連付けするユーザが必要なので
ここでは sso ユーザを作成しています。
そして作成した Service Principal を keytab ファイルに出力します。

cd /root
samba-tool user create --random-password sso
samba-tool user setexpiry --noexpiry sso
samba-tool spn add HTTP/web01.mydomain.local sso
samba-tool domain exportkeytab httpd.keytab --principal=HTTP/web01.mydomain.local

出力した keytab ファイルを Web Server に転送して
Web Server に戻ります。

scp httpd.keytab root@192.168.0.110:/etc/httpd/conf/httpd.keytab
rm httpd.keytab
exit

Web Server に戻ってきたら 転送した keytab ファイルの権限を変更します。
一応、keytab ファイルの中身も確認しておきます。

chown root:apache /etc/httpd/conf/httpd.keytab
chmod 640 /etc/httpd/conf/httpd.keytab
klist -ke /etc/httpd/conf/httpd.keytab

次は Kerberos の設定をします。

mv /etc/krb5.conf /etc/krb5.conf.original

以下のような内容で krb5.conf を作成します。

/etc/krb5.conf

[logging]
  default = FILE:/var/log/krb5libs.log
  kdc = FILE:/var/log/krb5kdc.log
  admin_server = FILE:/var/log/kadmind.log

[libdefaults]
  default_realm = MYDOMAIN.LOCAL
  dns_lookup_realm = false
  dns_lookup_kdc = false
  ticket_lifetime = 24h
  renew_lifetime = 7d
  forwardable = true

[realms]
  MYDOMAIN.LOCAL = {
    kdc = pdc.mydomain.local
    admin_server = pdc.mydomain.local
  }

[domain_realm]
  .mydomain.local = MYDOMAIN.LOCAL
  mydomain.local = MYDOMAIN.LOCAL

Kerberos チケットのクリアと初期化、そして確認をします。

kdestroy
kinit administrator@MYDOMAIN.LOCAL
klist

その次に Apache の設定をします。
auth_kerb.conf を以下のような内容に編集します。

/etc/httpd/conf.d/auth_kerb.conf

<location "/">
  AuthType Kerberos
  AuthName "Network Login"
  KrbMethodNegotiate On
  KrbMethodK5Passwd On
  KrbAuthRealms MYDOMAIN.LOCAL
  require valid-user
  Krb5KeyTab /etc/httpd/conf/httpd.keytab
  KrbLocalUserMapping On 
</Location>

Apache を再起動します。

service httpd restart

確認用のテストページは、先ほどの Basic 認証で作成したものをそのまま使います。
これで Web Server の設定は終わりです。

Windows にドメインログインします。
確認用のテストページを開く前に Windows のブラウザの設定をします。

IE の場合
  「ツール」/「インターネット オプション」を開く。
  「セキュリティ」タブを選択する。
      「ローカル イントラネット」を選択する。
        「サイト」ボタンを押す。
          「ローカル イントラネット」ダイアログの「詳細設定」ボタンを押す。
            「http://web01.mydomain.local」を追加する。
        「レベルのカスタマイズ」ボタンを押す。
            「イントラネット ゾーンでのみ自動的にログインする」にチェックを入れる。
  「詳細設定」タブを選択する。
      「統合 Windows 認証を使用する」にチェックを入れる。

Firefox の場合
  アドレスバーに「about:config」と入力して以下のプロパティを設定する。
      network.negotiate-auth.delegation-uris    web01.mydomain.local
      network.negotiate-auth.trusted-uris       web01.mydomain.local

Web ブラウザから「http://web01.mydomain.local」を開いてみます。
HTTP 認証 のダイアログなしに画面にドメインログインしているユーザIDが
表示されていれば OK です。
Basic 認証の時と違ってパスワードは表示されていないと思います。

Windows はドメインログインしていないとうまくいかないと思うけど
Web Server はドメイン参加していなくても問題なさそうです。

おわりに

内々で使うちょっとしたサイトでユーザ認証がほしいという時には使えそうだ。
ユーザが所属するドメインのグループを条件にアクセス制限もかけられそうだ。
ガッツリ作りこむような Web アプリには厳しそうだ。
HTTP 認証のダイアログでなく独自のログイン画面がほしいだろうし
ユーザID 以外の ActiveDirectory に登録された情報もほしいところだ。

参考URL: https://wiki.samba.org/index.php/Samba4/beyond; https://community.zarafa.com/pg/blog/read/18332/zarafa-outlook-amp-webaccess-sso-with-samba4; http://int128.hatenablog.com/entry/20130829/1377768762; http://passing.breeze.cc/mt/archives/2008/12/active-directory-apache-window.html

Samba4 で Active Directory / SerNet Repo でセットアップ

2014-05-14T20:13:00.000+09:00

はじめに

Samba4.1 がリリースされていた。
またセットアップしてみようかなと Samba Wiki をぶらぶらしていると
Samba4 の yum リポジトリを公開しているサイトを見つけた。
おぉ！これは助かる！！
という訳で今回は、yum で Samba4 をしてみようと思います。
ではでは Getting Started!

yum リポジトリの設定

これがないと始まらない。
EnterpriseSamba.com というところが Samba4 yum リポジトリを公開しているようだ。
利用するためにはユーザ登録が必要になる。
このサイトの Samba のページに移動して register のリンクから  Sign up を行う。
メールアドレスの確認やなんやかんやあって一通りユーザ登録が終わったら Login してみる。
ログインしたページをよ～く見ると username と accesskey が表示されているので
これをしっかりメモっておく。

さて準備が整ったところで yum リポジトリの設定をします。
まず yum リポジトリを取得します。
以下のコマンドの USERNAME:ACCESSKEY の部分を
先ほどメモった username と accesskey に置き換えて実行します。

cd /etc/yum.repos.d
wget https://USERNAME:ACCESSKEY@download.sernet.de/packages/samba/4.1/centos/6/sernet-samba-4.1.repo

今度は、取ってきた yum リポジトリをエディタで開いて baseurl と gpgkey の
USERNAME:ACCESSKEY の部分を先ほどメモった username と accesskey に置き換えて保存します。

/etc/yum.repos.d/sernet-samba-4.1.repo

[sernet-samba-4.1]
name=SerNet Samba 4.1 Packages (centos-6)
type=rpm-md
baseurl=https://USERNAME:ACCESSKEY@download.sernet.de/packages/samba/4.1/centos/6/
gpgcheck=1
gpgkey=https://USERNAME:ACCESSKEY@download.sernet.de/packages/samba/4.1/centos/6/repodata/repomd.xml.key
enabled=1

最後に gpg build key の設定をして終わりです。

cd /root
wget http://ftp.sernet.de/pub/sernet-build-key-1.1-4.noarch.rpm
rpm -i sernet-build-key-1.1-4.noarch.rpm

インストール

といっても yum を実行するだけです。

yum install -y sernet-samba sernet-samba-ad  sernet-samba-client

/var/lib/samba ディレクトリにデータファイルがインストールされていると思います。
smb.conf は /etc/samba ディレクトリに出力されるようです。
ただ、サービス名が sernet-samba-ad、sernet-samba-smbd、sernet-samba-nmbd、sernet-samba-winbindd
となりソースからインストールした時と異なるのがちょっと微妙かなぁ。

PDC の構築

せっかくなので Primary Domain Controller も構築してみたいと思います。

環境

OS	ContOS 6.5(CentOS-6.5-x86_64-minimal.iso)
Samba	4.1.7
Bind	9.8.2
NTP	4.2.6p5
レルム	MYDOMAIN.LOCAL
ドメイン	MYDOMAIN
Host	pdc
IP	192.168.0.10
Gateway	192.168.0.1
DNS	127.0.0.1

Samba 以外の設定でハマりたくないので SELinux と iptables は止めておく。

/etc/selinux/config

...
SELINUX=disabled
...

service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off

ネットワークの設定は次のような感じ。

/etc/sysconfig/network-scripts/ifcfg-eth0

...
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.10
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
NETWORK=192.168.0.0
BROADCAST=192.168.0.255
...

/etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=pdc

/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.10 pdc.mydomain.local pdc

Samba のサービスのなかで PDC で使わないものを止めておきます。

chkconfig sernet-samba-ad on
chkconfig sernet-samba-smbd off
chkconfig sernet-samba-nmbd off
chkconfig sernet-samba-winbindd off

このあたりで再起動してみる。

reboot

セットアップに必要なライブラリは一通り yum でインストールされているのだけど
Bind と NTP がインストールされていないので追加します。
Kerbors のコマンド類もインストールされていないのでそれも追加します。
NTP も signed ntp が サポートされたものが yum で提供されているようなので
合わせてインストールします。

yum install -y bind ntp krb5-workstation

サービスの起動設定をしておく。

chkconfig named on
chkconfig ntpd on

では、ドメインコントローラーの設定します。
まず、Samba が Active Directory モードで起動するように sernet-samba ファイルを編集します。

/etc/default/sernet-samba

...
SAMBA_START_MODE="ad"
...

smb.conf などドメインコントローラーに必要なファイル一式を出力します。

samba-tool domain provision \
  --use-rfc2307 \
  --function-level=2008_R2 \
  --use-ntvfs \
  --realm=MYDOMAIN.LOCAL \
  --domain=MYDOMAIN \
  --server-role=dc \
  --dns-backend=BIND9_DLZ \
  --adminpass 'passwd-123'

--use-ntvfs

--function-level=2008_R2 にした場合 --use-ntvfs オプションも必要になるみたいです。

出力された smb.conf をチェックする。

testparm

smb.conf は以下のような感じ。

/etc/samba/smb.conf

[global]
 workgroup = MYDOMAIN
 realm = MYDOMAIN.LOCAL
 netbios name = PDC
 server role = active directory domain controller
 server services = rpc, nbt, wrepl, ldap, cldap, kdc, drepl, winbind, ntp_signd, kcc, dnsupdate, smb
 dcerpc endpoint servers = epmapper, wkssvc, rpcecho, samr, netlogon, lsarpc, spoolss, drsuapi, dssetup, unixinfo, browser, eventlog6, backupkey, dnsserver, winreg, srvsvc
 idmap_ldb:use rfc2307 = yes
 
 winbind use default domain = yes
 template shell = /bin/bash

[netlogon]
 path = /var/lib/samba/sysvol/fummy.local/scripts
 read only = No

[sysvol]
 path = /var/lib/samba/sysvol
 read only = No

Kerberos の設定ファイルが出力されているので差し替える。

mv /etc/krb5.conf /etc/krb5.conf.original
cp /var/lib/samba/private/krb5.conf /etc/krb5.conf

krb5.conf は以下のような感じ。

/etc/krb5.conf

[libdefaults]
  default_realm = MYDOMAIN.LOCAL
  dns_lookup_realm = false
  dns_lookup_kdc = true

Bind の設定は次のような感じ。
ソースからインストールした時と変わらないのだけど
ファイル Path が違っているのでそのあたりを確認する。

/etc/named.conf

options {
  ...
  listen-on port 53 { any; };
  ...
  allow-query     { any; };
  ...
  tkey-gssapi-keytab "/var/lib/samba/private/dns.keytab";
};
...
include "/var/lib/samba/private/named.conf";

dns.keytab の権限の設定をする。

chgrp named /var/lib/samba/private/
chgrp named /var/lib/samba/private/named.conf
chmod g+r /var/lib/samba/private/dns.keytab
chown -R named:named /var/lib/samba/private/dns

/etc/rndc.key を生成する。

rndc-confgen -a -r /dev/urandom

resolv.conf の設定をする。

/etc/resolv.conf

domain mydomain.local
nameserver 127.0.0.1

Samba4、Bindを再起動する。

service sernet-samba-ad start
service named restart

ここで NTP の設定もしておこう。
ここもソースからインストールした時と変わらないのだけど
ntp_signd ディレクトリの Path が違っているのでそのあたりを確認する。

/etc/ntp.conf

server 127.127.1.0
fudge 127.127.1.0 stratum 10
server 0.pool.ntp.org iburst prefer
server 1.pool.ntp.org iburst prefer
driftfile /var/lib/ntp/ntp.drift
logfile /var/log/ntp
ntpsigndsocket /var/lib/samba/ntp_signd
restrict default kod nomodify notrap nopeer mssntp
restrict 127.0.0.1
restrict 0.pool.ntp.org mask 255.255.255.255 nomodify notrap nopeer noquery
restrict 1.pool.ntp.org mask 255.255.255.255 nomodify notrap nopeer noquery

NTP との連動ために ntp_signd ディレクトリの権限を変更する。
時刻合せした後、NTP を起動する。

chmod 750 /var/lib/samba/ntp_signd
ntpdate ntp.nict.jp
service ntpd start

DNS を更新する。

samba_dnsupdate --verbose --all-names

更新した DNS の設定を確認する。
not found: 3(NXDOMAIN) とかが返ってこないことを確認する。

host -t SRV _ldap._tcp.mydomain.local.
host -t SRV _kerberos._udp.mydomain.local.
host -t A pdc.mydomain.local.

Kerberos のチケットを一旦クリアした後、初期化と確認をします。
administrator@MYDOMAIN.LOCAL のパスワードは今回の場合、passwd-123 になります。

kdestroy
kinit administrator@MYDOMAIN.LOCAL
klist

とりあえず以下のコマンドで ログインできれば設定は OK だ。

smbclient //localhost/netlogon -U administrator

以下のようにして administrator のパスワードの期限を無効にしておく方が検証には便利かも？

samba-tool user setexpiry --noexpiry administrator

ドメインユーザを追加してログインしてみる。
Windows からだとこの状態でもログインできるのだけれども 
CentOS からだと、もうすこし設定が必要だ。
Winbind を使ってドメインユーザがログインできるように PAM の設定する。

LANG=en_US.UTF-8 authconfig --enablewinbindauth --update
LANG=en_US.UTF-8 authconfig --enablemkhomedir --update

authconfig について

authconfig コマンドで Winbind の PAM 設定をすると
「サービス winbind に関する情報の読み込み中にエラーが発生しました: 
そのようなファイルやディレクトリはありません
winbind: 認識されていないサービスです。
error reading information on service winbind: No such file or directory
winbind: unrecognized service」
というようなエラーメッセージが表示されると思います。
原因はきっと winbind のサービス名が sernet-samba-winbindd になっているからだと思います。
なので sernet-samba-winbindd のサービス名を winbind に変更して authconfig を実行してみると
今度は「sernet-samba ファイルの SAMBA_START_MODE の設定を ad から classic に変更してほしい」的な
警告が出ます。
エラーメッセージや警告は出るものの PAM 設定自体はできている。
また、Samba AD にした場合、Winbind そのものを使う訳でもない。
この辺りは PAM 設定でなく yum のパッケージング(winbind の起動スクリプト？)の問題だと思う。
エラーメッセージや警告が気になるからといって PAM を手動で設定するのはちょっと…
またいつの日にかこの問題が解消されることを期待しましょう。

nsswitch.conf を以下のように編集して

/etc/nsswitch.conf

... 
passwd:     compat winbind
shadow:     files
group:      compat winbind
...

ドメインユーザを追加したら

samba-tool user add user01

ドメインログイン!!!

ssh user01@pdc

administrator でドメインログイン

やっぱり administrator は ssh で 自身の PDC に CentOS からドメインログインできなかった。
普通に追加したドメインユーザであればログインはできるのに。
まぁこれはこんなもんなんだろう。

Member Server の構築

Member Server も構築してみたいと思います。
先ほど構築した PDC にドメイン参加する形になります。

環境

OS	ContOS 6.5(CentOS-6.5-x86_64-minimal.iso) VMware Player 6.0.2
Samba	4.1.7
Bind	9.8.2
NTP	4.2.6p5
レルム	MYDOMAIN.LOCAL
ドメイン	MYDOMAIN
Host	mbr01
IP	192.168.0.100
Gateway	192.168.0.1
DNS	192.168.0.10

PDC の時と同様に SELinux と iptables は一旦止めておいた方がハマらないと思う…
ネットワークの設定は次のような感じ。

/etc/sysconfig/network-scripts/ifcfg-eth0

...
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.100
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
NETWORK=192.168.0.0
BROADCAST=192.168.0.255
...

/etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=mbr01

/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.100 mbr01.mydomain.local mbr01

DNS は PDC のものを利用しようと思うので DNS を PDC に設定する。

/etc/resolv.conf

domain mydomain.local
nameserver 192.168.0.10

ipv6 を無効化しておきます。
以下のような内容で disable-ipv6.conf を作成します。

/etc/modprobe.d/disable-ipv6.conf

options ipv6 disable=1

ipv6 の無効化

ドメイン参加時に
「print_kdc_line: can't resolve name for kdc with non-default port [::]. Error 
名前またはサービスが不明です」的なエラーメッセージは出るものの 
ipv6 を無効にしなくてもドメイン参加はできているようです。

Samba のサービスのなかで Member Server で使わないものを止めておきます。

chkconfig sernet-samba-ad off
chkconfig sernet-samba-smbd off
chkconfig sernet-samba-nmbd off
chkconfig sernet-samba-winbindd on

ここで一度、再起動する。

reboot

追加で必要なライブラリをインストールする。

yum install -y ntp krb5-workstation

サービスの起動設定をしておく。

chkconfig ntpd on

今回の Member Server では Bind を使わないのでインストールしている場合は OFF っておいてください。

まずは、Kerberos の設定から行います。

mv /etc/krb5.conf /etc/krb5.conf.original

以下のような内容で krb5.conf を作成します。

/etc/krb5.conf

[logging]
  default = FILE:/var/log/krb5libs.log
  kdc = FILE:/var/log/krb5kdc.log
  admin_server = FILE:/var/log/kadmind.log

[libdefaults]
  default_realm = MYDOMAIN.LOCAL
  dns_lookup_realm = true
  dns_lookup_kdc = true
  ticket_lifetime = 24h
  forwardable = yes

[appdefaults]
  pam = {
    debug = false
    ticket_lifetime = 36000
    renew_lifetime = 36000
    forwardable = true
    krb4_convert = false
  }

Kerberos のチケットをクリアしてから初期化と確認をします。
administrator@MYDOMAIN.LOCAL のパスワードは今回の場合、passwd-123 になります。

kdestroy
kinit administrator@MYDOMAIN.LOCAL
klist

では Member Server の設定をします。
きっと Winbind を使うことになりそうなので
Samba が Classic モードで起動するように sernet-samba ファイルを編集します。

/etc/default/sernet-samba

...
SAMBA_START_MODE="classic"
...

smb.conf は以下のような感じ。

/etc/samba/smb.conf

[global]
  netbios name = MBR01
  workgroup = MYDOMAIN
  security = ads
  realm = MYDOMAIN.LOCAL
  encrypt passwords = yes

  idmap config *:backend = tdb
  idmap config *:range = 70001-80000
  idmap config MYDOMAIN:default = yes
  idmap config MYDOMAIN:backend = rid
  idmap config MYDOMAIN:range = 10000 - 19999

  winbind nss info = rfc2307
  winbind trusted domains only = no
  winbind use default domain = yes
  winbind enum users  = yes
  winbind enum groups = yes

  template shell = /bin/bash

ドメインに参加します。

net ads join -U administrator

DNS を確認しておきます。

dig mbr01.mydomain.local

samba-tool について

Setup_a_Samba_AD_Member_Server によると 
samba-tool コマンドを使った Member Server のドメイン参加は、まだ未対応のようで
現段階では、traditional な方法でのセットアップになるみたいだ。

以下のように smb.conf など Member Server に必要なファイル一式を出力するとか

samba-tool domain provision \
  --realm=MYDOMAIN.LOCAL \
  --domain=MYDOMAIN \
  --server-role=member \
  --dns-backend=NONE \
  --adminpass 'passwd-123'

以下のようにしてドメイン参加もできないみたいだ。

samba-tool domain join mydomain.local MEMBER \
  -U administrator \
  --password=passwd-123 \
  --realm=mydomain.local

NTP の設定もしておこう。

/etc/ntp.conf

server 127.127.1.0
fudge  127.127.1.0 stratum 10

server pdc.mydomain.local iburst prefer

driftfile /var/lib/ntp/ntp.drift
logfile   /var/log/ntp

restrict default ignore
restrict 127.0.0.1
restrict pdc.mydomain.local mask 255.255.255.255 nomodify notrap nopeer noquery

設定が終わったら時刻合せをして Winbind、NTP を起動する。

ntpdate ntp.nict.jp
service ntpd start
service sernet-samba-winbindd start

ドメインユーザを追加してログインできるか確かめてみる。
Winbind の PAM を設定することになるのだけど
この状態で authconfig を使うとサービス名が違うたら無いたらふぅたらいわれる。
別に設定はできるので問題ないと思うのだが
うるさいと感じる場合はサービス名を変更してしまう。

service sernet-samba-winbindd stop
cd /etc/rc.d/init.d
cp sernet-samba-winbindd winbind
chkconfig --del sernet-samba-winbindd
chkconfig --add winbind
chkconfig winbind on
chkconfig --list
service winbind start

静になったところで Winbind の PAM の設定する。

LANG=en_US.UTF-8 authconfig --enablewinbindauth --update
LANG=en_US.UTF-8 authconfig --enablemkhomedir --update

nsswitch.conf を以下のように編集したら

/etc/nsswitch.conf

... 
passwd:     compat winbind
shadow:     files
group:      compat winbind
...

あとは PDC 側でドメインユーザを追加したら

ssh root@pdc
samba-tool user add user02

ログインして Member Server に戻ってこれればとりあえず OK だ。

ssh user02@mbr01

おわりに

微妙なところ(サービス名など)もあったが yum を使うと格段にセットアップが楽になった。
検証用には十分楽しめると思う。
しかし実運用となると MS AD を使いたいというのが本音か？！

参考URL: http://folgaizer.wordpress.com/2013/12/12/samba4-on-centos-6-4/; http://www.reddrop.net/howto_samba4_ActiveDirectory_Bind_DLZ; https://wiki.samba.org/index.php/Setup_a_Samba_AD_Member_Server; http://web.chaperone.jp/w/index.php?samba4%2Fuser

Spring Security で OAuth 2.0 Provider する

2014-04-23T23:30:00.000+09:00

はじめに

ついに Windows 8 にした。
XP のサポートが終了したというのもあったのだけれども
Java 8 がインストールできなかったのが致命的だった。
.Net Framework 4.5 や PHP 5.5 このあたりが使えなくなったのは耐えていたのだけれど
この春、Java に見捨てられてもう我慢できなくなった。
Java 8 が使えたらきっと今も XP 使ってると思う。

で、OAuth
わたしにとって OAuth といえば Facebook なのですが
以前、Facebook のアプリを作る機会があり OAuth の認証処理に結構悩まされた。
リクエストが行ったり来たり、どのタイミングでが何が送られて来るのか？また何を送るのか？
と同時に向こう側の処理はどうなっているんだ！？
相手を知ればこちら側の処理がもっと明確に見えてくるのではと思ったりした。
そんな訳で今回は、Spring Security OAuth Provider を試してみようと思います。

現段階では、あまり詳しいドキュメントがない。
とりあえずサンプルがあるのでそれを参考にしつつソースを読むことにした。
なのでは、きっと何々だろう的なわたしの想像を元に進めていくことになる。
方針としては、
　・アリものは最大限利用させて頂く
　・データのやり取りを観察したいので InMemory のものでなくデータベースを使う
　・リクエストのやり取りの中でデータが変わりそうにないものは InMemory でもよしとしよう

サンプルで作るアプリをしては２つ
１つは、OAuth Provider として my-sns
想定としては、Facebook とか Twitter になる。
まぁいえばあちら側のサイトになる。
そしてもう１つは、OAuth Client として my-app
これは、自前のサイト、こちら側になる。

Windows 8 にして心機一転、ビルドツールも Maven から Gradle に乗り換えました。
ではでは！Getting Started!!

環境

OS	Windows 8.1
データベース	MySQL 5.6.16
アプリケーションサーバー	Tomcat 7.0.53
Java	JDK 1.8
フレームワーク	Spring Framework 4.0.3.RELEASE
	Spring Security 3.2.3.RELEASE
	Spring Security OAuth 1.0.5.RELEASE
ビルドツール	Gradle 1.11 ※gradle コマンドが実行できるように設定しておきます。

プロジェクト構成

Cドライブ直下に「work」フォルダを作成し各ファイルを以下のように配置します。
ファイルは、すべて UTF-8 で保存します。

C:\work
- studying-spring-security-oauth
  - my-app
    - src
      - main
        
        webapp
        
        WEB-INF
        
        web.xml
        
        index.jsp
    - build.gradle
  - my-sns
    - src
      - main
        
        java
        
        com
        
        mydomain
        
        ApiController.java
        
        resources
        
        META-INF
        
        spring
        
        applicationContext-oauth.xml
        
        log4j.properties
        
        webapp
        
        WEB-INF
        
        studying-oauth-servlet.xml
        
        web.xml
    - build.gradle
- build.gradle
- settings.gradle

データベースとテーブルの作成

データベースユーザとして、パスワードなしのrootユーザが作成済みという前提で
何はともあれデータベースから

DROP DATABASE IF EXISTS studying_oauth;
CREATE DATABASE IF NOT EXISTS studying_oauth DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
USE studying_oauth;

では、メインの Access Token を保存するテーブルから作成します。
Schema に関しては、JdbcTokenStore(org.springframework.security.oauth2.provider.token パッケージ)を参考に逆算してみた。
恐らく token_id が PK になるだろう。
varchar は、とりあえず255文字あればいいでしょう。
user_name と refresh_token は使わない場合もあるので NULL OK にしてあとは強気に NOT NULL

DROP TABLE IF EXISTS `oauth_access_token`;
CREATE TABLE `oauth_access_token` (
  `token_id`          varchar(255) NOT NULL,
  `token`             blob         NOT NULL,
  `authentication_id` varchar(255) NOT NULL,
  `user_name`         varchar(255) NULL,
  `client_id`         varchar(255) NOT NULL,
  `authentication`    blob         NOT NULL,
  `refresh_token`     varchar(255) NULL,
  PRIMARY KEY (`token_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

次に Refresh Token を保存するテーブルを作成します。
同様に JdbcTokenStore から Schema を逆算してみた。
ここは token_id が PK で問題ないでしょう。

DROP TABLE IF EXISTS `oauth_refresh_token`;
CREATE TABLE `oauth_refresh_token` (
  `token_id`       varchar(255) NOT NULL,
  `token`          blob         NOT NULL,
  `authentication` blob         NOT NULL,
  PRIMARY KEY (`token_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

最後に Authorization Code Grant（認可コードグラント）で使用する Request Token を保存するテーブルを作成します。
Schema は、JdbcAuthorizationCodeServices(org.springframework.security.oauth2.provider.code パッケージ)から逆算した。
code が PK で問題ないでしょう。

DROP TABLE IF EXISTS `oauth_code`;
CREATE TABLE `oauth_code` (
  `code`           varchar(255) NOT NULL,
  `authentication` blob         NOT NULL,
  PRIMARY KEY (`code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

ServletとLoggerの設定

OAuth Provider あちら側 my-sns の設定から始めます。

my-sns/src/main/webapp/WEB-INF/web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app id="WebApp_ID" version="3.0"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xmlns="http://java.sun.com/xml/ns/javaee"
  xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd"
  xsi:schemaLocation="
    http://java.sun.com/xml/ns/javaee
    http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd">
  
  <display-name>studying-oauth</display-name>
  <context-param>
    <param-name>contextConfigLocation</param-name>
    <param-value>classpath*:META-INF/spring/applicationContext*.xml</param-value>
  </context-param>
    
  <filter>
    <filter-name>springSecurityFilterChain</filter-name>
    <filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter-class>
  </filter>
  <filter-mapping>
    <filter-name>springSecurityFilterChain</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>

  <!-- Filter 設定 -->
  <filter>
    <filter-name>CorsFilter</filter-name>
    <filter-class>org.apache.catalina.filters.CorsFilter</filter-class>
    <init-param>
      <param-name>cors.allowed.origins</param-name>
      <param-value>*</param-value>
    </init-param>
  </filter>
  <filter-mapping>
    <filter-name>CorsFilter</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>
  
  <servlet>
    <servlet-name>studying-oauth</servlet-name>
    <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
    <load-on-startup>1</load-on-startup>
  </servlet>
  <servlet-mapping>
    <servlet-name>studying-oauth</servlet-name>
    <url-pattern>/</url-pattern>
  </servlet-mapping>

  <listener>
    <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
  </listener>
  
  <session-config>
    <cookie-config>
      <http-only>true</http-only>
    </cookie-config>
    <tracking-mode>COOKIE</tracking-mode>
  </session-config>
</web-app>

Filter 設定

クロスドメインで javascript から json データのやりとりをできるようにするための Filter を追加しています。
Response ヘッダーに「Access-Control-Allow-Origin: *」を出力しています。
今回、Tomcat を my-sns と my-app で port を変えて２つ起動します。
ドメインが同じでも Port が違うとクロスドメインと扱われるようです。
Tomcat で用意されてるアリものの Filter を使わせてもらっています。

どの処理でどのクラスが呼び出されるか知りたいので
とりあえず springframework.security.oauth パッケージ以下にあるクラスの
デバッグログを出力するようにしています。

my-sns/src/main/resources/log4j.properties

log4j.rootLogger=error, stdout
 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
 
# Print the date in ISO 8601 format
log4j.appender.stdout.layout.ConversionPattern=%d [%t] %-5p %c - %m%n
 
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=application.log
 
log4j.appender.R.MaxFileSize=100KB
# Keep one backup file
log4j.appender.R.MaxBackupIndex=1
 
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n

log4j.logger.org.springframework.security.oauth2=debug, stdout

Spring Security の設定

あちら側 my-sns の OAuth Provider としてのメインの設定をします。
この設定が今回のキモになります。

my-sns/src/main/resources/META-INF/spring/applicationContext-oauth.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans:beans
  xmlns="http://www.springframework.org/schema/security" 
  xmlns:oauth="http://www.springframework.org/schema/security/oauth2" 
  xmlns:beans="http://www.springframework.org/schema/beans" 
  xmlns:context="http://www.springframework.org/schema/context"
  xmlns:mvc="http://www.springframework.org/schema/mvc"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
  xsi:schemaLocation="
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/context
    http://www.springframework.org/schema/context/spring-context-3.2.xsd
    http://www.springframework.org/schema/security
    http://www.springframework.org/schema/security/spring-security.xsd
    http://www.springframework.org/schema/security/oauth2
    http://www.springframework.org/schema/security/spring-security-oauth2.xsd
    http://www.springframework.org/schema/mvc
    http://www.springframework.org/schema/mvc/spring-mvc.xsd">

  <!-- URL 設定① -->
  <http pattern="/members/**" create-session="stateless"
    entry-point-ref="myOauthAuthenticationEntryPoint"
    authentication-manager-ref="myOAuth2AuthenticationManager"
    access-decision-manager-ref="accessDecisionManager">
    <anonymous enabled="false" />
    <intercept-url pattern="/members/**" access="SCOPE_TRUST" />
    <custom-filter ref="myOauth2ProviderFilter" before="PRE_AUTH_FILTER" />
  </http>
  
  <!-- URL 設定② -->
  <http pattern="/oauth/token*" create-session="stateless" 
    entry-point-ref="myOauthAuthenticationEntryPoint"
    authentication-manager-ref="myClientAuthenticationManager">
    <custom-filter ref="myClientCredentialsTokenEndpointFilter" position="BASIC_AUTH_FILTER"/>
  </http>

  <!-- URL 設定③ -->
  <http pattern="/**"
    authentication-manager-ref="resourceOwner" 
    disable-url-rewriting="true">
    <intercept-url pattern="/oauth/authorize*" access="ROLE_USER" />
    <form-login />
  </http>


  <beans:bean
    id="myOauthAuthenticationEntryPoint"
    class="org.springframework.security.oauth2.provider.error.OAuth2AuthenticationEntryPoint" />

  <beans:bean
    id="myOAuth2AuthenticationManager"
    class="org.springframework.security.oauth2.provider.authentication.OAuth2AuthenticationManager">
    <beans:property name="tokenServices" ref="myTokenServices"/>
  </beans:bean>
  
  <beans:bean
    id="myTokenServices"
    class="org.springframework.security.oauth2.provider.token.DefaultTokenServices">
    <beans:property name="tokenStore" ref="myTokenStore" />
    <beans:property name="clientDetailsService" ref="myClientDetailsService" />
    <beans:property name="supportRefreshToken" value="true"/>
  </beans:bean>
  
  <!-- Access Token 設定 -->
  <beans:bean
    id="myTokenStore"
    class="org.springframework.security.oauth2.provider.token.JdbcTokenStore" >
    <beans:constructor-arg name="dataSource" ref="myDataSource"/>
  </beans:bean>
  
  <!-- 連携アプリ設定 -->
  <oauth:client-details-service
    id="myClientDetailsService" >
    <oauth:client
      client-id="my-auth"
      secret="pass123"
      scope="trust" 
      authorized-grant-types="authorization_code,implicit,password,client_credentials,refresh_token"
      authorities="ROLE_CLIENT"
      resource-ids="myResource" />
  </oauth:client-details-service>

  <!-- 権限設定 -->
  <beans:bean
    id="accessDecisionManager"
    class="org.springframework.security.access.vote.UnanimousBased">
    <beans:constructor-arg>
      <beans:list>
        <beans:bean class="org.springframework.security.oauth2.provider.vote.ScopeVoter" />
        <beans:bean class="org.springframework.security.access.vote.RoleVoter" />
        <beans:bean class="org.springframework.security.access.vote.AuthenticatedVoter" />
      </beans:list>
    </beans:constructor-arg>
  </beans:bean>

  <oauth:resource-server
    id="myOauth2ProviderFilter" resource-id="myResource" token-services-ref="myTokenServices" />


  <authentication-manager id="myClientAuthenticationManager">
    <authentication-provider user-service-ref="myClientDetailsUserService" />
  </authentication-manager>

  <beans:bean
    id="myClientDetailsUserService"
    class="org.springframework.security.oauth2.provider.client.ClientDetailsUserDetailsService">
    <beans:constructor-arg ref="myClientDetailsService" />
  </beans:bean>
  
  <beans:bean
    id="myClientCredentialsTokenEndpointFilter"
    class="org.springframework.security.oauth2.provider.client.ClientCredentialsTokenEndpointFilter">
    <beans:property name="authenticationManager" ref="myClientAuthenticationManager" />
    <beans:property name="authenticationEntryPoint" ref="myOauthAuthenticationEntryPoint" />
  </beans:bean>


  <!-- ユーザアカウント 設定 -->
  <authentication-manager id="resourceOwner">
    <authentication-provider>
      <user-service id="userDetailsService">
        <user name="user01" password="pass01" authorities="ROLE_USER" />
        <user name="user02" password="pass02" authorities="ROLE_USER" />
      </user-service>
    </authentication-provider>
  </authentication-manager>


  <!-- OAuth Provider 全体設定 -->
  <oauth:authorization-server
    client-details-service-ref="myClientDetailsService"
    token-services-ref="myTokenServices"
    user-approval-handler-ref="myUserApprovalHandler">
    <oauth:authorization-code authorization-code-services-ref="myAuthorizationCodeServices"/>
    <oauth:implicit />
    <oauth:refresh-token />
    <oauth:client-credentials />
    <oauth:password authentication-manager-ref="resourceOwner"/>
  </oauth:authorization-server>
  
  <beans:bean
    id="myUserApprovalHandler"
    class="org.springframework.security.oauth2.provider.approval.TokenServicesUserApprovalHandler">
    <beans:property name="tokenServices" ref="myTokenServices"/>
  </beans:bean>
   
  <!-- Request Token 設定 -->
  <beans:bean
    id="myAuthorizationCodeServices"
    class="org.springframework.security.oauth2.provider.code.JdbcAuthorizationCodeServices" >
    <beans:constructor-arg name="dataSource" ref="myDataSource"/>
  </beans:bean>


  <beans:bean
    id="oauthAccessDeniedHandler"
    class="org.springframework.security.oauth2.provider.error.OAuth2AccessDeniedHandler" />

  <beans:bean
    id="myDataSource"
    class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
    <beans:property name="driverClassName" value="com.mysql.jdbc.Driver"/>
    <beans:property name="url" value="jdbc:mysql://localhost:3306/studying_oauth"/>
    <beans:property name="username" value="root"/>
    <beans:property name="password" value=""/>
  </beans:bean>

  <context:component-scan base-package="com.mydomain" />
  <mvc:annotation-driven />

</beans:beans>

URL 設定①

Access Token が必要な URL
ここはセッション管理しないので強気に stateless とした。

URL 設定②

Access Token を発行する URL
この段階でどのユーザアカウントが Access Token を求めてきているか
なにかしらの方法で分かるはずなのでここもセッションは stateless とした。

URL 設定③

あちら側 my-sns のログイン画面、アプリ承認画面を表示するURL
Authorization Code Grant であれば Request Token を
Implicit Grant であれば Access Token を発行する URL になる。
ここはログイン画面などを使ってどのユーザアカウントであるか
判別する必要があるだろうからセッション管理は通常どうりとした。

Access Token 設定

ここのデータのやりとりを観察したいのでデータベース用のもを使った。

連携アプリ設定

こちら側 my-app があちら側 my-sns の認証が必要な URL に
アクセスするためのサイトのアカウント登録になる。
Facebook、Twitter でいうアプリの登録になると思う。
client-id、secret がアカウントIDとパスワードになる。
ここは InMemory のものを使った。
データベース用のものも用意されているので
JdbcClientDetailsService(org.springframework.security.oauth2.provider パッケージ)
あたりを解析すればテーブル Schema が割り出せると思う。

権限設定

ScopeVoter によって Access Token の scope が Spring Security の Role に変換される。
Access Token 取得時に Request パラメータで scope=trust というように指定された場合
prefix 「SCOPE_」が付けられ「SCOPE_TRUST」というような Role になる。

ユーザアカウント設定

あちら側 my-sns のユーザアカウントになる。
ユーザアカウントは２つ、IDとパスワードはそれぞれ「user01/pass01」「user02/pass02」を登録した。
ここも InMemory のものを使った。
ここは Spring Security 本体でデータベース用のもが用意されている。

OAuth Provider 全体設定

OAuth の４つの Grant と Refresh Token が試せるように設定した。

Request Token 設定

このあたりもデータのやりとりを観察したいのでデータベース用のもを使った。

内容は空なのですが「アプリケーションコンテキスト名-servlet.xml」ファイルがないと
うまく動かないようなので一応作成しておきます。

my-sns/src/main/webapp/WEB-INF/studying-oauth-servlet.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans:beans
  xmlns="http://www.springframework.org/schema/security" 
  xmlns:oauth="http://www.springframework.org/schema/security/oauth2" 
  xmlns:beans="http://www.springframework.org/schema/beans" 
  xmlns:mvc="http://www.springframework.org/schema/mvc"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
  xsi:schemaLocation="
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/security
    http://www.springframework.org/schema/security/spring-security.xsd
    http://www.springframework.org/schema/security/oauth2
    http://www.springframework.org/schema/security/spring-security-oauth2.xsd
    http://www.springframework.org/schema/mvc
    http://www.springframework.org/schema/mvc/spring-mvc.xsd">
</beans:beans>

Controller クラスの作成

「/my-sns/members」でログインユーザ情報を json 形式で返すようにします。

my-sns/src/main/java/com/mydomain/ApiController.java

package com.mydomain.web;

import org.springframework.security.core.Authentication;
import org.springframework.security.core.context.SecurityContextHolder;
import org.springframework.security.core.userdetails.UserDetails;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;


@Controller
public class ApiController {

  @RequestMapping("/members")
  @ResponseBody
  public UserDetails members() {
    Authentication auth = SecurityContextHolder.getContext().getAuthentication();
    return (UserDetails)auth.getPrincipal();
  }
}

my-app の設定

こちら側 my-app の設定をします。
以下のような内容でOAuthのテストページを作成します。

my-app/src/main/webapp/index.jspx

<%@ page contentType="text/html; charset=UTF-8" %>
<html>
  <head>
    <title>OAuthのテスト</title>
  </head>
  <body>
    <h2>OAuthのテスト</h2>
  </body>
</html>

いらないかもしれないけど以下のような内容で web.xml も作成しておきます。

my-app/src/main/webapp/WEB-INF/web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app id="WebApp_ID" version="3.0"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xmlns="http://java.sun.com/xml/ns/javaee"
  xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd"
  xsi:schemaLocation="
    http://java.sun.com/xml/ns/javaee
    http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd">

  <session-config>
    <cookie-config>
      <http-only>true</http-only>
    </cookie-config>
    <tracking-mode>COOKIE</tracking-mode>
  </session-config>
</web-app>

ビルドスクリプトの作成

まずは Top プロジェクトのビルドスクリプトを以下の内容で作成します。

settings.gradle

include 'my-app', 'my-sns'

build.gradle

ext { 
  springVersion = '4.0.3.RELEASE'
  springSecurityVersion = '3.2.3.RELEASE'
  springSecurityOAuth2Version = '1.0.5.RELEASE'
  tomcatVersion = '7.0.53'
}

allprojects {
  repositories {
    mavenCentral()
  }
}

subprojects {
  apply plugin: 'war'
  apply plugin: 'tomcat'
  
  dependencies {
    compile "org.springframework:spring-context:${springVersion}"
    compile "org.springframework:spring-webmvc:${springVersion}"
    compile "org.springframework:spring-jdbc:${springVersion}"    
    
    compile "org.springframework.security:spring-security-web:${springSecurityVersion}"
    compile "org.springframework.security:spring-security-config:${springSecurityVersion}"
    compile "org.springframework.security:spring-security-taglibs:${springSecurityVersion}"   
    
    compile "org.springframework.security.oauth:spring-security-oauth2:${springSecurityOAuth2Version}"
    
    compile 'commons-dbcp:commons-dbcp:1.4'
    compile 'mysql:mysql-connector-java:5.1.30'
    compile 'log4j:log4j:1.2.17'
    
    tomcat "org.apache.tomcat.embed:tomcat-embed-core:${tomcatVersion}",
           "org.apache.tomcat.embed:tomcat-embed-logging-juli:${tomcatVersion}"
    tomcat("org.apache.tomcat.embed:tomcat-embed-jasper:${tomcatVersion}") {
           exclude group: 'org.eclipse.jdt.core.compiler', module: 'ecj'
    }
  }
  
  sourceCompatibility = '1.8'
  targetCompatibility = '1.8'
  [compileJava, compileTestJava]*.options*.encoding = 'UTF-8'
}

buildscript {
  repositories {
    jcenter()
  }

  dependencies {
    classpath 'org.gradle.api.plugins:gradle-tomcat-plugin:1.2.3'
  }
}

次は my-sns プロジェクトのビルドスクリプトを以下の内容で作成します。

my-sns/build.gradle

war {
  baseName = 'my-sns'
}

最後は my-app プロジェクトのビルドスクリプトを以下の内容で作成します。
Tomcat を２つ起動することになるので my-sns とは違う port を指定しています。

my-app/build.gradle

war {
  baseName = 'my-app'
}

tomcat {
  httpPort  = 15080
  httpsPort = 15443
  ajpPort   = 15009
  stopPort  = 15081
}

OAuth 認証を試す準備

とりあえずデータベースのデータを削除します。

DELETE FROM oauth_access_token;
DELETE FROM oauth_code;
DELETE FROM oauth_refresh_token;

そしてそれぞれの Tomcat を起動します。
まずは my-sns から
コマンドプロンプトを起動して以下を入力する。

cd /d C:\work\studying-spring-security-oauth
gradle :my-sns:clean :my-sns:tomcatRun

次は my-app 
もう一枚コマンドプロンプトを起動して以下を入力する。

cd /d C:\work\studying-spring-security-oauth
gradle :my-app:clean :my-app:tomcatRun

Authorization Code Grant を試す

手始めに一番一般的な方法、認可コードグラントで Access Token 取得をしてみます。

OAuthのテストに用意した my-app のページ「http://localhost:15080/my-app/」を開きます。
認可コードグラントの場合、Access Token の取得に Request Token が必要になってくるので
Request Token から取得してみます。
以下のURLをアドレスバーに入力して my-sns にアクセスします。

http://localhost:8080/my-sns/oauth/authorize?client_id=my-auth&scope=trust&response_type=code&redirect_uri=http://localhost:15080/my-app/

Request パラメータにはアプリのID(client_id)は必要なのですがこの段階ではまだアプリのパスワード(client_secret)は不要です。

上記のURLにアクセスするとログイン画面が表示されると思います。
my-sns のユーザアカウント「user01/pass01」または「user02/pass02」でログインします。

ログインするとアプリの承認画面が表示されると思います。
「Authorize」ボタンを押してアプリを承認します。

今度は my-sns から my-app にリダイレクトされます。
この時 URL に ?code=XXXXX のような形で Request Token が送られてきているかと思います。
ここで oauth_code テーブルを見てみると送られてきた Request Token が登録されていると思います。

次に取得した Request Token から Access Token 取得をしてみます。
以下のURLをアドレスバーに入力して my-sns にアクセスします。

http://localhost:8080/my-sns/oauth/token?client_id=my-auth&client_secret=pass123&grant_type=authorization_code&redirect_uri=http://localhost:15080/my-app/&code=XXXXX

この段階で Request パラメータにアプリのID(client_id)と共にアプリのパスワード(client_secret)が必要になります。
最後の部分 code=XXXXX で取得した Request Token を指定します。

レスポンスデータとして Access Token が json 形式で画面に表示されると思います。
表示された access_token と refresh_token をメモしておきます。
ここで oauth_access_token テーブルと oauth_refresh_token テーブルを見てみると
Access Token と Refresh Token が登録されていると思います。
また一回使った Request Token でもう一度 Access Token 取得しようとすると
"error":"invalid_grant" とかになり Access Token が取得できないようになっていると思います。
また oauth_code テーブルを見てみると先ほどの Request Token 削除されていると思います。

これで Access Token を使って my-sns のユーザ認証が必要な情報にアクセスができるように
なっていると思います。
以下のURLをアドレスバーに入力して my-sns にアクセスしてログインユーザ情報が取得してみます。

http://localhost:8080/my-sns/members/?access_token=YYYYY

?access_token=YYYYY で取得した Request Token を指定します。

レスポンスデータとして ログインユーザ情報 が json 形式で画面に表示されると思います。
また、Request Token なしでアクセスしてみると 
An Authentication object was not found in the SecurityContext 的なデータが表示されると思います。

Refresh Token を試す

リフレッシュトークンも試してみたいと思います。
先ほどと同様に認可コードグラントを使います。

Access Token の有効期間は初期値で12時間になっている。
ここではそんなに待てないので1分にしてみる。
「applicationContext-oauth.xml」の myTokenServices に以下を追加する。

my-sns/src/main/resources/META-INF/spring/applicationContext-oauth.xml

  ...
  <beans:bean
    id="myTokenServices"
    class="org.springframework.security.oauth2.provider.token.DefaultTokenServices">
    ...
    <beans:property name="accessTokenValiditySeconds" value="60"/>
  </beans:bean>
  ...

OAuth 認証を試す準備で行ったデータベースの削除と my-sns の Tomcat を再起動してから
認可コードグラントの手順で Access Token と Refresh Token を取得します。
一応取得した Access Token で my-sns からログインユーザ情報が取得してみます。
それで待つこと1分以下のURLでログインユーザ情報が取得してみます。

http://localhost:8080/my-sns/members/?access_token=YYYYY

Access token expired: 的なデータが表示されると思います。
以下のURLをアドレスバーに入力して my-sns から Access Token を再取得してみます。

http://localhost:8080/my-sns/oauth/token?client_id=my-auth&client_secret=pass123&scope=trust&grant_type=refresh_token&refresh_token=ZZZZZ

Request パラメータにアプリのID(client_id)とアプリのパスワード(client_secret)が必要になります。
?refresh_token=ZZZZZ で取得した Refresh Token を指定します。

レスポンスデータとして Access Token が json 形式で画面に表示されると思います。
ここは手際よく再取得した Access Token で my-sns からログインユーザ情報を取得してみてください。

Implicit Grant を試す

インプリシットグラントで Access Token 取得をしてみます。
テストデータをリセットしたいのでOAuth 認証を試す準備で行った
データベースの削除と my-sns の Tomcat を再起動を行います。

OAuthのテストに用意した my-app のページ「http://localhost:15080/my-app/」を開きます。
以下のURLをアドレスバーに入力して my-sns にアクセスします。

http://localhost:8080/my-sns/oauth/authorize?client_id=my-auth&scope=trust&response_type=token&redirect_uri=http://localhost:15080/my-app/

Request パラメータにアプリのID(client_id)は必要なのですがアプリのパスワード(client_secret)は不要なようです。

認可コードグラントの時と同様に my-sns のユーザアカウントのログイン、アプリの承認と進むのですが
インプリシットグラントの場合、Access Token の取得に Request Token がいらないので
直接 Access Token が指定した call back に指定した URL に送られてきます。

ここで注意が必要なのですが、?access_token=YYYYY の形ではなく #access_token=YYYYY で送られてくるので
通常の Request パラメータの取り出し方法では Access Token が取り出せない。
URL のハッシュ「#」以降を自力で解析して Access Token を取り出さないといけないようです。

また Access Token の取得にアプリのパスワードが不要なところも微妙だと思う。
さらに認可コードグラントのように Access Token をレスポンスデータでなく
call back URL の Request パラメータ(厳密には Request パラメータではない？)から
取得するところもどうかと思う。
call back URL といえど他の URL と変わらないので
悪意？のあるサイトが #access_token=YYYYY 的な Request パラメータで
関係ない(なりすまし用？) Access Token 直接送り付けてくることも考えられる。
とりあえず、こちら側のサイト my-app 側も送られてくる Request パラメータを無条件に信用するのでなく
何かしらのチェックは必要になるでしょう。

Resource Owner Password Credentials Grant を試す

リソースオーナーパスワードクレデンシャルグラントで Access Token 取得をしてみます。
まず試す前にテストデータのリセットを行います。
OAuth 認証を試す準備で行ったデータベースの削除と my-sns の Tomcat を再起動をします。

OAuthのテストに用意した my-app のページ「http://localhost:15080/my-app/」から
以下のURLをアドレスバーに入力して my-sns にアクセスします。

http://localhost:8080/my-sns/oauth/token?client_id=my-auth&client_secret=pass123&scope=trust&grant_type=password&username=user01&password=pass01

Request パラメータ username、password で my-sns のユーザアカウントのログインID、パスワードを指定します。
またアプリのIDとパスワードも必要になるようです。

ユーザアカウントのログイン画面が無ければアプリ承認画面もなく
レスポンスデータとして Access Token が json 形式で画面に表示されると思います。
まぁ username、password を Request パラメータで送っていくるのだから
あちら側 my-sns としてはログイン画面は必要ないのでしょう。

ここで微妙な仕様に気づくと思います。
あちら側 my-sns のユーザアカウントのログインID、パスワードを 
こちら側 my-app でどうやって知りえるのか？
たぶん、こちら側 my-app でログイン画面を用意して
あちら側 my-sns の ログインID、パスワード入力してもらい
こちら側 my-app で送られてきたログインID、パスワードを Request パラメータに付けて 
Access Token 取得 URL を呼び出すことになるのだろう。
本来 OAuth こちら側 my-app があちら側 my-sns のユーザアカウントのログインID、パスワードを知ることなく
あちら側 my-sns のユーザ認証の必要なデータにアクセスするということだと思う。
微妙な仕様だ。
アプリ承認画面に関してもきっとこちら側 my-app で用意する仕様なのだろう。

Client Credentials Grant を試す

クライアントクレデンシャルグラントで Access Token 取得をしてみます。
例によってテストデータのリセットのためにデータベースの削除と my-sns の Tomcat を再起動を行います。

OAuthのテストに用意した my-app のページ「http://localhost:15080/my-app/」から
以下のURLをアドレスバーに入力して my-sns にアクセスします。

http://localhost:8080/my-sns/oauth/token?client_id=my-auth&client_secret=pass123&scope=trust&grant_type=client_credentials

Request パラメータには、アプリのIDとパスワードが必要になるようです。

先ほどのリソースオーナーパスワードクレデンシャルグラントと同様に
ユーザアカウントのログイン画面が無ければアプリ承認画面もなく
レスポンスデータとして Access Token が json 形式で画面に表示されると思います。

クライアントクレデンシャルグラントの場合、特定のユーザアカウントとという訳でなく
アプリのIDとパスワードに対して Access Token 発行されるような感じになるようです。
なのでこの場合 Access Token でログインユーザ情報が取得できないようです。
まぁこれも微妙といえば微妙な仕様だなぁ。

おわりに

触ってみて、なるほどと思うところとやっぱりそうなっていたのかと思うところがあった。
あたり前だけど発行した Token をユーザと紐づけてデータベースで管理する。
OAuth Provider の実装は、他にもいろいろある(java 以外を含めて)とあると思うけど
このあたりはどれも変わらないのだろう。

今回は、Access Token を Request パラメータで渡していたけど
Restful な API を目指すなら Basic認証、Digest認証と同じように
Request ヘッダーでやりとりするのが正しいようだ。
この辺は、Client 側の対応になりそうだ。
それは、また次回に。
次の Version の開発も着々と進んでそうなのでその時にでも。

参考URL: http://www.atmarkit.co.jp/ait/articles/1209/10/news105.html; http://penq.co.jp/blog/engineer/amazon-web-service/3113

AspectJ の Pointcut - this と target の違いって？

2013-05-28T22:00:00.000+09:00

はじめに

this と target についてそれぞれ thisは、実行中のオブジェクト、target は、対象オブジェクトであれば
A というクラスが B というクラスを呼出している場合、this は A クラス、target は B クラスになってほしいのですが
Spring の AspectJ では this と target が同じオブジェクトになってしまう。
調べてみると call では、上記のような動きになり、execution では同じオブジェクトになるようだ。
Spring の AspectJ は、execution のみで call に対応していないらしい。
そんな訳で本家の AspectJ を使って call と execution での this と target の違いを調べてみたいと思います。

今回は、簡単な実験クラスをいくつか作成して検証してみたいと思います。
ではでは！Getting Started!!

環境

Java	JDK 1.7.0_21
フレームワーク	aspectjrt 1.7.2
ビルドツール	Maven 3.0.5 ※mvnコマンドが実行できるように設定しておきます。
OS	Windows XP

プロジェクト構成

Cドライブ直下に「studying-aspectj-pointcut」フォルダを作成し各ファイルを以下のように配置します。
ファイルは、すべて UTF-8 で保存します。

C:\studying-aspectj-pointcut
- src
  - main
    - java
      - com
        
        mydomain
        
        App.java
        
        Casino.java
        
        Gambler.java
        
        Money.java
        
        MyAspect.java
- pom.xml

POM ファイルの作成

AspectJ のコンパイルに aspectj-maven-plugin を使用しています。
また jar の生成には、maven-shade-plugin を使用しています。
このプラグインは、依存する jar を一旦バラして今回作成したクラスと一緒に１つの jar ファイルにまとめてくれます。
POM ファイルを以下の内容で作成します。

pom.xml

<project
  xmlns="http://maven.apache.org/POM/4.0.0"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://maven.apache.org/POM/4.0.0
    http://maven.apache.org/xsd/maven-4.0.0.xsd">
    
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.mydomain</groupId>
  <artifactId>studying-aspectj</artifactId>
  <version>1.0</version>
  <packaging>jar</packaging>

  <name>studying-aspectj</name>

  <properties>
    <java.version>1.7</java.version>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>org.aspectj</groupId>
      <artifactId>aspectjrt</artifactId>
      <version>1.7.2</version>
    </dependency>
  </dependencies>

  <build>
    <finalName>studying-aspectj</finalName>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.1</version>
        <configuration>
          <source>${java.version}</source>
          <target>${java.version}</target>
          <encoding>${project.build.sourceEncoding}</encoding>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>aspectj-maven-plugin</artifactId>
        <version>1.4</version>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
              <goal>test-compile</goal>
            </goals>
            <configuration>
              <complianceLevel>1.6</complianceLevel>
            </configuration>
          </execution>
        </executions>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>2.0</version>
        <executions>
          <execution>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
            <configuration>
              <transformers>
                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                  <mainClass>com.mydomain.App</mainClass>
                </transformer>
              </transformers>
            </configuration>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>
</project>

Aspect 実験クラス作成

概要としては、次のような感じです。
App クラスのメインメソッドで Money クラスを作成して Gambler クラスの paySalary() メソッドに渡します。
Gambler クラスは、Casino クラスの gambling() メソッドに受け取った Money クラスを渡します。
そして、持ち金の 20% が無くなります。
簡単に言うと貰った給料で即パチンコ打ってまぁまぁ負けるというような感じです。(笑

App.java

package com.mydomain;

public class App {

  public static void main(String[] args) {

    Money money = new Money();
    money.setValue(100);

    Gambler gambler = new Gambler();
    gambler.paySalary(money);
  }
}

Money.java

package com.mydomain;

public class Money {

  private int value;

  public int getValue() {
    return value;
  }

  public void setValue(int value) {
    this.value = value;
  }
}

Gambler.java

package com.mydomain;

public class Gambler {

  public void paySalary(Money money) {

    System.out.printf("Gambler paySalary %s %n", money.getValue());

      Casino casino = new Casino();
      casino.gambling(money);
  }
}

Casino.java

package com.mydomain;

public class Casino {

  public void gambling(Money money) {

    money.setValue((int)(money.getValue() * 0.8));
    System.out.printf("Casino gambling %s %n", money.getValue());
  }
}

Aspect クラスを作成して Pointcut で遊ぶ

Casino クラスの gambling() メソッドに着目して this と target を調べてみたいと思います。
this と target が call と execution ではどう違うかを Around アドバイスを使って見てみます。
MyAspect クラスを以下の内容で作成します。

MyAspect.java

package com.mydomain;

import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Before;

@Aspect
public class MyAspect {

  @Around("call(void com.mydomain.Casino.gambling(Money))")
  public Object aroundCall(ProceedingJoinPoint pjp) throws Throwable {
    
    System.out.printf("AroundCall [this:%s] [target:%s] %n", pjp.getThis(), pjp.getTarget());
    
    Object retVal = pjp.proceed();
    return retVal;
  }

  @Around("execution(void com.mydomain.Casino.gambling(Money))")
  public Object aroundExec(ProceedingJoinPoint pjp) throws Throwable {
    
    System.out.printf("AroundExec [this:%s] [target:%s] %n", pjp.getThis(), pjp.getTarget());
    
    Object retVal = pjp.proceed();
    return retVal;
  }
}

コマンドプロンプトを開きCドライブ直下の「studying-aspectj-pointcut」フォルダに移動後、 mvn コマンドでビルドします。
そして生成された jar ファイルを実行します。

cd c:\studying-aspectj-pointcut
mvn clean package
java -jar C:\studying-aspectj-pointcut\target\studying-aspectj.jar

実行結果は以下のようになると思います。

Gambler paySalary 100
AroundCall [this:com.mydomain.Gambler@1c7e2da] [target:com.mydomain.Casino@1fe571f]
AroundExec [this:com.mydomain.Casino@1fe571f] [target:com.mydomain.Casino@1fe571f]
Casino gambling 80

なるほど call では、this が呼出元クラス、target は、呼出先クラスになり execution では、this、target 両方対象クラスになる。
納得だ！
今度は、Before アドバイスでも試してみる。
MyAspect クラスのメソッドを以下の内容に差し替えます。

MyAspect.java

...
  @Before("call(void com.mydomain.Casino.gambling(Money)) && this(Gambler) && target(Casino)")
  public void beforeCall(){ 
    System.out.printf("Before Call %n");
  }

  @Before("execution(void com.mydomain.Casino.gambling(Money)) && this(Casino) && target(Casino)")
  public void beforeExecution(){ 
    System.out.printf("Before Execution %n");
  }
...

再ビルド後、実行すると以下のようになると思います。

Gambler paySalary 100
Before Call
Before Execution
Casino gambling 80

Aspect は呼出されているようだけど、なんだかよく分からないので this と target をキャプチャして print してみる。
MyAspect クラスのメソッドを以下の内容に差し替えて再ビルド後、実行する。

MyAspect.java

...
  @Before("call(void com.mydomain.Casino.gambling(Money)) && this(obj01) && target(obj02)")
  public void beforeCall(Gambler obj01, Casino obj02){ 
    System.out.printf("Before Call [this:%s] [target:%s] %n", obj01, obj02);
  }

  @Before("execution(void com.mydomain.Casino.gambling(Money)) && this(obj01) && target(obj02)")
  public void beforeExecution(Casino obj01, Casino obj02){ 
    System.out.printf("Before Execution [this:%s] [target:%s] %n", obj01, obj02);
  }
...

Gambler paySalary 100
Before Call [this:com.mydomain.Gambler@7eb366] [target:com.mydomain.Casino@33f0de]
Before Execution [this:com.mydomain.Casino@33f0de] [target:com.mydomain.Casino@33f0de]
Casino gambling 80

ふむふむ、Before アドバイスでも call と execution で this と target が異なることが分かる。
試しに execution の this を Gambler クラス(call での呼出元クラス)変更してみる。
MyAspect クラスの beforeExecution() メソッドを以下の内容に差し替えて再ビルド後、実行する。

MyAspect.java

...
  @Before("execution(void com.mydomain.Casino.gambling(Money)) && this(obj01) && target(obj02)")
  public void beforeExecution(Gambler obj01, Casino obj02){ 
    System.out.printf("Before Execution [this:%s] [target:%s] %n", obj01, obj02);
  }
...

Gambler paySalary 100
Before Call [this:com.mydomain.Gambler@d1c778] [target:com.mydomain.Casino@7eb366]
Casino gambling 80

おぉ！execution のアドバイスが呼出されなくなった。
当たり前か？(笑
ノッてきたぞ！

もう少し遊んでみる。
今度は、args を使ってメソッドの引数で使われている Money クラスを Pointcut 条件にしてみる。
args も this と target と同じようにクラス・インターフェイスの型で Pointcut 条件を指定する。
キャプチャもできるようだ。
within は、this と target と同じようにクラス・インターフェイスの型で Pointcut 条件を指定するのだけどキャプチャはできない。
また実行オブジェクト、対象オブジェクトというような区別もなく指定した型が Pointcut 条件になるようだ。
!within(MyAspect) で MyAspect クラスの before() メソッドを Aspect の対象外にしています。
それというのも before() メソッドも引数で Money クラスを受けるの Pointcut 条件にマッチして
結果再帰呼出になってしまうからです。
MyAspect クラスのメソッドを以下の内容に差し替えて再ビルド後、実行する。

MyAspect.java

...
  @Before("args(obj01) && !within(MyAspect)")
  public void before(Money obj01){ 
    System.out.printf("Before [args:%s] %n", obj01.getValue());
  }
...

Before [args:100]
Before [args:100]
Gambler paySalary 100
Before [args:100]
Before [args:100]
Casino gambling 80

むむむ… Aspect は呼出されているようだけど、なんだかよく分からない。
Around アドバイスを使ってthis、target、メソッドを print してみる。
MyAspect クラスのメソッドを以下の内容に差し替えて再ビルド後、実行する。

MyAspect.java

...
  @Around("args(Money) && !within(MyAspect)")
  public Object around(ProceedingJoinPoint pjp) throws Throwable {
 
    System.out.printf(
      "Around [this:%s] [target:%s] [signature:%s] %n",
      pjp.getThis(), pjp.getTarget(), pjp.getSignature());

    Object retVal = pjp.proceed();
    return retVal;
  }
...

Around [this:null] [target:com.mydomain.Gambler@83b1b] [signature:void com.mydomain.Gambler.paySalary(Money)]
Around [this:com.mydomain.Gambler@83b1b] [target:com.mydomain.Gambler@83b1b] [signature:void com.mydomain.Gambler.paySalary(Money)]
Gambler paySalary 100
Around [this:com.mydomain.Gambler@83b1b] [target:com.mydomain.Casino@b32ed4] [signature:void com.mydomain.Casino.gambling(Money)]
Around [this:com.mydomain.Casino@b32ed4] [target:com.mydomain.Casino@b32ed4] [signature:void com.mydomain.Casino.gambling(Money)]
Casino gambling 80

なるほど、call と execution の両方に作用しているようだ。
this が null になっているところは、App クラスの main() メソッドが static だからだろう。
また、main() メソッド中の Gambler クラスの paySalary() メソッドの呼出には、call が作用しているのだろう。
もう少し Pointcut 条件を絞ってみる。
Gamblerクラスが Casino クラスの gambling() メソッドを呼出しているところあたりに作用するようにしてみる。
MyAspect クラスのメソッドを以下の内容に差し替えて再ビルド後、実行する。

MyAspect.java

...
  @Around("this(Gambler) && target(Casino) && args(Money)")
  public Object around(ProceedingJoinPoint pjp) throws Throwable {

    System.out.printf(
      "Around [this:%s] [target:%s] [signature:%s] %n",
   pjp.getThis(), pjp.getTarget(), pjp.getSignature());

    Object retVal = pjp.proceed();
    return retVal;
  }
...

Gambler paySalary 100
Around [this:com.mydomain.Gambler@1d0d45b] [target:com.mydomain.Casino@125d06e] [signature:void com.mydomain.Casino.gambling(Money)]
Casino gambling 80

あれ？これは、「@Around("call(void com.mydomain.Casino.gambling(Money))")」と同じでは？
最初に戻ってしまった…
なんとなくオチがついたようなので今回はこの辺で。

おわりに

this と target について、とりあえずは整理できたと思う。
本家の AspectJ には、まだまだ、ディープな Pointcut があるのだけれども
Spring が対応している AspectJ の主な Pointcut は、今回、使った思う。
残りは、アノテーションを Pointcut 条件にするものがある。
また、Spring 独自の bean なんてなのもあるようだ。
これらは、またいつかの機会に。

参考URL: http://www.eclipse.org/aspectj/doc/next/progguide/index.html; http://static.springsource.org/spring/docs/3.2.x/spring-framework-reference/html/aop.html; http://netail.net/aosdwiki/index.php?AspectJ%2F%B4%CA%B0%D7%A5%EA%A5%D5%A5%A1%A5%EC%A5%F3%A5%B9; http://maven.apache.org/plugins/maven-shade-plugin/; http://mojo.codehaus.org/aspectj-maven-plugin/

Spring Security で Active Directory にログインする

2013-05-22T22:00:00.000+09:00

はじめに

Active Directory のユーザで Spring Security の From 認証ができるか試してみたいと思います。
前提としては、Active Directory を構築済みということになります。
Active Directoryは、無料で楽しめる Samba 4 AD を使用しました。
Samba 4 の PDC の構築手順は、わたしもをまとめてみたりしています。
( 『Samba4 で Active Directory / インストール編』『Samba4 で Active Directory / PDC編』）
それから、もう一点、Spring MVC Framework など特定の MVC Framework、ライブラリーを使用しなくても
単独で Spring Security が動くことも確認したいと思います。

今回は、簡単なログインアプリを作成して動作を検証してみたいと思います。
ではでは！Getting Started!!

環境

プリケーションサーバー

アプリケーションサーバー	Tomcat 7.0.37
Java	JDK 1.7.0_21
フレームワーク	Spring Framework 3.2.3.RELEASE
フレームワーク	Spring Security 3.1.4.RELEASE
ビルドツール	Maven 3.0.5 ※mvnコマンドが実行できるように設定しておきます。
OS	Windows XP

Active Directory

Active Directory	Samba 4.0.5
レルム	MYDOMAIN.LOCAL
ドメイン	MYDOMAIN
Host	pdc

プロジェクト構成

Cドライブ直下に「studying-spring-security-ad」フォルダを作成し各ファイルを以下のように配置します。
ファイルは、すべて UTF-8 で保存します。

C:\studying-spring-security-ad
- src
  - main
    - java
      - com
        
        mydomain
        
        MyGrantedAuthoritiesMapper.java
    - resources
      - META-INF
        
        spring
        
        applicationContext-locale.xml
        
        applicationContext-security.xml
      - log4j.properties
    - webapp
      - resources
        
        style.css
      - WEB-INF
        
        i18n
        
        messages_ja.properties
        
        web.xml
      - admin.jsp
      - denied.jsp
      - index.jsp
      - login.jsp
- pom.xml

ServletとLoggerの設定

web.xml ファイルを以下の内容で作成する。

web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app version="3.0"
  xmlns="http://java.sun.com/xml/ns/javaee"
  xmlns:xml="http://www.w3.org/XML/1998/namespace"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://java.sun.com/xml/ns/javaee
    http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd">

  <display-name>studying-spring-security-ad</display-name>
  
  <context-param>
    <param-name>contextConfigLocation</param-name>
    <param-value>classpath*:META-INF/spring/applicationContext*.xml</param-value>
  </context-param>
  <listener>
    <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
  </listener>

  <filter>
    <filter-name>CharacterEncodingFilter</filter-name>
    <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
    <init-param>
      <param-name>encoding</param-name>
      <param-value>UTF-8</param-value>
    </init-param>
    <init-param>
      <param-name>forceEncoding</param-name>
      <param-value>true</param-value>
    </init-param>
  </filter>
  <filter-mapping>
    <filter-name>CharacterEncodingFilter</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>

  <filter>
    <filter-name>springSecurityFilterChain</filter-name>
    <filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter-class>
  </filter>
  <filter-mapping>
    <filter-name>springSecurityFilterChain</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>

  <session-config>
    <session-timeout>10</session-timeout>
    <tracking-mode>COOKIE</tracking-mode>
  </session-config>
</web-app>

ログ設定ファイルを以下の内容で作成する。
Active Directory 認証処理の Debug ログがコンソールに出力されるようにしました。

log4j.properties

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n
 
log4j.rootLogger=error, stdout

log4j.logger.org.springframework.security.ldap.authentication.ad.ActiveDirectoryLdapAuthenticationProvider=debug, stdout
log4j.logger.org.springframework.security.ldap.authentication=debug, stdout

エラーメッセージの日本語化設定

Spring 設定ファイルを以下の内容で作成する。

applicationContext-locale.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<beans
  xmlns="http://www.springframework.org/schema/beans"
  xmlns:p="http://www.springframework.org/schema/p"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans-3.2.xsd">

  <bean id="messageSource"
    class="org.springframework.context.support.ReloadableResourceBundleMessageSource"
    p:basenames="WEB-INF/i18n/messages"
    p:fallbackToSystemLocale="false"
    p:fileEncodings="UTF-8"
    p:defaultEncoding="UTF-8" />
</beans>

エラーメッセージファイルを以下の内容で作成する。
日本語化については雰囲気です。（笑

messages_ja.properties

LdapAuthenticationProvider.badCredentials=ログインユーザ、パスワードが違います。
LdapAuthenticationProvider.credentialsExpired=パスワードをもう一度入力してください。
LdapAuthenticationProvider.disabled=無効なユーザです。
LdapAuthenticationProvider.expired=期限切れユーザです。
LdapAuthenticationProvider.locked=ロックされています。
LdapAuthenticationProvider.emptyUsername=ログインユーザを入力してください。

プロパティファイルのキーについて

AbstractUserDetailsAuthenticationProvider.XXX で始まるものを使用していたため
エラーメッセージをなかなか日本語表示できず結構ハマっていました。
Active Directory (というか Ldap ？)の場合、LdapAuthenticationProvider.XXX のものを使用するようです。
元々のメッセージプロパティファイルは、spring-security-core のバイナリの方の jar ファイルに含まれています。
/org/springframework/security フォルダあたりにあると思います。
割と他の言語のものは、揃っているのに日本語はありませんでした。

権限 Mapping クラスの作成

Active Directory の Group と Spring Security の Role の紐付けを行います。
Active Directory の memberOf 属性を元に紐付けを行うのですが
わたしの環境では、なぜか Primary Group に設定された Group が memberOf 属性に追加されないみたいでした。
となると Domain Users Group にしか所属しない AD ユーザの場合、memberOf 属性がなしになり Role を割り当てられません。
本来なら Domain Users あたりに所属する AD ユーザに ROLE_USER 権限を付与したいところなのですが
とりあえず、認証OK の場合は、無条件に ROLE_USER 権限を付与することにしました。
あとは、memberOf 属性から Domain Admins または、Administrators に所属する AD ユーザに ROLE_ADMIN 権限を付与しています。

MyGrantedAuthoritiesMapper.java

package com.mydomain;

import java.util.Collection;
import java.util.HashSet;
import java.util.Set;

import org.springframework.security.core.GrantedAuthority;
import org.springframework.security.core.authority.SimpleGrantedAuthority;
import org.springframework.security.core.authority.mapping.GrantedAuthoritiesMapper;

public class MyGrantedAuthoritiesMapper implements
    GrantedAuthoritiesMapper {

  public Collection<? extends GrantedAuthority> mapAuthorities(
      Collection<? extends GrantedAuthority> authorities) {

    Set<SimpleGrantedAuthority> roles = new HashSet<SimpleGrantedAuthority>();
    roles.add(new SimpleGrantedAuthority("ROLE_USER"));

    for (GrantedAuthority authority : authorities) {
      switch (authority.toString()) {
        case "Domain Admins" :
        case "Administrators" :
          roles.add(new SimpleGrantedAuthority("ROLE_ADMIN"));
          break;          
      }
    }

    return roles;
  }
}

Spring Securityの設定

「/resources」以下は、認証を設定せず、それ以外の URL に認証を設定しています。
「/admin.jsp」へのアクセスは、管理者権限を持つユーザに制限しています。
ログイン後にログインページが表示されるのが微妙なので
「/login.jsp」へのアクセスは、ログインしていないユーザに制限しています。
権限エラーページを使い回ししていますが、別に作った方がいいかも？
ログイン Top ページにリダイレクトするのもありかも？？

ActiveDirectoryLdapAuthenticationProvider を定義して
AuthoritiesMapper に先ほど作成した MyGrantedAuthoritiesMapper クラスを設定します。

applicationContext-security.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans:beans
  xmlns="http://www.springframework.org/schema/security"
  xmlns:beans="http://www.springframework.org/schema/beans"
  xmlns:c="http://www.springframework.org/schema/c"
  xmlns:p="http://www.springframework.org/schema/p"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://www.springframework.org/schema/security
    http://www.springframework.org/schema/security/spring-security-3.1.xsd
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans-3.2.xsd">

  <http pattern="/resources/**" security="none"/>
  
  <http pattern="/login.jsp*" auto-config='true' access-denied-page="/denied.jsp">
    <intercept-url pattern="/**" access="ROLE_ANONYMOUS" />
  </http>
  
  <http pattern="/**" auto-config='true' access-denied-page="/denied.jsp" use-expressions="true">
    <intercept-url pattern="/admin.jsp" access="hasRole('ROLE_ADMIN')" />
    <intercept-url pattern="/**" access="isFullyAuthenticated()" />
    <form-login
      login-page="/login.jsp"
      authentication-failure-url="/login.jsp?login_error=t" />
  </http>

  <authentication-manager>
    <authentication-provider ref="ldapActiveDirectoryAuthProvider" />
  </authentication-manager>

  <beans:bean id="ldapActiveDirectoryAuthProvider"
    class="org.springframework.security.ldap.authentication.ad.ActiveDirectoryLdapAuthenticationProvider"
    c:domain="mydomain.local"
    c:url="ldap://pdc:389/"
    p:authoritiesMapper-ref="myAuthoritiesMapper"
    p:useAuthenticationRequestCredentials="true"
    p:convertSubErrorCodesToExceptions="true" />
  
  <beans:bean id="myAuthoritiesMapper" class="com.mydomain.MyGrantedAuthoritiesMapper"/>
</beans:beans>

<http> タグの use-expressions 属性について

true にすると <intercept-url> タグの access 属性は、Spring EL の Security Expressions での設定になるようです。
access="ROLE_ADMIN"、access="IS_AUTHENTICATED_FULLY" は
access="hasRole('ROLE_ADMIN')"、access="isFullyAuthenticated()" となるようです。
結果が ture / false になるような EL 式をaccess 属性値に設定する感じになるみたいです。
また、View ファイル中で Spring Security の Taglib の属性値に EL 式を使用する場合も
use-expressions="true" としておく必要があるようです。

View ファイルの作成

ログインページ、Top ページ、管理者ページ、権限エラーページの４つを作成します。
なんとなく、ヘッダーとフッターをテンプレート化できそうですが
今回は、他のライブラリーなしでも Spring Security が動くこと確認したかったので使用しませんでした。
ページ遷移についても MVC フレームワークなどを使用していないので直リンクになっています。

login.jsp

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<%@ page contentType="text/html;charset=UTF-8" pageEncoding="UTF-8" %>
<%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c" %>
<%@ taglib uri="http://java.sun.com/jsp/jstl/functions" prefix="fn" %>
<%@ taglib uri="http://www.springframework.org/tags" prefix="spring" %>
<%@ taglib uri="http://www.springframework.org/tags/form" prefix="form" %>

<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
    <c:url value="/resources/style.css" var="style"/>
    <link rel="stylesheet" type="text/css" href="${style}" />
    <title>ログイン</title>
  </head>
  <body>
    <div id="page">
      <h3>ログイン</h3>
      <c:if test="${not empty param.login_error}">
      <div class="errors">
        <p><c:out value="${SPRING_SECURITY_LAST_EXCEPTION.message}" /></p>
      </div>
      </c:if>
      <spring:url value="/j_spring_security_check" var="form_url" />
      <form name="f" action="${fn:escapeXml(form_url)}" method="POST">
        <table>
          <tbody>
            <tr>
              <th><label for="j_username">ログインユーザ</label></th>
              <td><input id="j_username" type="text" name="j_username"/></td>
            </tr>
            <tr>
              <th><label for="j_password">パスワード</label></th>
              <td>
                <input id="j_password" type="password" name="j_password" />
                <input id="proceed" type="submit" value="ログイン" />
              </td>
            </tr>
          </tbody>
        </table>
      </form>
    </div>
  </body>
</html>

index.jsp

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<%@ page contentType="text/html;charset=UTF-8" pageEncoding="UTF-8"%>
<%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c"%>
<%@ taglib uri="http://www.springframework.org/security/tags" prefix="sec" %>

<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
    <c:url value="/resources/style.css" var="style" />
    <link rel="stylesheet" type="text/css" href="${style}" />
    <title>Top ページ</title>
  </head>
  <body>
    <div id="page">
      <h3>Top ページ</h3>

      ようこそ<sec:authentication property="principal.username" />さん<br />
      <sec:authentication property="principal.dn" /><br />
      <br />
      以下の権限が設定されています。
      <sec:authentication property="authorities" var="roles" scope="page" />
      <ul>
        <c:forEach var="role" items="${roles}">
          <li>${role}</li>
        </c:forEach>
      </ul>

      <div class="footer">
        <a href="./admin.jsp">Admin ページへ</a>
        <sec:authorize access="hasRole('ROLE_ADMIN') == false">
        ※管理者権限は設定されていません。
        </sec:authorize>
        <br />
        <a href="./j_spring_security_logout">ログアウト</a>
      </div>
    </div>
  </body>
</html>

admin.jsp

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<%@ page contentType="text/html;charset=UTF-8" pageEncoding="UTF-8" %>
<%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c"%>

<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
    <c:url value="/resources/style.css" var="style" />
    <link rel="stylesheet" type="text/css" href="${style}" />
    <title>管理者ページ</title>
  </head>
  <body>
    <div id="page">
      <h3>管理者ページ</h3>
      <div class="footer">
        <a href="./">Top ページへ</a><br />
        <a href="./j_spring_security_logout">ログアウト</a>
      </div>
    </div>
  </body>
</html>

denied.jsp

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<%@ page contentType="text/html;charset=UTF-8" pageEncoding="UTF-8"%>
<%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c"%>

<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
    <c:url value="/resources/style.css" var="style" />
    <link rel="stylesheet" type="text/css" href="${style}" />
    <title>権限エラー</title>
  </head>
  <body>
    <div id="page">
      <div class="errors">
        <h3>権限エラー</h3>
        <p>このページにアクセスする権限がありません。</p>
      </div>
      <div class="footer">
        <a href="./">Top ページへ</a><br />
        <a href="./j_spring_security_logout">ログアウト</a>
      </div>
    </div>
  </body>
</html>

style.css

body {
  margin: 0px;
  padding: 0px;
  font: 13px Arial, Helvetica, sans-serif;
  color: #212121;
}
 
h1 {
  margin-top: 0px;
  font-size: 2.4em;
}
 
p {
  margin-bottom: 1.8em;
  line-height: 160%;
}
 
table {
  margin: 0px auto;
}
 
th, td {
  text-align: left;
}
 
div.errors {
  background-color: #FFEBE8;
  border: solid 1px #DD3C10;
  width: 300px;
  margin: 3px auto;
  padding: 3px;
}

div.footer {
  border-top: solid 1px #777;
  margin-top: 7px;
  padding-top: 3px;
  text-align: left;
}
 
#page {
  width: 320px;
  margin: 0px auto;
  padding: 30px 0px;
  text-align: center;
}

#j_username {
  width: 98%;
}

#j_password {
  width: 100px;
}

POM ファイルの作成

POM ファイルを以下の内容で作成する。

pom.xml

<project
  xmlns="http://maven.apache.org/POM/4.0.0"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://maven.apache.org/POM/4.0.0
    http://maven.apache.org/maven-v4_0_0.xsd">

  <modelVersion>4.0.0</modelVersion>
  <groupId>com.mydomain</groupId>
  <artifactId>studying-spring-security-ad</artifactId>
  <packaging>war</packaging>
  <version>1.0</version>
  <name>studying-spring-security-ad</name>

  <properties>
    <java.version>1.7</java.version>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <spring.version>3.2.3.RELEASE</spring.version>
    <spring-security.version>3.1.4.RELEASE</spring-security.version>
  </properties>

  <dependencies>
    <dependency>
      <groupId>javax</groupId>
      <artifactId>javaee-api</artifactId>
      <version>6.0</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>javax.servlet</groupId>
      <artifactId>jstl</artifactId>
      <version>1.2</version>
    </dependency>

    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-context</artifactId>
      <version>${spring.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-webmvc</artifactId>
      <version>${spring.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-jdbc</artifactId>
      <version>${spring.version}</version>
    </dependency>

    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-core</artifactId>
      <version>${spring-security.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-config</artifactId>
      <version>${spring-security.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-web</artifactId>
      <version>${spring-security.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-ldap</artifactId>
      <version>${spring-security.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-taglibs</artifactId>
      <version>${spring-security.version}</version>
    </dependency>

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
      <version>1.2.17</version>
    </dependency>
  </dependencies>

  <build>
    <finalName>studying-spring-security-ad</finalName>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.1</version>
        <configuration>
          <source>${java.version}</source>
          <target>${java.version}</target>
          <encoding>${project.build.sourceEncoding}</encoding>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.tomcat.maven</groupId>
        <artifactId>tomcat7-maven-plugin</artifactId>
        <version>2.1</version>
      </plugin>
    </plugins>
  </build>
</project>

ビルドと実行

コマンドプロンプトを開きCドライブ直下の「studying-spring-security-ad」フォルダに移動後、以下の mvn コマンドを実行します。

cd c:\studying-spring-security-ad
mvn clean package
mvn tomcat7:run

ブラウザから「http://localhost:8080/studying-spring-security-ad/」を開いて AD ユーザでログインできるか試してみてください。
また、管理者ページを表示できるユーザとできないユーザも確認できると思います。

Administrator について

なぜかわたしの環境では最初、Administrator でログインできませんでした。
ログイン処理の際に Active Directory の userPrincipalName 属性を元にユーザーが検索されるようなのですが
これの登録がありませんでした。
Samba 4 で生成された Administrator は、自動的に userPrincipalName 属性が登録されないのでしょか？
Windows の Active Directory 管理から Administrator の「プロパティ」を開いて
「アカウント」タブにある「ユーザログオン名」を入力することでログインできるようになりました。

おわりに

割と簡単に AD ユーザでの Form認証ができたのでは思う。（Primary Group など微妙なところがあったにせよ…
この感じだとアプリ側をあまり変更せず、DB を使う認証プロバイダーにも変更できそうだ。
よくできているなぁと思った。
とはいっても、実際の業務アプリなどでお客さんに提案するのには勇気がいる。
Spring Security のものをベースにしつつも自分で MyActiveDirectoryLdapAuthenticationProvider 的なものを
作る覚悟は必要になるだろう。
Spring MVC Framework を使わなくても認証処理が動くことも確認できたと思う。
認証処理が Servlet Filter として実装されているからなのだろうけど。
Spring MVC Framework 以外の MVC Framework を選択したとしても
認証処理には、Spring Security を使うということも可能だと思う。

参考URL: http://static.springsource.org/spring-security/site/docs/3.1.x/reference/ldap.html; http://comdynamics.net/blog/544/spring-security-3-integration-with-active-directory-ldap/; http://raymondhlee.wordpress.com/2012/03/17/active-directory-authentication-with-spring-security-3-1/; http://static.springsource.org/spring-security/site/docs/3.1.x/reference/taglibs.html; http://doanduyhai.wordpress.com/2012/02/26/spring-security-part-v-security-tags/; http://support.microsoft.com/kb/275523/ja

Spring Security で Digest 認証をテストする

2013-05-20T22:00:00.000+09:00

はじめに

なぜに Digest 認証なのか？
RESTful な Web アプリでユーザ認証を考えた場合
普通に Form 認証的な感じで Cookie に Session Id を保存するパターンでもいいのでは？
と思ったのですが RESTful の要件に Stateless というのもがあり
アクセスは 1回ごとに完結しないといけないとのことです。
クライアントのセッション状態をサーバーで管理するのはよくないようです。
このあたりは、理念というか、こだわりというか、なんとなくどちらでもいいような…
まぁ、とりあえず、Cookie / Session はダメということで
Http 認証ということになる訳ですが
Basic 認証では、ちょっと…なので Digest 認証になりました。
どの場合であっても SSL にはしておきたいところです。

今回は、簡単な Web アプリとテストを作成して動作を検証してみたいと思います。
また、Spring Framework 3.2 から Spring MVC Test Framework が利用できるので、これも試してみます。
ではでは！Getting Started!!

環境

OS	Windows XP
アプリケーションサーバー	Tomcat 7.0.37
Java	JDK 1.7.0_21
フレームワーク	Spring Framework 3.2.2.RELEASE
フレームワーク	Spring Security 3.1.4.RELEASE
ライブラリー	HttpClient 4.2.5
	JsonPath 0.8.1
	Jackson 2.2.1
	JXPath Component 1.3
ビルドツール	Maven 3.0.5 ※mvnコマンドが実行できるように設定しておきます。

プロジェクト構成

Cドライブ直下に「studying-spring-security-digest」フォルダを作成し各ファイルを以下のように配置します。
ファイルは、すべて UTF-8 で保存します。

C:\studying-spring-security-digest
- src
  - main
    - java
      - com
        
        mydomain
        
        web
        
        ApiController.java
    - resources
      - META-INF
        
        spring
        
        applicationContext-security.xml
      - log4j.properties
    - webapp
      - WEB-INF
        
        spring
        
        webmvc-config.xml
        
        web.xml
  - test
    - java
      - com
        
        mydomain
        
        web
        
        ApiControllerDigestAuthTest.java
- pom.xml

ServletとLoggerの設定

web.xml ファイルを以下の内容で作成する。

web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app version="3.0"
  xmlns="http://java.sun.com/xml/ns/javaee"
  xmlns:xml="http://www.w3.org/XML/1998/namespace"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://java.sun.com/xml/ns/javaee
    http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd">
    
  <display-name>studying-spring-security-digest</display-name>

  <context-param>
    <param-name>contextConfigLocation</param-name>
    <param-value>classpath*:META-INF/spring/applicationContext*.xml</param-value>
  </context-param>
  <listener>
    <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
  </listener>
  
  <filter>
    <filter-name>CharacterEncodingFilter</filter-name>
    <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
    <init-param>
      <param-name>encoding</param-name>
      <param-value>UTF-8</param-value>
    </init-param>
    <init-param>
      <param-name>forceEncoding</param-name>
      <param-value>true</param-value>
    </init-param>
  </filter>
  <filter-mapping>
    <filter-name>CharacterEncodingFilter</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>
  
  <filter>
    <filter-name>springSecurityFilterChain</filter-name>
    <filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter-class>
  </filter>
  <filter-mapping>
    <filter-name>springSecurityFilterChain</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>
  
  <servlet>
    <servlet-name>springMVCServlet</servlet-name>
    <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
    <init-param>
      <param-name>contextConfigLocation</param-name>
      <param-value>WEB-INF/spring/webmvc-config.xml</param-value>
    </init-param>
    <load-on-startup>1</load-on-startup>
  </servlet>
  <servlet-mapping>
    <servlet-name>springMVCServlet</servlet-name>
    <url-pattern>/</url-pattern>
  </servlet-mapping>
</web-app>

ログ設定ファイルを以下の内容で作成する。
Digest 認証の Debug ログがコンソールに出力されるようにしています。

log4j.properties

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n
 
log4j.rootLogger=error, stdout

log4j.logger.org.springframework.security.web.authentication.www.DigestAuthenticationEntryPoint=debug, stdout
log4j.logger.org.springframework.security.web.authentication.www.DigestAuthenticationFilter=debug, stdout

Spring MVCの設定

Spring MVCの設定ファイルを以下の内容で作成する。

webmvc-config.xml

<?xml version="1.0" encoding="UTF-8" ?>
<beans xmlns="http://www.springframework.org/schema/beans"
  xmlns:context="http://www.springframework.org/schema/context"
  xmlns:mvc="http://www.springframework.org/schema/mvc"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans-3.2.xsd
    http://www.springframework.org/schema/context
    http://www.springframework.org/schema/context/spring-context-3.2.xsd
    http://www.springframework.org/schema/mvc
    http://www.springframework.org/schema/mvc/spring-mvc-3.2.xsd">

  <context:component-scan base-package="com.mydomain" />
  <mvc:annotation-driven />
</beans>

Spring Securityの設定

「/」は、認証を設定せず、それ以外の URL に認証を設定しています。
「/Admin」へのアクセスは、管理者権限を持つユーザに制限しています。
セッションは使用しないので stateless としています。

Spring Security で Digest 認証を行うためには、いろいろ決め事があるみたいで
とりあえず、ユーザーのパスワードは平文で保存しておかないといけないようです。
ハッシュ化して保存したい場合は、 DigestAuthenticationFilter あたりを改造することになるのでしょうか？
Digest 認証の Filter も明示的に定義する必要があるようです。
今回、Basic 認証を使わないので、その位置に挟んでいます。
また、Digest 認証の Filter には、AuthenticationManager でなく
直接 UserDetailsService を設定するようです。
nonce の有効期限は 3秒に設定しています。

ログインユーザー情報は、InMemoryDaoImpl から取得するようにしました。
ユーザーアカウントは一般ユーザと管理者ユーザを登録しています。

applicationContext-security.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans:beans
  xmlns="http://www.springframework.org/schema/security"
  xmlns:beans="http://www.springframework.org/schema/beans"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xmlns:p="http://www.springframework.org/schema/p"
  xsi:schemaLocation="
    http://www.springframework.org/schema/security
    http://www.springframework.org/schema/security/spring-security-3.1.xsd
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans-3.2.xsd">

  <http pattern="/" security="none" create-session="stateless"/>
  
  <http entry-point-ref="digestEntryPoint" create-session="stateless">
    <intercept-url pattern="/Admin" access="ROLE_ADMIN" />
    <intercept-url pattern="/**" access="ROLE_USER" />
    <custom-filter position="BASIC_AUTH_FILTER" ref="digestFilter"/>
  </http>

  <beans:bean id="digestFilter"
    class="org.springframework.security.web.authentication.www.DigestAuthenticationFilter">
    <beans:property name="userDetailsService" ref="inMemoryDaoImpl" />
    <beans:property name="authenticationEntryPoint" ref="digestEntryPoint" />
  </beans:bean>

  <beans:bean id="digestEntryPoint"
    class="org.springframework.security.web.authentication.www.DigestAuthenticationEntryPoint">
    <beans:property name="realmName" value="My Realm" />
    <beans:property name="key" value="mykey" />
    <beans:property name="nonceValiditySeconds" value="3" />
  </beans:bean>
  
  <authentication-manager>
    <authentication-provider>
      <user-service id="inMemoryDaoImpl">
        <user name="admin" password="admin-pass" authorities="ROLE_USER, ROLE_ADMIN" />
        <user name="user" password="user-pass" authorities="ROLE_USER" />
      </user-service>
    </authentication-provider>
  </authentication-manager>
</beans:beans>

Controller クラスの作成

ApiController クススを以下の内容で作成する。
呼出可能な URL は、「/」「/Home」「/Admin」「UserDetails」４つです。
「/」「/Home」「/Admin」は、文字列を返します。
「UserDetails」は、ログインユーザ情報を Json 形式で返します。

ApiController.java

package com.mydomain.web;

import org.springframework.security.core.Authentication;
import org.springframework.security.core.context.SecurityContextHolder;
import org.springframework.security.core.userdetails.UserDetails;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;


@Controller
public class ApiController {

  @RequestMapping("/")
  @ResponseBody
  public String index() { return "Index"; }
  
  @RequestMapping("/Home")
  @ResponseBody
  public String home() { return "Home"; }

  @RequestMapping("/Admin")
  @ResponseBody
  public String admin() { return "Admin"; }

  @RequestMapping("/UserDetails")
  @ResponseBody
  public UserDetails userDetails() {
    Authentication auth = SecurityContextHolder.getContext().getAuthentication();
    return (UserDetails)auth.getPrincipal();
  }
}

Controller クラスのテスト作成

Spring Security が起動するように setup() メソッドの中で FilterChainProxy を
MockMvc の Filter に追加しています。
MockHttpServletRequestBuilder から Digest 認証の Authorization リクエストヘッダーを
追加できそうになかったので Apache HttpComponents を使用することにしました。
このあたりを自作してしまうと今度はそこのテストが必要になってきそうなので…
Json データの検証は、JsonPath を使う方法と Jackson と JXPath を使う方法を試してみました。

ApiControllerDigestAuthTest.java

package com.mydomain;

import static org.junit.Assert.assertEquals;
import static org.springframework.test.web.servlet.request.MockMvcRequestBuilders.*;
import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.*;

import java.util.Map;

import org.apache.commons.jxpath.JXPathContext;
import org.apache.http.Header;
import org.apache.http.HeaderElement;
import org.apache.http.auth.UsernamePasswordCredentials;
import org.apache.http.impl.auth.DigestScheme;
import org.apache.http.message.BasicHeader;
import org.apache.http.message.BasicHttpRequest;
import org.apache.http.protocol.BasicHttpContext;
import org.junit.Before;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.http.MediaType;
import org.springframework.mock.web.MockHttpServletRequest;
import org.springframework.security.web.FilterChainProxy;
import org.springframework.test.context.ContextConfiguration;
import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;
import org.springframework.test.context.web.WebAppConfiguration;
import org.springframework.test.web.servlet.MockMvc;
import org.springframework.test.web.servlet.MvcResult;
import org.springframework.test.web.servlet.setup.MockMvcBuilders;
import org.springframework.web.context.WebApplicationContext;
import org.springframework.web.context.request.ServletWebRequest;

import com.fasterxml.jackson.databind.ObjectMapper;


@RunWith(SpringJUnit4ClassRunner.class)
@WebAppConfiguration()
@ContextConfiguration({
  "file:src/main/webapp/WEB-INF/spring/webmvc-config.xml",
  "file:src/main/resources/META-INF/spring/applicationContext-security.xml"})
public class ApiControllerDigestAuthTest {

  @Autowired
  private WebApplicationContext wac;
  
  @Autowired
  private FilterChainProxy springSecurityFilterChain;

  private MockMvc mockMvc;

    
  @Before
  public void setup() {
    this.mockMvc = MockMvcBuilders.webAppContextSetup(this.wac)
      .addFilters(this.springSecurityFilterChain).build();
  }
    
  @SuppressWarnings("unchecked")
  @Test
  public void RoleUserTest() throws Exception {

    // ===== RoleUser Test Data ===== //
    String userName = "user";
    String password = "user-pass";
    UsernamePasswordCredentials credentials = new UsernamePasswordCredentials(userName, password);
    BasicHttpRequest request = new BasicHttpRequest("GET", "/");
    BasicHttpContext context = new BasicHttpContext();
    BasicHeader header = null;
    DigestScheme digestScheme = null;
    Header reqHeader = null;
    String resHeader = "";
    MvcResult mvcResult = null;
  

    // ===== Test 1 ===== //
    this.mockMvc
      .perform(
        get("/")
        .accept(MediaType.TEXT_PLAIN))
      .andExpect(status().isOk())
      .andExpect(content().string("Index"));


    // ===== Test 2 ===== //
    mvcResult = this.mockMvc
      .perform(
        get("/Home")
        .accept(MediaType.TEXT_PLAIN))
      .andExpect(status().isUnauthorized())
      .andReturn();
  

    // ===== Test 3 ===== //
    // Response Header から Authorization Digest Request Header を作成する。
    resHeader = mvcResult.getResponse().getHeaderValue("WWW-Authenticate").toString();
    resHeader = resHeader.substring(7); // 先頭文字列 Digest を削除
    header = new BasicHeader("WWW-Authenticate", resHeader);
  
    digestScheme = new DigestScheme();
    for (HeaderElement elm : header.getElements()) {      
      switch (elm.getName()) {
        case "realm" :
        case "nonce" :
          digestScheme.overrideParamter(elm.getName(), elm.getValue());
          break;
      }
    }
    digestScheme.overrideParamter("qop", "auth");
    reqHeader = digestScheme.authenticate(credentials, request, context);
  
    // URL 呼出し
    this.mockMvc
      .perform(
        get("/Home")
        .accept(MediaType.TEXT_PLAIN)
        .header(reqHeader.getName(), reqHeader.getValue()))
      .andExpect(status().isOk())
      .andExpect(content().string("Home"));


    // ===== Test 4 ===== //
    reqHeader = digestScheme.authenticate(credentials, request, context);
    this.mockMvc
      .perform(
        get("/Admin")
        .accept(MediaType.TEXT_PLAIN)
        .header(reqHeader.getName(), reqHeader.getValue()))
      .andExpect(status().isForbidden());
  

    // ===== Test 5 ===== //
  
    // 3秒スリープして nonce を期限切れにする。
    Thread.sleep(3000);
    reqHeader = digestScheme.authenticate(credentials, request, context);
    mvcResult = this.mockMvc
      .perform(
        get("/UserDetails")
        .accept(MediaType.TEXT_PLAIN)
        .header(reqHeader.getName(), reqHeader.getValue()))
      .andExpect(status().isUnauthorized())
      .andReturn();
  

    // ===== Test 6 ===== //
    // Response Header から Authorization Digest Request Header を作成する。
    resHeader = mvcResult.getResponse().getHeaderValue("WWW-Authenticate").toString();
    resHeader = resHeader.substring(7);
    header = new BasicHeader("WWW-Authenticate", resHeader);
  
    digestScheme = new DigestScheme();
    for (HeaderElement elm : header.getElements()) {      
      switch (elm.getName()) {
        case "realm" :
        case "nonce" :
          digestScheme.overrideParamter(elm.getName(), elm.getValue());
          break;
      }
    }
    digestScheme.overrideParamter("qop", "auth");
    reqHeader = digestScheme.authenticate(credentials, request, context);

    // URL 呼出し - JsonPath で JSON データを検証
    this.mockMvc
      .perform(
        get("/UserDetails")
        .accept(MediaType.APPLICATION_JSON)
        .header(reqHeader.getName(), reqHeader.getValue()))
      .andExpect(status().isOk())
      .andExpect(jsonPath("$.username").value(userName))
      .andExpect(jsonPath("$.authorities").isArray())
      .andExpect(jsonPath("$.authorities[?(@.authority == 'ROLE_USER')]").exists())
      .andExpect(jsonPath("$.authorities[?(@.authority == 'ROLE_ADMIN')]").doesNotExist());
  }

  @SuppressWarnings("unchecked")
  @Test
  public void RoleAdminTest() throws Exception {

    // ===== RoleAdmin Test Data ===== //
    String userName = "admin";
    String password = "admin-pass";
    UsernamePasswordCredentials credentials = new UsernamePasswordCredentials(userName, password);
    BasicHttpRequest request = new BasicHttpRequest("GET", "/");
    BasicHttpContext context = new BasicHttpContext();
    BasicHeader header = null;
    DigestScheme digestScheme = null;
    Header reqHeader = null;
    String resHeader = "";
    MvcResult mvcResult = null;


    // ===== Test 7 ===== //
    mvcResult = this.mockMvc
      .perform(
        get("/Admin")
        .accept(MediaType.TEXT_PLAIN))
      .andExpect(status().isUnauthorized())
      .andReturn();


    // ===== Test 8 ===== //
    // Response Header から Authorization Digest Request Header を作成する。
    resHeader = mvcResult.getResponse().getHeaderValue("WWW-Authenticate").toString();
    resHeader = resHeader.substring(7);
    header = new BasicHeader("WWW-Authenticate", resHeader);

    digestScheme = new DigestScheme();
    for (HeaderElement elm : header.getElements()) {      
      switch (elm.getName()) {
        case "realm" :
        case "nonce" :
          digestScheme.overrideParamter(elm.getName(), elm.getValue());
          break;
      }
    }
    digestScheme.overrideParamter("qop", "auth");
    reqHeader = digestScheme.authenticate(credentials, request, context);

    // URL 呼出し
    this.mockMvc
      .perform(
        get("/Admin")
        .accept(MediaType.TEXT_PLAIN)
        .header(reqHeader.getName(), reqHeader.getValue()))
      .andExpect(status().isOk())
      .andExpect(content().string("Admin"));


    // ===== Test 9 ===== //
    mvcResult = this.mockMvc
      .perform(
        get("/UserDetails")
        .accept(MediaType.APPLICATION_JSON)
        .header(reqHeader.getName(), reqHeader.getValue()))
      .andExpect(status().isOk())
      .andReturn();
  
    // Jackson と JXPath で JSON データを検証
    String response = mvcResult.getResponse().getContentAsString();
    ObjectMapper mapper = new ObjectMapper();
    Map<String, Object> userDetails = mapper.readValue(response, Map.class);
    JXPathContext jxContext = JXPathContext.newContext(userDetails);
  
    assertEquals(userName, jxContext.getValue("username").toString());
    assertEquals(2, jxContext.selectNodes("authorities").size());
    assertEquals(1, jxContext.selectNodes("authorities[@authority='ROLE_USER']").size());
    assertEquals(1, jxContext.selectNodes("authorities[@authority='ROLE_ADMIN']").size());
  }
}

RoleUser Test Data: 一般ユーザのテストデータ
Test 1: 「/」の呼出しテスト
認証が不要な URL にアクセスする。
レスポンスコード 200:OK と共に文字列 Index を取得する。
Test 2: 「/Home」の呼出しテストA
認証が必要な URL に Authorization リクエストヘッダーなしでアクセスする。
レスポンスコード 401:Unauthorized が返る。
Test 3: 「/Home」の呼出しテストB
Test 2 のレスポンスヘッダー WWW-Authenticate から realm と nonce を取得し
ユーザーとパスワードを加えて Authorization リクエストヘッダー作成する。
Authorization リクエストヘッダーを付けてアクセスする。
レスポンスコード 200:OK と共に文字列 Home を取得する。
Test 4: 「/Admin」の呼出しテスト
Admin 権限が必要な URL に一般ユーザでアクセスする。
Test 3 で作成した Authorization リクエストヘッダーを使用する。
レスポンスコード 403:Forbidden が返る。
Test 5: 「/UserDetails」の呼出しテストA
有効期限切れ nonce でアクセスする。
nonce を有効期限切れにするため 3秒スリープする。
Test 3 で作成した Authorization リクエストヘッダーを使用する。
レスポンスコード 401:Unauthorized が返る。
Test 6: 「/UserDetails」の呼出しテストB
Test 5 のレスポンスヘッダー WWW-Authenticate から realm と nonce を取得し
ユーザーとパスワードを加えて Authorization リクエストヘッダー再作成する。
Authorization リクエストヘッダーを付けてアクセスする。
レスポンスコード 200:OK と共にログインユーザ情報を Json 形式で取得する。
JSON データを JsonPath で検証する。

RoleAdmin Test Data: 管理者ユーザのテストデータ
Test 7: 「/Admin」の呼出しテストA
認証が必要な URL に Authorization リクエストヘッダーなしでアクセスする。
レスポンスコード 401:Unauthorized が返る。
Test 8: 「/Admin」の呼出しテストB
Test 7 のレスポンスヘッダー WWW-Authenticate から realm と nonce を取得し
ユーザーとパスワードを加えて Authorization リクエストヘッダー作成する。
Authorization リクエストヘッダーを付けてアクセスする。
Admin 権限が必要な URL に管理者ユーザでアクセスする。
レスポンスコード 200:OK と共に文字列 Admin を取得する。
Test 9: 「/UserDetails」の呼出しテスト
Test 8 で作成した Authorization リクエストヘッダーを使用する。
レスポンスコード 200:OK と共にログインユーザ情報を Json 形式で取得する。
JSON データを Jackson と JXPath で検証する。

POM ファイルの作成

POM ファイルを以下の内容で作成する。

pom.xml

<project
  xmlns="http://maven.apache.org/POM/4.0.0"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://maven.apache.org/POM/4.0.0
    http://maven.apache.org/maven-v4_0_0.xsd">

  <modelVersion>4.0.0</modelVersion>
  <groupId>com.mydomain</groupId>
  <artifactId>studying-spring-security-digest</artifactId>
  <packaging>war</packaging>
  <version>1.0</version>
  <name>studying-spring-security-digest</name>

  <properties>
    <java.version>1.7</java.version>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <spring.version>3.2.2.RELEASE</spring.version>
    <spring-security.version>3.1.4.RELEASE</spring-security.version>
  </properties>

  <dependencies>
    <dependency>
      <groupId>javax.servlet</groupId>
      <artifactId>javax.servlet-api</artifactId>
      <version>3.0.1</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>javax.servlet.jsp</groupId>
      <artifactId>jsp-api</artifactId>
      <version>2.2</version>
      <scope>provided</scope>
    </dependency>

    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-context</artifactId>
      <version>${spring.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-webmvc</artifactId>
      <version>${spring.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-jdbc</artifactId>
      <version>${spring.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-test</artifactId>
      <version>${spring.version}</version>
      <scope>test</scope>
    </dependency>

    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-core</artifactId>
      <version>${spring-security.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-web</artifactId>
      <version>${spring-security.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-config</artifactId>
      <version>${spring-security.version}</version>
    </dependency>

    <dependency>
      <groupId>com.fasterxml.jackson.core</groupId>
      <artifactId>jackson-databind</artifactId>
      <version>2.2.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>httpclient</artifactId>
      <version>4.2.5</version>
    </dependency>

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>com.jayway.jsonpath</groupId>
      <artifactId>json-path-assert</artifactId>
      <version>0.8.1</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>commons-jxpath</groupId>
      <artifactId>commons-jxpath</artifactId>
      <version>1.3</version>
    </dependency>

    <dependency>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
      <version>1.2.17</version>
    </dependency>
  </dependencies>

  <build>
    <finalName>studying-spring-security-digest</finalName>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.1</version>
        <configuration>
          <source>${java.version}</source>
          <target>${java.version}</target>
          <encoding>${project.build.sourceEncoding}</encoding>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.tomcat.maven</groupId>
        <artifactId>tomcat7-maven-plugin</artifactId>
        <version>2.1</version>
      </plugin>
    </plugins>
  </build>
</project>

ビルドと実行

コマンドプロンプトを開きCドライブ直下の「studying-spring-security-digest」フォルダに移動後、以下の mvn コマンドを実行します。

cd c:\studying-spring-security-digest
mvn clean package
mvn tomcat7:run

テストがパスして war ファイルが生成されれば、とりあえず OK です。
実際に直接ブラウザから「http://localhost:8080/studying-spring-security-digest/」にアクセスしてみるのもよいと思います。
Controller の URL 「/」「/Home」「/Admin」「/UserDetails」を一般ユーザと管理者ユーザで呼出してコンソールログを確認してみる。
設定した有効期限(3秒)のタイミングで nc がリセットされ新しい nonce に変わっているのも確認できると思います。

おわりに

テストコードの中で digestScheme.authenticate() メソッドを呼出して nc をインクリメントなどして
Authorization リクエストヘッダーを更新しているのですが、この呼出しをコメントアウトしてもテストは通ってしまいます。
一度受け入れたことのある Response ダイジェスト文字列が送られてきた場合、エラーにしてほしいような気がしますが…
リプレイ攻撃とか大丈夫なのだろうか？
とりあえず、nonce の有効期限は効いているようなので問題ないかな？
RESTful の要件は満たさないのかもしれないけど
Spring Security で WebAPI の認証をする場合、Cookie / Session が無難かも？
もしくは、OAuth の対応に期待か？！
Spring MVC Test Framework は、かなりいい感じだ。
いろいろテストできそうだ！

参考URL: http://static.springsource.org/spring-security/site/docs/3.1.x/reference/basic.html; http://static.springsource.org/spring/docs/3.2.x/spring-framework-reference/html/testing.html; http://www.baeldung.com/2011/11/20/basic-and-digest-authentication-for-a-restful-service-with-spring-security-3-1/; http://d.hatena.ne.jp/kuwalab/20130402/p1; http://x68000.q-e-d.net/~68user/net/http-auth-2.html; http://hc.apache.org/; http://code.google.com/p/json-path/; http://jackson.codehaus.org/; http://commons.apache.org/proper/commons-jxpath/

Samba4 で Active Directory / Member Server 編 - わたしもやってみた -

2013-04-22T22:00:00.000+09:00

はじめに

今回は、Member Server を構築したいと思います。
そして『Samba4 で Active Directory / PDC編- わたしもやってみた -』で構築した
Primary Domain Controller に CentOS をドメイン参加させたいと思います。
ドメインコントローラーから見るとコンピューターアカウントになります。
前提としては、 Primary Domain Controller の構築が終わっていること
そして Samba4 と Bind のインストール、NTP の時間合わせが済んでいることとします。
まだの場合は、『Samba4 で Active Directory / インストール編 - わたしもやってみた -』を参考に

Samba4 HOWTO にある Domain_Member をベースに
先人の方々の情報も踏まえつつ、わたしもやってみたいと思います。
ではでは Getting Started!!

環境

Domain

レルム	MYDOMAIN.LOCAL
ドメイン	MYDOMAIN

Primary Server

OS	ContOS 6.4(CentOS-6.4-i386-minimal.iso)
Samba	4.0.5
Bind	9.8.2
NTP	ntp-4.2.6p5
Host	pdc
IP	192.168.0.10
Gateway	192.168.0.1
DNS	127.0.0.1

Member Server

OS	ContOS 6.4(CentOS-6.4-i386-minimal.iso) VMware Player 5.0.2
Samba	4.0.5
Bind	9.8.2
NTP	ntp-4.2.6p5
Host	mbr01
IP	192.168.0.100
Gateway	192.168.0.1
DNS	192.168.0.10

環境設定

ネットワークを設定する。

まず IP の設定
/etc/sysconfig/network-scripts ディレクトリにある ifcfg-eth0 ファイルを以下のように変更する。

/etc/sysconfig/network-scripts/ifcfg-eth0

...
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.100
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
NETWORK=192.168.0.0
BROADCAST=192.168.0.255
...

次にホスト名の設定
/etc/sysconfig ディレクトリにある network ファイルを以下のように変更する。

/etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=mbr01

そして IP とホスト名の関連付け
/etc ディレクトリにある hosts ファイルを以下のように変更する。

/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.100 mbr01 mbr01.mydomain.local

今回は Primary Server の DNS を利用しようと思うので Bind を止めておく。

service named stop
chkconfig named off

そして DNS を Primary Server に設定する。
/etc ディレクトリにある resolv.conf を以下のように変更する。

/etc/resolv.conf

domain mydomain.local
nameserver 192.168.0.10

ここで一度、再起動する。

reboot

ホスト名と IP 確認する。

hostname
ping mbr01
ping mbr01.mydomain.local

Kerberos の設定

Kerberos の設定ファイル krb5.conf を差し替える。
とりあえず、今の設定をバックアップして

mv /etc/krb5.conf /etc/krb5.conf_org

そして以下のような内容で /etc ディレクトリに krb5.conf を作成する。

/etc/krb5.conf

[logging]
  default = FILE:/var/log/krb5libs.log
  kdc = FILE:/var/log/krb5kdc.log
  admin_server = FILE:/var/log/kadmind.log

[libdefaults]
  default_realm = MYDOMAIN.LOCAL
  dns_lookup_realm = true
  dns_lookup_kdc = true
  ticket_lifetime = 24h
  forwardable = yes

[appdefaults]
  pam = {
    debug = false
    ticket_lifetime = 36000
    renew_lifetime = 36000
    forwardable = true
    krb4_convert = false
  }

ここでログインとチケットの一覧を確認しておく。
administrator のパスワードは、 Primary Domain Controller 構築の時に
samba-tool domain provision で指定したものになる。

kinit administrator@MYDOMAIN.LOCAL
klist

Samba4 の設定

Member Server の設定をする。
とりあえず、samba-tool domain provision を使って
smb.conf を生成することにした。
/usr/local/samba/etc ディレクトリに smb.conf が無いことを確認する。
有れば削除する。
では、以下のコマンドで、smb.conf を生成します。

/usr/local/samba/bin/samba-tool domain provision\
  --realm=MYDOMAIN.LOCAL \
  --domain=MYDOMAIN \
  --server-role=member \
  --dns-backend=NONE \
  --adminpass 'passwd-123'

生成された smb.conf を以下のように変更する。

/usr/local/samba/etc/smb.conf

[global]
  workgroup = MYDOMAIN
  security = ads
  realm = MYDOMAIN.LOCAL
  encrypt passwords = yes

  netbios name = MBR01
  server role = member server
  passdb backend = samba_dsdb
  server services = s3fs, rpc, nbt, wrepl, ldap, cldap, kdc, drepl, winbind, ntp_signd, kcc, dnsupdate

  idmap config *:backend = tdb
  idmap config *:range = 70001-80000

  #idmap config MYDOMAIN:backend = ad
  #idmap config MYDOMAIN:schema_mode = rfc2307
  #idmap config MYDOMAIN:range = 500-40000

  idmap config MYDOMAIN:backend = rid
  idmap config MYDOMAIN:range = 10000 - 19999

  #winbind nss info = rfc2307
  #winbind trusted domains only = no

  winbind use default domain = yes
  winbind enum users  = yes
  winbind enum groups = yes

  template homedir = /home/%U
  template shell = /bin/bash

smb.conf について

idmap config MYDOMAIN:backend = rid: RID で id と gid のマップングをすることにした。
MYDOMAIN ユーザの id と gid は、10000 ～ 19999 の範囲に
それ以外は、70001 ～ 80000 の範囲にマップングするようにした。
template homedir = /home/%U: Samba4 をドメインコントローラーで構成した場合、
%U がユーザ名に展開されず、/home ディレクトリ直下に %U ディレクトリができしまったのだけど
Member Server の場合、これが問題なく展開された。
ユーザディレクトリは /home 以下に生成されます。

今回は、Samba4 を使わず Winbind を使うことになりそうなので
Samba4 を止めておく。

service samba4 stop

Winbind について

Member Server として、Samba4 を構成する場合、
直接 winbind を使うことになるようだ。
ソースは、Samba4 のものをビルドしているけど
これって Samba3 なの？

最後に Member Server としてドメイン参加する。

/usr/local/samba/bin/net ads join -U administrator

Winbind の設定

モジュールをコピーする。

cp /usr/local/samba/lib/libnss_winbind.so /lib
ln -s /lib/libnss_winbind.so /lib/libnss_winbind.so.2
ln -s /usr/local/samba/lib/security/pam_winbind.so /lib/security
ldconfig

この状態で authconfig を実行すれば Winbind の PAM 関連のファイルがいい感じに更新される。

authconfig --enablewinbindauth --update

もう一点、初回ログイン時にホームディレクトリが自動作成されるに authconfig しておく。

authconfig --enablemkhomedir --update

nsswitch.conf を編集する。
/etc ディレクトリにある nsswitch.conf を以下の部分を変更する。

/etc/nsswitch.conf

...
passwd: compat winbind
group:  compat winbind
...

やっぱり、起動スクリプトは、ほしいということで
yum でインストールされる samba 3.6.9 の Winbind の起動スクリプトを元に作成した。
変更したところは、smb.conf と winbindd のパスになる。
/etc/rc.d/init.d ディレクトリに以下のような内容でファイルを作成し winbind の名前で保存する。

/etc/rc.d/init.d/winbind

#!/bin/sh
#
# chkconfig: - 27 73
# description: Starts and stops the Samba winbind daemon
#        #
# pidfile: /var/run/winbindd.pid
# config:  /usr/local/samba/etc/smb.conf


# Source function library.
. /etc/rc.d/init.d/functions

# Avoid using root's TMPDIR
unset TMPDIR

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ ${NETWORKING} = "no" ] && exit 1

# Check that smb.conf exists.
[ -f /usr/local/samba/etc/smb.conf ] || exit 6

[ -f /etc/sysconfig/samba ] && . /etc/sysconfig/samba

RETVAL=0


start() {
        KIND="Winbind"
 echo -n $"Starting $KIND services: "
 daemon /usr/local/samba/sbin/winbindd "$WINBINDOPTIONS"
 RETVAL=$?
 echo
 [ $RETVAL -eq 0 ] && touch /var/lock/subsys/winbindd || RETVAL=1
 return $RETVAL
} 

stop() {
        echo
 KIND="Winbind"
 echo -n $"Shutting down $KIND services: "
 killproc winbindd
 RETVAL=$?
 [ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/winbindd
 echo ""
 return $RETVAL
} 

restart() {
 stop
 start
} 

reload() {
        echo -n $"Reloading smb.conf file: "
 killproc winbindd -HUP
 RETVAL=$?
 echo
 return $RETVAL
} 

rhstatus() {
 status winbindd
 return $?
} 

# Allow status as non-root.
if [ "$1" = status ]; then
       rhstatus
       exit $?
fi

# Check that we can write to it... so non-root users stop here
[ -w /usr/local/samba/etc/smb.conf ] || exit 4

case "$1" in
  start)
   start
 ;;
  stop)
   stop
 ;;
  restart)
   restart
 ;;
  reload)
   reload
 ;;
  status)
   rhstatus
 ;;
  condrestart)
   [ -f /var/lock/subsys/winbindd ] && restart || :
 ;;
  *)
 echo $"Usage: $0 {start|stop|restart|reload|status|condrestart}"
 exit 2
esac

exit $?

サービスに登録しておく。

chmod 755 /etc/rc.d/init.d/winbind
chkconfig --add winbind
chkconfig winbind on

smbd と nmbd について

Samba4 を Member Server として構成しファイル、プリンタ共有をする場合、
smbd と nmbd を直接使うことになるようだ。
うむむ… ここまでくると、Member Server の場合は、
yum で samba3 をインストールする方が無難なのか？

CentOS でドメインログイン

まず、Winbind を起動する。

service winbind start

とりあえず、ドメインユーザとグループを確認しておこう。

/usr/local/samba/bin/wbinfo -u
/usr/local/samba/bin/wbinfo -g

では！ドメインログイン！！

ssh administrator@mbr01

uid と gid のマッピングはキャッシュされるようで
マッピングを変えてもすぐに反映されない。
そんな時は、以下のようにキャッシュを確認して

/usr/local/samba/bin/net cache list

そして、削除！

/usr/local/samba/bin/net cache flush

おわりに

なんだかんだで Samba4 はいい感じになっていると思う。
けど今後、まだ、どんどん進化していきそう。
とり残されないようにウォッチしていこう。

参考URL: https://wiki.samba.org/index.php/Samba4; https://wiki.samba.org/index.php/Samba4/Domain_Member

Samba4 で Active Directory / BDC編 - わたしもやってみた -

2013-04-21T22:00:00.000+09:00

はじめに

今回は、Backup Domain Controller を構築したいと思います。
そして『Samba4 で Active Directory / PDC編- わたしもやってみた -』で構築した
Primary Domain Controller にドメイン参加させたいと思います。
前提としては、Primary Domain Controller の構築が終わっていること
そして Samba4 と Bind のインストール、NTP の時間合わせが済んでいることになります。
まだの場合は、『Samba4 で Active Directory / インストール編 - わたしもやってみた -』を参考に

Samba4 HOWTO にある Join_a_domain_as_a_DC をベースに
先人の方々の情報も踏まえつつ、わたしもやってみたいと思います。
ではでは Getting Started!!

環境

Domain

レルム	MYDOMAIN.LOCAL
ドメイン	MYDOMAIN

Primary Server

OS	ContOS 6.4(CentOS-6.4-i386-minimal.iso)
Samba	4.0.5
Bind	9.8.2
NTP	ntp-4.2.6p5
Host	pdc
IP	192.168.0.10
Gateway	192.168.0.1
DNS	127.0.0.1

Backup Server

OS	ContOS 6.4(CentOS-6.4-i386-minimal.iso) VMware Player 5.0.2
Samba	4.0.5
Bind	9.8.2
NTP	ntp-4.2.6p5
Host	bdc01
IP	192.168.0.11
Gateway	192.168.0.1
DNS	192.168.0.10

環境設定

ネットワークを設定する。

まず IP の設定
/etc/sysconfig/network-scripts ディレクトリにある ifcfg-eth0 ファイルを以下のように変更する。

/etc/sysconfig/network-scripts/ifcfg-eth0

...
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.11
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
NETWORK=192.168.0.0
BROADCAST=192.168.0.255
...

次にホスト名の設定
/etc/sysconfig ディレクトリにある network ファイルを以下のように変更する。

/etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=bdc01

今回は Primary Server の DNS を利用しようと思うので Bind を止めておく。

service named stop
chkconfig named off

そして DNS を Primary Server に設定する。
/etc ディレクトリにある resolv.conf を以下のように変更する。

/etc/resolv.conf

domain mydomain.local
nameserver 192.168.0.10

DNS について

今回、Primary Server に Primary Domain Controller と DNSを置いているけど
ホントは、別のサーバーにした方がいいのだろうと思う。
せっかくバックアップを構築していても Primary Server が落ちたら
DNS も死ぬので Backup Domain Controller もうまく動かなくなるのかなぁと思う。
とりあえず、データのバックアップは、しているのだし
自動フェイルオーバーまで考えなければ問題ないか？

ここで一度、再起動する。

reboot

Kerberos の設定

Kerberos の設定ファイル krb5.conf を差し替える。
とりあえず、今の設定をバックアップして

mv /etc/krb5.conf /etc/krb5.conf_org

そして以下のような内容で /etc ディレクトリに krb5.conf を作成する。

/etc/krb5.conf

[libdefaults]
  dns_lookup_realm = true
  dns_lookup_kdc = true
  default_realm = MYDOMAIN.LOCAL

kinit administrator@MYDOMAIN.LOCAL
klist

Samba4 の設定

Backup Domain Controller の設定に入ります。
ここでのポイントは、smb.conf やその他諸々のファイルの生成に
samba-tool domain provision を使わないことです。
代わりに samba-tool domain join を使います。
/usr/local/samba/etc ディレクトリに smb.conf が無いことを確認する。
有れば削除する。
念のため Samba4 を停止しておく。

service samba4 stop

では、以下のコマンドで、smb.conf やその他諸々のファイルを生成します。

/usr/local/samba/bin/samba-tool domain join mydomain.local DC \
  -Uadministrator \
  --realm=mydomain.local \
  --dns-backend=BIND9_DLZ

オプションについて

--dns-backend=BIND9_DLZ を指定しているけど
今回は、Backup Server の DNS を使用していないので不要かも？
とりあえず Bind 関連のファイルを生成しておくことにした。

smb.conf は、以下のようになる。

/usr/local/samba/etc/smb.conf

# Global parameters
[global]
  workgroup = MYDOMAIN
  realm = mydomain.local
  netbios name = BDC01
  server role = active directory domain controller
  server services = s3fs, rpc, nbt, wrepl, ldap, cldap, kdc, drepl, winbind, ntp_signd, kcc, dnsupdate

[netlogon]
  path = /usr/local/samba/var/locks/sysvol/mydomain.local/scripts
  read only = No

[sysvol]
  path = /usr/local/samba/var/locks/sysvol
  read only = No

DNS の設定

Backup Server の IP、ホスト名を DNS に登録していきます。
まず、IP とホスト名の関連付けから

/usr/local/samba/bin/samba-tool dns add \
  192.168.0.10 \
  mydomain.local \
  bdc01 A 192.168.0.11 \
  -Uadministrator

登録できたか確認する。

host -t A bdc01.mydomain.local.

Backup Domain Controller の objectGUID とホスト名の関連付けもする。
ldbsearch で objectGUID を調べる。

/usr/local/samba/bin/ldbsearch \
  -H /usr/local/samba/private/sam.ldb \
  '(invocationid=*)' \
  --cross-ncs objectguid

ここで CN=BDC01 の record を探す。
objectGUID が 737506d0-bfe6-40c8-815d-08c3dff7a67f だった場合
以下のような感じで objectGUID とホスト名の関連付けをする。

/usr/local/samba/bin/samba-tool dns add \
  192.168.0.10 \
  _msdcs.mydomain.local \
  737506d0-bfe6-40c8-815d-08c3dff7a67f \
  CNAME bdc01.mydomain.local \
  -Uadministrator

登録できたか確認する。

host -t CNAME 737506d0-bfe6-40c8-815d-08c3dff7a67f._msdcs.mydomain.local.

一応ホスト名と ping で IP の確認もしておこう。

hostname
ping bdc01
ping bdc01.mydomain.local

レプリケーションの確認

とりあえず、Primary Domain Controller のSamba4、Bind を再起動する。

ssh root@pdc
service named restart
service samba4 restart
exit

Backup Domain Controller のSamba4、も再起動する。

service samba4 restart

レプリケーションを確認する。

/usr/local/samba/bin/samba-tool drs showrepl

Primary Domain Controller で追加したドメインユーザが
Backup Domain Controller にレプリケートされるか確認する。
まず、Primary Domain Controller でドメインユーザを追加する。

ssh root@pdc
/usr/local/samba/bin/samba-tool user add user01
exit

そして Backup Domain Controller で確認する。

/usr/local/samba/bin/ldbsearch \
  -H /usr/local/samba/private/sam.ldb \
  samaccountname=user01

CentOS でドメインログイン

Backup Domain Controller の場合も
Primary Domain Controller と同じく
ドメインユーザー情報に posixAccount スキーマ情報を追加して、
Winbind と PAM の設定が必要になるようです。
このあたりは、『Samba4 で Active Directory / インストール編 - わたしもやってみた -』を参考に

Samba4 で Active Directory / PDC編 - わたしもやってみた -

2013-04-20T22:00:00.000+09:00

はじめに

ここからが本番！ Primary Domain Controller を構築したいと思います。
前提としては、Samba4 と Bind のインストール、 NTP の時間合わせが済んでいる済んでいることになります。
まだの場合は、『Samba4 で Active Directory / インストール編 - わたしもやってみた -』を参考に

Samba4 HOWTO にある Samba AD DC HOWTO をベースに
先人の方々の情報も踏まえつつ、わたしもやってみたいと思います。
ではでは Getting Started!!

環境

OS	ContOS 6.4(CentOS-6.4-i386-minimal.iso)
Samba	4.0.5
Bind	9.8.2
NTP	ntp-4.2.6p5
レルム	MYDOMAIN.LOCAL
ドメイン	MYDOMAIN
Host	pdc
IP	192.168.0.10
Gateway	192.168.0.1
DNS	127.0.0.1

環境設定

ネットワークを設定する。

まず IP の設定
/etc/sysconfig/network-scripts ディレクトリにある ifcfg-eth0 ファイルを以下のように変更する。

/etc/sysconfig/network-scripts/ifcfg-eth0

...
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.10
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
NETWORK=192.168.0.0
BROADCAST=192.168.0.255
...

次にホスト名の設定
/etc/sysconfig ディレクトリにある network ファイルを以下のように変更する。

/etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=pdc

そして IP とホスト名の関連付け
/etc ディレクトリにある hosts ファイルを以下のように変更する。

/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.10 pdc pdc.mydomain.local

ここで一度、再起動する。

reboot

ホスト名と IP 確認する。

hostname
ping pdc
ping pdc.mydomain.local

Samba4 の設定

さて… ドメインコントローラーの設定をしますかぁ
/usr/local/samba/etc ディレクトリに smb.conf が無いことを確認する。
有れば削除する。
Server Role はドメインコントローラーとします。
バックエンドの DNS は Bind とします。
では、以下のコマンドで、smb.conf やその他諸々のファイルを生成します。

/usr/local/samba/bin/samba-tool domain provision \
  --use-rfc2307 \
  --realm=MYDOMAIN.LOCAL \
  --domain=MYDOMAIN \
  --server-role=dc \
  --dns-backend=BIND9_DLZ \
  --adminpass 'passwd-123'

オプションについて

ここでのミソは、--use-rfc2307 を指定しているところです。
これを指定しておくと CentOS で自身のドメインにログインするのに
必要な設定を smb.conf に出力してくれるようです。

とりあえず、生成された smb.conf を確認してみる。

/usr/local/samba/bin/testparm

Kerberos の設定ファイル krb5.conf を差し替える。

mv /etc/krb5.conf /etc/krb5.conf_org
cp /usr/local/samba/private/krb5.conf /etc/krb5.conf

krb5.conf は以下のような感じ。

/etc/krb5.conf

[libdefaults]
  default_realm = MYDOMAIN.LOCAL
  dns_lookup_realm = false
  dns_lookup_kdc = true

Bind の設定

/etc ディレクトリにある named.conf を開き以下の部分を追加、変更する。

/etc/hosts

options {
  ...
  listen-on port 53 { any; };
  ...
  allow-query     { any; };
  ...
  tkey-gssapi-keytab "/usr/local/samba/private/dns.keytab";
};
...
include "/usr/local/samba/private/named.conf";

dns.keytab の権限を変更する。

chgrp named /usr/local/samba/private/dns.keytab
chmod g+r /usr/local/samba/private/dns.keytab

/etc/rrndc.key を生成する。

rndc-confgen -a -r /dev/urandom

resolv.conf の設定をする。 /etc ディレクトリにある resolv.conf を開き以下のように変更する。

/etc/resolv.conf

domain mydomain.local
nameserver 127.0.0.1

サービスの起動設定をする。

chkconfig named on

確認

とりあえず、Samba4、Bind を再起動する。

service samba4 restart
service named restart

DNS を更新する。

/usr/local/samba/sbin/samba_dnsupdate --verbose --all-names

NTP と連動するために ntp_signd ディレクトリの権限を変更する。

chmod 750 /usr/local/samba/var/lib/ntp_signd

Samba4、Kerberos、Bind の設定を確認する。
まず、Bind から
以下のコマンドでホスト、IP が返ってくるか確認する。

host -t SRV _ldap._tcp.mydomain.local.
host -t SRV _kerberos._udp.mydomain.local.
host -t A pdc.mydomain.local.

ここでうまくいかない場合は、named.conf、resolv.conf、hosts を再確認して DNS を再更新してみる。

次に Kerberos の確認をする。
以下のコマンドでログインとチケットの一覧を確認する。
administrator のパスワードは、samba-tool domain provision で指定したものになる。

kinit administrator@MYDOMAIN.LOCAL
klist

ここでうまくいかない場合は… う～ん krb5.conf かなぁ？
それとも smb.conf を削除して、Samba4 の設定からやり直し？？

最後に Samba4 の確認をする。
以下のコマンドでログインしてみる。
administrator のパスワードは、samba-tool domain provision で指定したものになる。
quit で終了できる。

/usr/local/samba/bin/smbclient //localhost/netlogon -Uadministrator

ここでうまくいかない場合は… 今回は無かったことに…

Windows XP でドメインログイン

Windows XP からドメインにログインしてみる。

コントロールパネル / ネットワーク接続で DNS のIPを 192.168.0.10 (PDC)にする。
コントロールパネル / システムでコンピューター名タブを選択する。

「変更」ボタンを押す。
ドメインに「MYDOMAIN.LOCAL」を入力し「OK」ボタンを押す。
- ユーザ / パスワードは以下のものを入力する。

Windows を再起動する。
Windows のログイン画面でログイン先に MYDOMAIN を選択し Samba4 のAdministratorでログインする。

CentOS でドメインログイン

CentOS で自身のドメインにログインしてみる。

ssh administrator@pdc

これがうまくいかない。
さてさて、ここからが今回の山場！
Winbind と posixAccount の設定をしなくては、ならないようだ。

最初に Winbind と PAM の設定をする。
まずはモジュールのコピー

ln -s /usr/local/samba/lib/libnss_winbind.so.2 /lib/libnss_winbind.so
ln -s /lib/libnss_winbind.so /lib/libnss_winbind.so.2
ln -s /usr/local/samba/lib/security/pam_winbind.so /lib/security

libnss_winbind.so.2 と pam_winbind.so について

これらのモジュールがインストールされていない場合があった。
きっと、再 make になるのだろうけどその際は、configure.developer を使うのだろうか？
configure の時に --with-ads --with-shared-modules=idmap_ad オプションを
指定しておくととりあえず、インストールはされた。
openldap-devel がインストールされていれば、
特にオプションを指定しなくてもインストールされるのかもしれない。
ビルドスクリプトを解析するば分かるのだろうけど、そこまでは…

この状態で authconfig を実行すれば Winbind の PAM 関連のファイルがいい感じに更新される。

authconfig --enablewinbindauth --update

もう一点、初回ログイン時にホームディレクトリが自動作成されるに authconfig しておく。

authconfig --enablemkhomedir --update

/etc/pam.d ディレクトリにある password-auth-ac、system-auth-ac
あたりがいい感じになっているはず。
合わせて /etc/nsswitch.conf を以下のように変更する。

/etc/nsswitch.conf

...
passwd:     files winbind
group:      files winbind
shadow:     files
...

次に posixAccount スキーマ情報をドメインユーザに追加する。
ドメインユーザでCentOSにログインするには、posixAccount スキーマ情報が必要になるようだ。
Active Directory に登録されているドメインユーザ情報には、これがない。
とりあえず、administrator に posixAccount スキーマを追加して gidNumber と uidNumber を登録してみる。
gidNumber と uidNumber は、ドメインユーザ情報の primaryGroupID と objectSid から決定する。
Samba4 には、LDAP 関連のコマンドが含まれているのでこれを利用する。
まず administrator のドメインユーザ情報を表示して primaryGroupID と objectSid を調べる。

/usr/local/samba/bin/ldbsearch -H /usr/local/samba/private/sam.ldb samaccountname=administrator

次に /root/work ディレクトリあたりに addPosixAcount.ldif 的なファイルを以下の内容で作成する。

/root/work/addPosixAcount.ldif

dn: cn=Administrator,cn=Users,dc=mydomain,dc=local
changetype: modify
add: objectclass
objectclass: posixAccount
-
add: gidNumber
gidNumber: 10513
-
add: uidNumber
uidNumber: 10500

gidNumber と uidNumber について

gidNumber は、ドメインユーザ情報の primaryGroupID を元に
また、uidNumber は、ドメインユーザ情報の objectSid の下４桁(ハイフン「-」で区切られた最後の部分)を元にして
RID のルールを想定して 10000 ～ 19999 の範囲に割り振るようにした。
例えば primaryGroupID が 513 であれば、10513 に objectSid の下４桁が 500 であれば 10500 にという感じになる。

そして ldbmodify コマンドで addPosixAcount.ldif ファイルの内容を LDAP に反映する。

/usr/local/samba/bin/ldbmodify -H /usr/local/samba/private/sam.ldb /root/work/addPosixAcount.ldif

msSFU30XXX スキーマ情報

msSFU30XXX スキーマ情報の拡張がされていれば、posixAcount スキーマ情報を追加しなくても
CentOS でドメインにログインできるのかもしれない。
新規に追加したユーザーに posixAcount スキーマ情報を追加しなくてもドメインにログインできたからだ。
なぜか administrator では、無理だった。
わたしの検証環境は、msSFU30XXX スキーマ情報の拡張された状態になっていると思う。
いろいろ試行錯誤していて Windows のツールでもって msSFU30XXX スキーマ情報を拡張したと思っている。
いつかの時点までは、新規に追加したユーザーでも posixAcount スキーマ情報がなければ
ドメインにログインできなかったように思う。
それも、今となっては、定かではない。
とりあえず、全部の PC で uid と gid が統一できるので posixAcount スキーマ情報は、
追加しておく方がよいと思う。(まぁ gid は微妙ですが…)

smb.conf は、以下のようにしておく。

/usr/local/samba/etc/smb.conf

# Global parameters
[global]
  workgroup = MYDOMAIN
  realm = MYDOMAIN.LOCAL
  netbios name = PDC
  server role = active directory domain controller
  server services = s3fs, rpc, nbt, wrepl, ldap, cldap, kdc, drepl, winbind, ntp_signd, kcc, dnsupdate
  idmap_ldb:use rfc2307 = yes

  winbind use default domain = yes

  #template homedir = /home/%U
  template shell = /bin/bash

[netlogon]
  path = /usr/local/samba/var/locks/sysvol/mydomain.local/scripts
  read only = No

[sysvol]
  path = /usr/local/samba/var/locks/sysvol
  read only = No

smb.conf について

idmap_ldb:use rfc2307 = yes: この設定が漏れていたため、なかなかドメインログインできず結構ハマった。
samba-tool domain provision の時に --use-rfc2307 オプションを指定してさえいれば…
template homedir = /home/%U: %U がユーザ名に展開されず、/home ディレクトリ直下に %U ディレクトリができしまう…
設定が抜けているのかビルドに失敗しているのかバグ？なのか
とりあえず、触らぬ神に祟り無しでデフォルトのままにしています。
ユーザディレクトリは /home/MYDOMAIN 以下に生成されます。
gidNumber: なぜが gid に反映されない。
これもよく分かりません…
まぁサーバーごとに違う gid になる訳でないのでいいかな？

ドメインログイン前に Samba4 を再起動して

service samba4 restart

ログイン可能なユーザなんかを表示したりしてみて

getent passwd

ドメインログイン！！

ssh administrator@pdc

最後に uid と gid を確認しておこう。

id

おわりに

これで、Active Directory を学んでいくには十分過ぎる環境が揃ったと思う。
微妙なところがいくつか残ったがこのあたりは追々潰していこう。
新しいのと入れ替えると解消されるかなぁ。
なぁ～んて。

参考URL: https://wiki.samba.org/index.php/Samba4; http://wiki.samba.org/index.php/Samba4/HOWTO; https://wiki.samba.org/index.php/Samba4/Winbind; http://opentodo.net/2013/01/samba4-as-ad-domain-controller-on-centos-6/; http://wiki.samba.gr.jp/mediawiki/index.php; http://d.hatena.ne.jp/rti7743/20110425/1303688263; http://d.hatena.ne.jp/dicdak/20090628/1246206482; http://web.chaperone.jp/w/index.php?samba%2Fuser; http://itpro.nikkeibp.co.jp/article/COLUMN/20070125/259692/

Samba4 で Active Directory / インストール編 - わたしもやってみた -

2013-04-19T22:00:00.000+09:00

はじめに

いつの間にか Samba4 がリリースされているではないか！
これで念願の Active Directory だ！！
仕事場では、あぁそれ Active Directory ね。
ふ～んって羨ましそうに横目にみていたのが
なんとわが家にも！
いい時代になったなぁと。

今回は、ビルドとインストール。
Samba4 HOWTO にある Build_Samba をベースに
先人の方々の情報も踏まえつつ、わたしもやってみたいと思います。
ではでは Getting Started!!

環境

OS	ContOS 6.4(CentOS-6.4-i386-minimal.iso)
Samba	4.0.5
Bind	9.8.2
NTP	ntp-4.2.6p5

環境設定

とりあえず SELinux と Fire Wall を止めておく。
ActiveDirectoryが構築できてから設定しょう…

まずは、SELinux から
/etc/selinux ディレクトリにある config ファイルを開き以下のように変更する。

/etc/selinux/config

...
SELINUX=disabled
...

そして、Fire Wall

service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off

一応、確認する。

getenforce
iptables -L
ip6tables -L

ビルドに必要なライブラリーを揃える

何はともあれ yum の update から

yum update

そして、必要なライブラリーのインストール
…結構盛りだくさん。

yum install gcc libacl-devel libblkid-devel gnutls-devel \
      readline-devel python-devel gdb pkgconfig krb5-workstation \
      zlib-devel setroubleshoot-server \
      setroubleshoot-plugins policycoreutils-python \
      libsemanage-python setools-libs-python setools-libs \
      popt-devel libpcap-devel sqlite-devel libidn-devel \
      libxml2-devel libacl-devel libsepol-devel libattr-devel \
      keyutils-libs-devel cyrus-sasl-devel cups-devel

Samba4 の HOWTO 的には以上でよいらしいのだけど configure で perl が必要だといわれる。
また、バックエンドの DNS に Bind を使いたい。
それから、--with-ads も使いたい。などその他諸々で以下のライブラリーを追加することにした。

yum install bind bind-libs bind-utils wget\
      perl autoconf automake openldap-devel pam-devel

ビルドとインストール

いよいよ、Samba4 を make する。
作業フォルダは /root/work とします。
では、ソースを取ってきて展開するところまで

mkdir /root/work
cd /root/work
wget http://www.samba.org/samba/ftp/stable/samba-4.0.5.tar.gz
tar -zxvf samba-4.0.5.tar.gz

ソースの取得について

git から取ってくるのがいいらしいのだけど、チェックアウト？に時間が掛かったので
wget で gz にアーカイブされたものを取ってくることにした。

次に configure

cd /root/work/samba-4.0.5
./configure --with-ads --with-shared-modules=idmap_ad \
            --enable-debug --enable-selftest

仕上げに make と make install

make
make install

これで /usr/local/samba/ にインストールされる。
インストールできているか Version を確認してみる。

/usr/local/samba/bin/smbclient --version

起動スクリプトの作成

やっぱり、起動スクリプトは、ほしい。
ソースからインストールするとこのへんが無かったりするので大変だ！
/etc/rc.d/init.d ディレクトリに以下のような内容でファイルを作成し samba4 の名前で保存する。

/etc/rc.d/init.d/samba4

#! /bin/bash
#
# samba4       Bring up/down samba4 service 
#
# chkconfig: - 90 10
# description: Activates/Deactivates all samba4 interfaces configured to \
#              start at boot time.
#
### BEGIN INIT INFO
# Provides: 
# Should-Start: 
# Short-Description: Bring up/down samba4
# Description: Bring up/down samba4
### END INIT INFO
# Source function library.
. /etc/init.d/functions

if [ -f /etc/sysconfig/samba4 ]; then
 . /etc/sysconfig/samba4
fi

CWD=$(pwd)
prog="samba4"

start() {
     # Attach irda device 
     echo -n $"Starting $prog: "
 /usr/local/samba/sbin/samba
 sleep 2
 if ps ax | grep -v "grep" | grep -q /samba/sbin/samba ; then success $"samba4 startup"; else failure $"samba4 startup"; fi
     echo
}
stop() {
     # Stop service.
     echo -n $"Shutting down $prog: "
 killall samba
 sleep 2
 if ps ax | grep -v "grep" | grep -q /samba/sbin/samba ; then failure $"samba4 shutdown"; else success $"samba4 shutdown"; fi
     echo
}
status() {
 /usr/local/samba/sbin/samba --show-build
}

# See how we were called.
case "$1" in
start)
 start
     ;;
stop)
 stop
     ;;
status)
 status irattach
 ;;
restart|reload)
 stop
 start
 ;;
*)
     echo $"Usage: $0 {start|stop|restart|status}"
     exit 1
esac

exit 0

サービスに登録する。

chmod 755 /etc/rc.d/init.d/samba4
chkconfig --add samba4
chkconfig samba4 on

NTP のインストール

これで、終わりと思いきや、まだ NTP の設定が必要なようです。
Active Directory では、それぞれのPCの時間が合っていないとうまく動かないとのことです。
yum でインストールしたいところなのですが
yum で入る NTP は、signed ntp がサポートされていないらしく(Version 4.2.6以上)
これがないと Active Directory の時間合わせがうまく動かないようです。
ここも、ソースからのインストールになってしまいます。

まずは、ソースを取ってきて展開するところまで
同じく作業フォルダは /root/work とします。

cd /root/work
wget http://www.eecis.udel.edu/~ntp/ntp_spool/ntp4/ntp-4.2/ntp-4.2.6p5.tar.gz
tar -zxvf ntp-4.2.6p5.tar.gz

次に configure そして make と make install

cd /root/work/ntp-4.2.6p5
./configure --enable-ntp-signd
make
make install

ここでもやはり、起動スクリプトがほしい…
/etc/rc.d/init.d ディレクトリに以下のような内容でファイルを作成し ntp の名前で保存する。

/etc/rc.d/init.d/ntp

#! /bin/bash
#
# ntp Bring up/down ntp service
#
#chkconfig: - 99 30
#description: Bring up/down ntp
#
### BEGIN INIT INFO
# Provides:
# Should-Start:
# Short-Description: Bring up/down ntp
# Description: Bring up/down ntp
### END INIT INFO
# Source function library.
. /etc/init.d/functions
 
CWD=$(pwd)
NTPD=/usr/local/bin/ntpd
prog="ntp"
start() {
 # Attach irda device
 echo -n $"Starting $prog: "
 $NTPD -p /var/run/ntpd.pid
 sleep 2
 if ps ax | grep -v "grep" | grep -q $NTPD ; then success $"ntp startup"; else failure $"ntp startup"; fi
 echo
}
stop() {
# Stop service.
 echo -n $"Shutting down $prog: "
 kill -9 `cat /var/run/ntpd.pid` > /dev/null 2>&1
 sleep 2
 if ps ax | grep -v "grep" | grep -q $NTPD ; then failure $"ntp shutdown"; else success $"ntp shutdown"; fi
 echo
}
# See how we were called.
case "$1" in
start)
 start
 ;;
stop)
 stop
 ;;
restart|reload)
 stop
 start
 ;;
*)
 echo $"Usage: $0 {start|stop|restart}"
 exit 1
esac

exit 0

サービスに登録する。

chmod 755 /etc/rc.d/init.d/ntp
chkconfig --add ntp
chkconfig ntp on

設定ファイルを作成する。
ソースからインストールすると何もないようです…
/etc ディレクトリに以下のような内容でファイルを作成し ntp.conf の名前で保存する。

/etc/ntp.conf

server 127.127.1.0
fudge 127.127.1.0 stratum 10
server 0.pool.ntp.org iburst prefer
server 1.pool.ntp.org iburst prefer
driftfile /var/lib/ntp/ntp.drift
logfile /var/log/ntp
ntpsigndsocket /usr/local/samba/var/lib/ntp_signd/
restrict default kod nomodify notrap nopeer mssntp
restrict 127.0.0.1
restrict 0.pool.ntp.org mask 255.255.255.255 nomodify notrap nopeer noquery
restrict 1.pool.ntp.org mask 255.255.255.255 nomodify notrap nopeer noquery

早速、確認の意味も含め時刻を合わせてみる。

ntpdate ntp.nict.jp

おわりに

やっぱり、ソースのインストールとなるといろいろ大変だなぁというのが正直なところ。
起動スクリプト、コマンドパス、ファイルパス、バージョンアップ…
yum でインストールできる日が早く来ないかなぁと思う。
イケイケの Fedora に慎重派の CentOS わたしは、そんなイメージだ。
CentOS の yum は、まだ、先にかなぁ。

参考URL: https://wiki.samba.org/index.php/Samba4; https://wiki.samba.org/index.php/Build_Samba; https://wiki.samba.org/index.php/Samba_4/OS_Requirements; https://wiki.samba.org/index.php/Samba4/InitScript; https://wiki.samba.org/index.php/Configure_NTP; http://opentodo.net/2013/01/samba4-as-ad-domain-controller-on-centos-6/; http://d.hatena.ne.jp/rti7743/20110425/1303688263

SpringSecurityユーザをDBで管理、JPAでログインする

2012-05-24T05:32:00.001+09:00

はじめに

Spring Securityを使ってデータベースに保存されたユーザ、パスワードでログインする機能を作ってみたいと思います。
Spring Securityで規定されたusersテーブルのスキーマをそのまま使う分には、
Springの定義ファイルを編集するするだけでよいのですが
このusersテーブルに他の項目を追加してログインセッションに置きたい場合は、カスタマイズが必要になります。
ログインが成功した場合、セッションキー「SPRING_SECURITY_CONTEXT」にusersテーブルの情報が置かれます。

カスタマイズとしては、UserDetailsインターフェイス(org.springframework.security.core.userdetails)実装クラスと
UserDetailsServiceインターフェイス(org.springframework.security.core.userdetails)実装クラスの作成になります。
UserDetailsインターフェイス実装クラスは、ログイン成功時、セッションに置かれるログインユーザ情報を保持するクラスです。
今回は、EntityBeanで作成します。
UserDetailsServiceインターフェイス実装クラスは、ユーザ情報取得メソッド(loadUserByUsername)を実装します。
今回は、EntityManagerを使ってユーザ情報を取得します。

今回は、usersテーブルに連絡先(contact)を追加したいと思います。
ではでは！Getting Started!!

環境

OS	Windows XP
データベース	MySQL 5.5.8
アプリケーションサーバー	Tomcat 7.0.27
Java	JDK 1.7.0
フレームワーク	Spring Framework 3.1.0.RELEASE
	Spring Security 3.1.0.RELEASE
	Hibernate 3.6.10.Final
ビルドツール	Maven 3.0.4 ※mvnコマンドが実行できるように設定しておきます。

Spring Security について

「3.1.0.RELEASE」でMavenビルドすると「invalid LOC header」エラーなるものが発生していたのですが、Springframeworkのローカルのリポジトリ「C:\Documents and Settings\{user}\.m2\repository\org\springframework」を削除して再度ビルドするとうまくいきました。

プロジェクト構成

Cドライブ直下に「studying-spring-security」フォルダを作成し各ファイルを以下のように配置します。

C:\studying-spring-security
- src
  - main
    - java
      - com
        
        mydomain
        
        bizlogic
        
        MyUserDetailsService.java
        
        entity
        
        MyAuthority.java
        
        MyUser.java
    - resources
      - META-INF
        
        spring
        
        applicationContext.xml
        
        applicationContext-locale.xml
        
        applicationContext-security.xml
        
        persistence.xml
      - log4j.properties
    - webapp
      - resources
        
        style.css
      - WEB-INF
        
        i18n
        
        messages_ja.properties
        
        spring
        
        webmvc-config.xml
        
        views
        
        index.jspx
        
        login.jspx
        
        web.xml
- pom.xml

プロジェクト作成について

Spring Rooでプロジェクトを作成し、今回使わないもの(Tiles、Themeなど)を削除しました。

データベースの作成

DROP DATABASE IF EXISTS studying_spring_security;
CREATE DATABASE IF NOT EXISTS studying_spring_security DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

※データベースユーザとして、パスワードなしのrootユーザが作成してあるとします。

テーブルの作成とログインユーザの登録

ログインユーザとして、adminとuserを作成します。
ログインID/パスワードはそれぞれ
admin/admin、user/user
としています。

DROP TABLE IF EXISTS `users`;
CREATE TABLE `users` (
  `username` varchar(50)  NOT NULL,
  `password` varchar(255) NOT NULL,
  `enabled`  tinyint(1)   NOT NULL,
  `contact`  varchar(255) DEFAULT NULL,
  PRIMARY KEY (`username`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;


DROP TABLE IF EXISTS `authorities`;
CREATE TABLE `authorities` (
  `username`  varchar(50) NOT NULL,
  `authority` varchar(50) NOT NULL,
  UNIQUE KEY `ix_auth_username` (`username`,`authority`),
  CONSTRAINT `fk_authorities_users` FOREIGN KEY (`username`) REFERENCES `users` (`username`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `persistent_logins`;
CREATE TABLE `persistent_logins` (
  `username`  varchar(64) NOT NULL,
  `series`    varchar(64) NOT NULL,
  `token`     varchar(64) NOT NULL,
  `last_used` timestamp   NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`series`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO `users` VALUES ('admin', '8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918', '1', 'admin@mydomain.com');
INSERT INTO `users` VALUES ('user',  '04f8996da763b7a969b1028ee3007569eaf3a635486ddab211d512c85b9df8fb', '1', 'user@mydomain.com');

INSERT INTO `authorities` VALUES ('admin', 'ROLE_ADMIN');
INSERT INTO `authorities` VALUES ('admin', 'ROLE_USER');
INSERT INTO `authorities` VALUES ('user',  'ROLE_USER');

ServletとLoggerの設定

web.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<web-app version="3.0" 
  xmlns="http://java.sun.com/xml/ns/javaee" 
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
  xsi:schemaLocation="
    http://java.sun.com/xml/ns/javaee
    http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd ">

  <display-name>studying-spring-security</display-name>
  
  <context-param>
    <param-name>defaultHtmlEscape</param-name>
    <param-value>true</param-value>
  </context-param>
  
  <context-param>
    <param-name>contextConfigLocation</param-name>
    <param-value>classpath*:META-INF/spring/applicationContext*.xml</param-value>
  </context-param>
  
  <listener>
    <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
  </listener>
  
  <filter>
    <filter-name>CharacterEncodingFilter</filter-name>
    <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
    <init-param>
      <param-name>encoding</param-name>
      <param-value>UTF-8</param-value>
    </init-param>
    <init-param>
      <param-name>forceEncoding</param-name>
      <param-value>true</param-value>
    </init-param>
  </filter>
  <filter-mapping>
    <filter-name>CharacterEncodingFilter</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>

  <filter>
    <filter-name>HttpMethodFilter</filter-name>
    <filter-class>org.springframework.web.filter.HiddenHttpMethodFilter</filter-class>
  </filter>
  <filter-mapping>
    <filter-name>HttpMethodFilter</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>
  
  <filter>
    <filter-name>springSecurityFilterChain</filter-name>
    <filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter-class>
  </filter>
  <filter-mapping>
    <filter-name>springSecurityFilterChain</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>
  
  <servlet>
    <servlet-name>studying-spring-security</servlet-name>
    <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
    <init-param>
      <param-name>contextConfigLocation</param-name>
      <param-value>WEB-INF/spring/webmvc-config.xml</param-value>
    </init-param>
    <load-on-startup>1</load-on-startup>
  </servlet>
  <servlet-mapping>
    <servlet-name>studying-spring-security</servlet-name>
    <url-pattern>/</url-pattern>
  </servlet-mapping>
  
  <session-config>
    <session-timeout>10</session-timeout>
    <tracking-mode>COOKIE</tracking-mode>
  </session-config>
</web-app>

log4j.properties

log4j.rootLogger=error, stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

# Print the date in ISO 8601 format
log4j.appender.stdout.layout.ConversionPattern=%d [%t] %-5p %c - %m%n

log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=application.log

log4j.appender.R.MaxFileSize=100KB
# Keep one backup file
log4j.appender.R.MaxBackupIndex=1

log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n

データベース接続の設定

persistence.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<persistence version="2.0"
  xmlns="http://java.sun.com/xml/ns/persistence"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://java.sun.com/xml/ns/persistence
    http://java.sun.com/xml/ns/persistence/persistence_2_0.xsd">

  <persistence-unit name="persistenceUnit" transaction-type="RESOURCE_LOCAL">
    <provider>org.hibernate.ejb.HibernatePersistence</provider>
    <properties>
      <property name="hibernate.dialect" value="org.hibernate.dialect.MySQLDialect"/>
      <property name="hibernate.hbm2ddl.auto" value="validate" />
      <property name="hibernate.ejb.naming_strategy" value="org.hibernate.cfg.DefaultNamingStrategy" />
      <property name="hibernate.connection.charSet" value="UTF-8" />
    </properties>
  </persistence-unit>
</persistence>

applicationContext.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<beans
  xmlns="http://www.springframework.org/schema/beans"
 xmlns:context="http://www.springframework.org/schema/context"
 xmlns:p="http://www.springframework.org/schema/p"
 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 xsi:schemaLocation="
   http://www.springframework.org/schema/beans
   http://www.springframework.org/schema/beans/spring-beans-3.1.xsd
  http://www.springframework.org/schema/context
  http://www.springframework.org/schema/context/spring-context-3.1.xsd">

  <bean id="dataSource"
    class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
    <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
    <property name="url" value="jdbc:mysql://localhost:3306/studying_spring_security"/>
    <property name="username" value="root"/>
    <property name="password" value=""/>
    <property name="testOnBorrow" value="true"/>
    <property name="testOnReturn" value="true"/>
    <property name="testWhileIdle" value="true"/>
    <property name="timeBetweenEvictionRunsMillis" value="1800000"/>
    <property name="numTestsPerEvictionRun" value="3"/>
    <property name="minEvictableIdleTimeMillis" value="1800000"/>
    <property name="validationQuery" value="SELECT 1"/>
  </bean>

  <context:annotation-config/>
  <bean id="entityManagerFactory"
    class="org.springframework.orm.jpa.LocalContainerEntityManagerFactoryBean"
    p:persistenceUnitName="persistenceUnit" p:dataSource-ref="dataSource" />
</beans>

データベース接続について

persistence.xmlファイルにデータベース接続設定を記述したいところなのですが
Spring Securityの標準の実装では、RememberMeトークンをデータベースに保存する場合、
JDBCを使用している(org.springframework.security.web.authentication.rememberme.JdbcTokenRepositoryImpl)みたいで
DataSourceをSpringコンテナに登録しておく必要があるようです。
この部分もカスタマイズすればよいのですが、今回はパスで…

Entityクラスの作成

MyUser.java

package com.mydomain.entity;

import java.util.Collection;

import javax.persistence.CollectionTable;
import javax.persistence.ElementCollection;
import javax.persistence.Entity;
import javax.persistence.FetchType;
import javax.persistence.Id;
import javax.persistence.MapKeyColumn;
import javax.persistence.Table;
import javax.persistence.Transient;
import javax.persistence.JoinColumn;

import org.springframework.security.core.CredentialsContainer;
import org.springframework.security.core.GrantedAuthority;
import org.springframework.security.core.userdetails.UserDetails;

@Entity
@Table(name = "users")
public class MyUser implements UserDetails, CredentialsContainer{

  private static final long serialVersionUID = 1L;
  

  @Id
  private String username;
  
  private String password;
  
  private boolean enabled;

  private String contact;

  @ElementCollection(targetClass=MyAuthority.class, fetch=FetchType.EAGER)
  @CollectionTable(
    name="authorities",
    joinColumns={@JoinColumn(name="username", referencedColumnName="username")})
  @MapKeyColumn(name="authority")
  private Collection<GrantedAuthority> authorities;

  @Transient
  private boolean accountNonExpired = true;

  @Transient
  private boolean accountNonLocked = true;

  @Transient
  private boolean credentialsNonExpired = true;


  @Override
  public void eraseCredentials() {
    password = null;
  }

  @Override
  public boolean equals(Object rhs) {
    if (rhs instanceof User) {
      return username.equals(((User) rhs).username);
    }
    return false;
  }

  @Override
  public int hashCode() {
    return username.hashCode();
  }


  public String getContact() {
    return contact;
  }

  public void setContact(String contact) {
    this.contact = contact;
  }

  @Override
  public String getUsername() {
    return this.username;
  }

  public void setUsername(String username) {
    this.username = username;
  }
  
  @Override
  public String getPassword() {
    return this.password;
  }

  public void setPassword(String password) {
    this.password = password;
  }

  @Override
  public boolean isEnabled() {
    return this.enabled;
  }

  public void setEnabled(boolean enabled) {
    this.enabled = enabled;
  }
  
  @Override
  public boolean isAccountNonExpired() {
    return this.accountNonExpired;
  }
  
  public void setAccountNonExpired(boolean accountNonExpired) {
    this.accountNonExpired = accountNonExpired;
  }

  @Override
  public boolean isAccountNonLocked() {
    return this.accountNonLocked;
  }

  public void setAccountNonLocked(boolean accountNonLocked) {
    this.accountNonLocked = accountNonLocked;
  }

  @Override
  public boolean isCredentialsNonExpired() {
    return this.credentialsNonExpired;
  }

  public void setCredentialsNonExpired(boolean credentialsNonExpired) {
    this.credentialsNonExpired = credentialsNonExpired;
  }

  @Override
  public Collection<GrantedAuthority> getAuthorities() {
    return this.authorities;
  }
  
  public void setAuthorities(Collection<GrantedAuthority> authorities) {
    this.authorities = authorities;
  }
}

MyUserクラスについて

equals()メソッド、hashCode()メソッドは、User(org.springframework.security.core.userdetails)クラスを参考に実装しました。
CredentialsContainerインターフェイスの実装も同様に参考にしました。
…toString()メソッドはパスです。

MyAuthority.java

package com.mydomain.entity;

import javax.persistence.Embeddable;

import org.springframework.security.core.GrantedAuthority;

@Embeddable
public class MyAuthority implements GrantedAuthority{

  private static final long serialVersionUID = 1L;
  
  private String authority;

  @Override
  public String getAuthority() {
    return this.authority;
  }

  public void setAuthority(String authority) {
    this.authority = authority;
  }

  public boolean equals(Object obj) {
    if (this == obj) {
      return true;
    }

    if (obj instanceof MyAuthority) {
      return authority.equals(((MyAuthority) obj).authority);
    }

    return false;
  }

  public int hashCode() {
    return this.authority.hashCode();
  }

  public String toString() {
    return this.authority;
  }
}

MyAuthorityクラスについて

equals()メソッド、hashCode()メソッド、toString()メソッドは、
SimpleGrantedAuthority(org.springframework.security.core.authority)クラスを参考に実装しました。

UserDetailsServiceクラスの作成

MyUserDetailsService.java

package com.mydomain.bizlogic;

import javax.persistence.EntityManager;
import javax.persistence.NoResultException;
import javax.persistence.PersistenceContext;
import javax.persistence.Query;

import org.springframework.dao.DataAccessException;
import org.springframework.security.core.userdetails.UserDetails;
import org.springframework.security.core.userdetails.UserDetailsService;
import org.springframework.security.core.userdetails.UsernameNotFoundException;
import org.springframework.stereotype.Service;

import com.mydomain.entity.MyUser;

@Service
public class MyUserDetailsService implements UserDetailsService {
  
  @PersistenceContext
  private EntityManager em;

  @Override
  public UserDetails loadUserByUsername(String username) throws UsernameNotFoundException, DataAccessException {

    try {
      String jpql = "SELECT u FROM User u Where username = :username";
      Query query = this.em.createQuery(jpql, MyUser.class);
      query.setParameter("username", username);
      MyUser user = (MyUser) query.getSingleResult();

      return user;
    } catch(NoResultException exp) {
      throw new UsernameNotFoundException("ユーザが見つかりません");
    }
  }
}

Spring Securityの設定

/login、/resourcesには、アクセス制限を設定せず、それ以外のURLにアクセス制限を設定します。

<authentication-provider>タグと<remember-me>タグのuser-service-ref属性に
作成したUserDetailsServiceインターフェイス実装クラスを指定します。

RememberMeトークンをデータベースに保存する場合、<remember-me>タグのdata-source-ref属性に
Springコンテナに登録されたDataSourceを指定します。

applicationContext-security.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans:beans
  xmlns="http://www.springframework.org/schema/security" 
  xmlns:beans="http://www.springframework.org/schema/beans"
  xmlns:p="http://www.springframework.org/schema/p"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
  xsi:schemaLocation="
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/security
    http://www.springframework.org/schema/security/spring-security.xsd">

  <http auto-config="true" use-expressions="true">
    <form-login login-processing-url="/resources/j_spring_security_check"
      login-page="/login" authentication-failure-url="/login?login_error=t" 
      default-target-url="/" always-use-default-target="true"/>
    <logout logout-url="/resources/j_spring_security_logout" logout-success-url="/"/>

    <intercept-url pattern="/login*" access="permitAll" />
    <intercept-url pattern="/resources/**" access="permitAll" />
    <intercept-url pattern="/**" access="hasRole('ROLE_USER')" />
        
    <remember-me data-source-ref="dataSource" user-service-ref="myUserDetailsService"/>
  </http>

  <authentication-manager alias="authenticationManager">
    <authentication-provider user-service-ref="myUserDetailsService">
      <password-encoder hash="sha-256"/>
    </authentication-provider>
  </authentication-manager>
    
  <beans:bean id="myUserDetailsService" class="com.mydomain.bizlogic.MyUserDetailsService"/>
</beans:beans>

applicationContext-locale.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<beans
  xmlns="http://www.springframework.org/schema/beans"
  xmlns:p="http://www.springframework.org/schema/p"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans-3.1.xsd">

  <bean id="messageSource"
    class="org.springframework.context.support.ReloadableResourceBundleMessageSource"
    p:basenames="WEB-INF/i18n/messages" p:fallbackToSystemLocale="false"
    p:fileEncodings="UTF-8" p:defaultEncoding="UTF-8" />
</beans>

エラーメッセージの日本語化について

SpringSecurity関連のクラスがSpringコンテナに登録される際に ReloadableResourceBundleMessageSourceクラスなどからmessages_ja.propertiesファイルが読み込めないとエラーメッセージが日本語化できないようです。
webmvc-config.xmlファイルが読み込まれる時点では、 SpringSecurity関連クラスのSpringコンテナへの登録が終わっているようなのでこのファイルでReloadableResourceBundleMessageSourceクラスなどの設定をしていると SpringSecurityのデフォルトのエラーメッセージを日本語で上書きされないみたいです。

messages_ja.properties

AbstractUserDetailsAuthenticationProvider.badCredentials=ログインID、パスワードが違います。

native2asciiについて

ReloadableResourceBundleMessageSourceクラスを使用するとnative2asciiで変換を行わなくてもよいようです。

Spring MVCの設定

webmvc-config.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<beans
  xmlns="http://www.springframework.org/schema/beans"
  xmlns:mvc="http://www.springframework.org/schema/mvc"
  xmlns:p="http://www.springframework.org/schema/p"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans-3.1.xsd
    http://www.springframework.org/schema/mvc
    http://www.springframework.org/schema/mvc/spring-mvc-3.1.xsd">

  <mvc:annotation-driven />
  <mvc:resources location="/resources/" mapping="/resources/**" />
  <mvc:view-controller path="/login" />
  <mvc:view-controller path="/" view-name="index" />

  <bean id="internalResourceViewResolver"
    class="org.springframework.web.servlet.view.InternalResourceViewResolver"
    p:viewClass="org.springframework.web.servlet.view.JstlView"
    p:prefix="/WEB-INF/views/" p:suffix=".jspx" />
</beans>

Viewファイルの作成

<html version="2.0"
  xmlns:jsp="http://java.sun.com/JSP/Page"
  xmlns:c="http://java.sun.com/jsp/jstl/core"
  xmlns:fn="http://java.sun.com/jsp/jstl/functions"
  xmlns:spring="http://www.springframework.org/tags"
  xmlns:form="http://www.springframework.org/tags/form">

  <jsp:output doctype-root-element="HTML" doctype-system="about:legacy-compat" />
  <jsp:directive.page contentType="text/html;charset=UTF-8" pageEncoding="UTF-8" />
  
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
    <c:url value="/resources/style.css" var="style"/>
    <link rel="stylesheet" type="text/css" href="${style}" />
    <title>ログイン</title>
  </head>
  <body>
    <div id="page">
      <h3>ログイン</h3>
      <c:if test="${not empty param.login_error}">
      <div class="errors">
        <p><c:out value="${SPRING_SECURITY_LAST_EXCEPTION.message}" /></p>
      </div>
      </c:if>
        <spring:url value="/resources/j_spring_security_check" var="form_url" />
        <form name="f" action="${fn:escapeXml(form_url)}" method="POST">
        <table>
          <tbody>
            <tr>
              <th><label for="j_username">ログインユーザ</label></th>
              <td><input id="j_username" type='text' name='j_username' style="width:98%" /></td>
            </tr>
            <tr>
              <th><label for="j_password">パスワード</label></th>
              <td><input id="j_password" type='password' name='j_password' style="width:100px" />
              <input id="proceed" type="submit" value="ログイン" /></td>
            </tr>
            <tr>
              <td></td>
              <th>
                <input id="_spring_security_remember_me" 
                  type='checkbox' name='_spring_security_remember_me' value="true"/>
                <label for="_spring_security_remember_me">ログインしたままにする</label>
              </th>
            </tr>
          </tbody>
        </table>
        </form>
    </div>
  </body>
</html>

エラーメッセージの表示について

SpringSecurityのエラーメッセージはセッションに保存されているみたいなので <jsp:directive.page session="false" /> としているとエラーメッセージが表示されなくようです。

index.jspx

<html version="2.0"
  xmlns:jsp="http://java.sun.com/JSP/Page"
  xmlns:c="http://java.sun.com/jsp/jstl/core"
  xmlns:sec="http://www.springframework.org/security/tags">

  <jsp:output doctype-root-element="HTML" doctype-system="about:legacy-compat" />
  <jsp:directive.page contentType="text/html;charset=UTF-8" pageEncoding="UTF-8" />
  
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
    <c:url value="/resources/style.css" var="style"/>
    <link rel="stylesheet" type="text/css" href="${style}" />
    <title>ようこそ</title>
  </head>
  <body>
    <div id="page">
      <h3>ようこそ</h3>
      <p>
        <sec:authentication property="principal.username" htmlEscape="true"/>さん<br />
        あなたの連絡先は<sec:authentication property="principal.contact" htmlEscape="true"/>です。<br />
        <sec:authorize access="hasRole('ROLE_ADMIN')">※管理者権限が設定されています。</sec:authorize>
      </p>
      <c:url value="/resources/j_spring_security_logout" var="logout_url"/>
      <a href="${logout_url}">ログアウト</a>
    </div>
  </body>
</html>

style.css

body {
  margin: 0px;
  padding: 0px;
  font: 13px Arial, Helvetica, sans-serif;
  color: #212121;
}

h1 {
  margin-top: 0px;
  font-size: 2.4em;
}

p {
  margin-bottom: 1.8em;
  line-height: 160%;
}

table {
  margin: 0px auto;
}

th, td {
  text-align: left;
}

div.errors {
  background-color: #FFEBE8;
  border: solid 1px #DD3C10;
  width: 300px;
  margin: 3px auto;
  padding: 3px;
}

#page {
  width: 900px;
  margin: 0px auto;
  padding: 30px 0px;
  text-align: center;
}

POMファイルの作成

pom.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<project 
  xmlns="http://maven.apache.org/POM/4.0.0"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="
    http://maven.apache.org/POM/4.0.0
    http://maven.apache.org/maven-v4_0_0.xsd">
    
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.mydomain</groupId>
  <artifactId>studying-spring-security-02</artifactId>
  <packaging>war</packaging>
  <version>1.0</version>
  <name>studying-spring-security-02</name>
  
  <properties>
    <java.version>1.7</java.version>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <spring.version>3.1.0.RELEASE</spring.version>
    <spring-security.version>3.0.7.RELEASE</spring-security.version>
  </properties>
  
  <repositories>
    <repository>
      <id>spring-maven-release</id>
      <name>Spring Maven Release Repository</name>
      <url>http://maven.springframework.org/release</url>
    </repository>
  </repositories>
  
  <pluginRepositories>
    <pluginRepository>
      <id>spring-maven-release</id>
      <name>Spring Maven Release Repository</name>
      <url>http://maven.springframework.org/release</url>
    </pluginRepository>    <pluginRepository>
      <id>apache.snapshots</id>
      <url>http://repository.apache.org/snapshots/</url>
    </pluginRepository>
  </pluginRepositories>
  
  <dependencies>     
    <dependency>
      <groupId>javax</groupId>
      <artifactId>javaee-api</artifactId>
      <version>6.0</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>javax.servlet</groupId>
      <artifactId>jstl</artifactId>
      <version>1.2</version>
    </dependency>
    
    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-context</artifactId>
      <version>${spring.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-webmvc</artifactId>
      <version>${spring.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-jdbc</artifactId>
      <version>${spring.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-orm</artifactId>
      <version>${spring.version}</version>
    </dependency>

    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-core</artifactId>
      <version>${spring-security.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-config</artifactId>
      <version>${spring-security.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-web</artifactId>
      <version>${spring-security.version}</version>
    </dependency>
    <dependency>
      <groupId>org.springframework.security</groupId>
      <artifactId>spring-security-taglibs</artifactId>
      <version>${spring-security.version}</version>
    </dependency>

    <dependency>
      <groupId>org.hibernate</groupId>
      <artifactId>hibernate-entitymanager</artifactId>
      <version>3.6.10.Final</version>
    </dependency>
    <dependency>
      <groupId>commons-pool</groupId>
      <artifactId>commons-pool</artifactId>
      <version>1.5.6</version>
    </dependency>
    <dependency>
      <groupId>commons-dbcp</groupId>
      <artifactId>commons-dbcp</artifactId>
      <version>1.3</version>
    </dependency>
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>5.1.18</version>
    </dependency>

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.10</version>
      <scope>test</scope>
    </dependency>
  </dependencies>

  <build>
    <finalName>studying-spring-security-02</finalName>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>2.3.2</version>
        <configuration>
          <source>${java.version}</source>
          <target>${java.version}</target>
          <encoding>${project.build.sourceEncoding}</encoding>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.tomcat.maven</groupId>
        <artifactId>tomcat7-maven-plugin</artifactId>
        <version>2.0-SNAPSHOT</version>
      </plugin>
    </plugins>
  </build>
</project>

ビルドと実行

コマンドプロンプトを開きCドライブ直下の「studying-spring-security」フォルダに移動後、mvnコマンドを実行します。

cd c\studying-spring-security
mvn clean package
mvn tomcat7:run

Webブラウザを開き「http://localhost:8080/studying-spring-security/」にアクセスします。
ログインユーザ/パスワードは admin/admin と user/user になります。

tomcat7-maven-pluginについて

現時点での最新は「2.0-beta-1」だと思われるのですが、このVersionでtomcatを実行すると
「Unable to determine URL for WEB-INF/classes」的なエラー発生してしまいます。
これは、tomcat7-maven-pluginが使用しているtomcat(7.0.25)が原因とのことです。
エラーは出るもののとりあえずは動いてそうなので問題なさそうなのですが、
エラーが出ているのがなんとなく嫌な感じなのでSNAPSHOTにしてみました。
なにぶんSNAPSHOTなので日によって挙動が違うかもしれません…

おわりに

SpringSecurityは、もっとガチガチで入り込む余地があまりないような印象だったのですが
さわってみた感じ割と挟みどころがいろいろ用意されているようです。
全然使い込んではないのでなんとも言えませんが…
とりあえずSpringは期待できそうだ。！
Webの開発をJavaでとなるとSpringの今後に懸かってますね。！
…JavaでWebかぁ～
ないのかな？

参考URL: http://news.mynavi.jp/articles/2010/03/25/spring3/003.html; http://sites.google.com/site/soracane/home/springnitsuite/spring-security/spring-securityno-settei-houhou; http://ameblo.jp/spring-beginner/entry-10239724907.html; http://oajamfibia.wordpress.com/2011/07/05/writing-a-custom-jpa-userdetailservice/; http://krams915.blogspot.jp/2010/12/spring-security-mvc-integration_18.html; http://www.codercorp.com/blog/spring/security-spring/writing-custom-userdetailsservice-for-spring-security.html; http://stackoverflow.com/questions/9580031/javax-naming-namenotfoundexception-resource-web-inf-classes-not-found-with-mav

mavenでAIRする

2011-10-17T16:00:00.041+09:00

はじめに

今回は、flexmojos-maven-pluginでFlex-AIRアプリを作ろう！というのがテーマです。
このMavenプラグインを使ってうれしいことは

無償である。
MavenリポジトリにアップされているFlex-SDKを利用できるのでダウンロード、インストールなどが不要である。

などなどです。
それでは、Getting Started!!

環境

OS	Windows XP
ビルドツール	Maven 3.0.3 ※mvnコマンドが実行できるように設定しておきます。

作業フォルダ作成

とりあえずCドライブ直下にプロジェクトフォルダを作成します。
コマンドプロンプトを開いて以下のコマンドを実行します。

cd c:\
mkdir maven-air
cd maven-air

作成した作業フォルダ作成に移動しておきます。

pom.xmlファイルを作る

コマンドプロンプトから以下のコマンドを実行します。

mvn archetype:generate ^
-DarchetypeRepository=http://repository.sonatype.org/content/groups/flexgroup ^
-DarchetypeGroupId=org.sonatype.flexmojos ^
-DarchetypeArtifactId=flexmojos-archetypes-application ^
-DarchetypeVersion=4.0-beta-3

archetypeVersionについて
現時点での最新と思われる 4.0-beta-3 を指定します。

groupId、artifactId、versionは以下のようにします。

groupId	mydomain.com
artifactId	my-air
version	1.0-SNAPSHOT

コマンド実行後、プロジェクトフォルダとpomファイルが生成されます。
次に生成されたpomファイルを以下のような感じで編集します。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
     
  <modelVersion>4.0.0</modelVersion>

  <groupId>mydomain.com</groupId>
  <artifactId>my-air</artifactId>
  1.0-SNAPSHOT
  swf

  my-air Flex

  
    Main
    4.5.0.17855
    ${basedir}/src/main/resources/sign.p12
    geheim
  
  
  
    <sourceDirectory>src/main/flex</sourceDirectory>
    <testSourceDirectory>src/test/flex</testSourceDirectory>
     
      
        <groupId>org.sonatype.flexmojos</groupId>
        <artifactId>flexmojos-maven-plugin</artifactId>
        4.0-beta-3
        true
        
          <flexBuilderCompatibility>true</flexBuilderCompatibility>
          <sourceFile>${application.name}.mxml</sourceFile>
          <descriptorTemplate>${basedir}/src/main/flex/${application.name}-app.xml</descriptorTemplate>
          ${keystore.file}
          ${keystore.password}
          <includeFileSets>
            <fileSet>
              src/main/resources/embedded
              
                *.*
              
            </fileSet>
          </includeFileSets>
        
        
          
            
              sign-air
            
          
        
      
    
  

  
    
      <groupId>com.adobe.flex.framework</groupId>
      <artifactId>flex-framework</artifactId>
      ${flex.framework.version}
      pom
    
    
      <groupId>com.adobe.flexunit</groupId>
      <artifactId>flexunit</artifactId>
      0.85
      swc
      test
    
    
      <groupId>com.adobe.flex.framework</groupId>
      <artifactId>air-framework</artifactId>
      ${flex.framework.version}
      pom
    
    
      <groupId>com.adobe.flex</groupId>
      <artifactId>compiler</artifactId>
      ${flex.framework.version}
      pom
    
    
      <groupId>com.adobe.flex.compiler</groupId>
      <artifactId>adt</artifactId>
      ${flex.framework.version}
    
  

  
    
      flexmojos
      http://repository.sonatype.org/content/groups/flexgroup
    
  

  <pluginRepositories>
    <pluginRepository>
      flexmojos
      http://repository.sonatype.org/content/groups/flexgroup
    </pluginRepository>
  </pluginRepositories>
 
  
    
      createCertificateKey
      
        
          ${basedir}/src/main/resources/sign.p12
        
      
      
        
          
            <groupId>org.codehaus.mojo</groupId>
            <artifactId>exec-maven-plugin</artifactId>
            1.1.1        
            
              
                generate-cert
                generate-resources
                
                  exec
                
                  
                    java
                    <workingDirectory>${basedir}/src/main/resources</workingDirectory>
                    
                      -classpath
                      <classpath/>
                      com.adobe.air.ADT
                      -certificate
                      -cn
                      AirPackage
                      2048-RSA
                      sign.p12
                      geheim
                    
                  
              
            
          
        
      
    
  
 
</project>

CertificateKeyファイルについて
ビルドの度にCertificateKeyファイルを作ってAIRパッケージするとAIRインストール時にエラーが出る。
なのでprofile設定を利用してCertificateKeyファイルが無い時にだけ生成するようにします。
(同じCertificateKeyファイルを使ってパッケージしないといけないようだ)
sign-airゴールの設定をうまくやればこのprofile設定は不要かもしれません。
わたしはよく分からなかったのでexec-maven-pluginでCertificateKeyファイルを生成する方法にしました。

テンプレートファイル作成

AIRパッケージのためのテンプレートファイル作成します。
ファイル名は『Main-app.xml』として、『c:\maven-air\my-air\src\main\flex』フォルダに置きます。

Main-app.xml

<?xml version="1.0" encoding="UTF-8"?>

  com.mydomain.MyApp
  Main
  My Application
  1.0
  <initialWindow>
    my-air-1.0-SNAPSHOT.swf
    true
    800
    600
  </initialWindow>

プロジェクト構成の確認

確認の前に embedded フォルダを作成します。
コマンドプロンプトを開いて以下のコマンドを実行します。

 
mkdir C:\maven-air\my-air\src\main\resources\embedded

この時点で以下のようなファイル構成になっているか確認します。

C:\maven-air
- my-air
  - src
    - main
      - flex
        
        Main.mxml
        
        Main-app.xml
      - resources
        
        embedded
    - test
      - flex
        
        mydomain
        
        com
        
        TestApp.as
  - pom.xml

sign-airゴールについて
embedded フォルダを作るのを忘れるとビルドの時のsign-airゴール実行に
NullPointerExceptionが出るので気をつけましょう。

ビルド！！

いよいよビルドの瞬間がやって参りました。
うまくいきますかねぇ？
ドキドキしますね！
それでは pom.xml ファイルのあるプロジェクトフォルダに移動してコマンドプロンプトから以下のコマンドを実行！！！

cd c:\maven-air\my-air
mvn clean package -Dmaven.test.skip=true

ここに来て残念なお知らせが・・・
テスト実行時、 Flash Playerか見つからない等のエラーが出てしまいます。
（わたしの環境だけなのかもしれませんが・・・）
PATH変数やmvnコマンドの引数にFlashPlayer.exeを使いしてみたりしたのですがうまくいきませんでした。
なので今回、テストは見送りです。
わたしの設定の仕方が間違っているのか、プラグインがおかしいのかよく分かりません。
まぁオープンソースなのでそんなものです。
いつかソースコードを眺めてみたいと思っています。

コマンド実行後、targetフォルダ直下に my-air-1.0-SNAPSHOT.air ファイルが出力されます。
このファイルをダブルクリックするとAIRインストーラーが起動します。
あとは適当にインスールするフォルダを選択して完了です。

AIRアプリのインストールに失敗する場合
同じAIRアプリを違うCertificateKeyファイルでパッケージするができないようです。
そんな時は、コントロールパネルの『プログラムの追加と削除』から一旦AIRアプリを削除してから
再度my-air-1.0-SNAPSHOT.air ファイルを実行してみよう。

おわりに

とりあえずは、無償でFlex-AIRアプリがそこそこお手軽に作れる環境が整ったとは思いますが
いくつか問題点は残りました。(テストなど)
ここがFlashBuilderを購入するか悩むところです。
仕事ならばFlashBuilder購入なのでしょうが
趣味程度ならflexmojos-maven-pluginで十分なのでしょうかね？
むむ～
flexmojos-maven-pluginのソース読む元気ないし
FlashBuilderの安いものなら３万円くらいなので買おうかしら？

参考URL: http://blog.flex-mojos.info/; http://flexmojos.sonatype.org/getting-started.html; https://docs.sonatype.org/display/FLEXMOJOS/Home; https://docs.sonatype.org/display/FLEXMOJOS/Building+an+AIR+Application; https://repository.sonatype.org/content/sites/maven-sites/flexmojos/latest/plugin-info.html; http://code.google.com/p/jianwikis/wiki/MavenForFlexAirProject#Flex_AIR_Maven_Project

コンテナ管理トランザクションであそぶ - (1/10) -

2009-12-06T09:57:00.015+09:00

はじめに

EJBのコンテナ管理トランザクション(ContainerManagedTransactions-CMT)とは
どんなものなのか試してみようというのが今回のテーマです。
ステートレスのローカルオブジェクトのセッション Bean で検証をします。
主に@TransactionAttributeアノテーションによってTransactionAttributeTypeが
REQUIREDとREQUIRES_NEWに指定されたメソッドがコミットされる様子と
ロールバックされる様子を観察したいと思います。
インターセプターを使ってトランザクション内に例外を発生させてロールバックするようにします。
確認のためにセッションIDをアクセスログとして保存し表示する検証用Webアプリを作成します。
検証用Webアプリはシンプルにしたいのでフレームワークを使わずServletとJSPで作成します。

以下の内容を検証します。

REQUIREDに指定されたメソッド同士は同じトランザクションとして処理されるのか？
トランザクションに参加するいずれかのメソッドで例外が発生した場合、
そのトランザクションに参加するすべてのメソッドでの処理がロールバックされるか検証します。
REQUIRES_NEWに指定されたメソッドは別トランザクションを開始して処理されるのか？
別トランザクションのメソッドで例外が発生した場合でも REQUIRES_NEWに指定された
メソッドでの処理がコミットされていれば、その処理はロールバックされないことを検証します。
(別トランザクションのメソッドでの処理はロールバックされる)

コンテナ管理トランザクションであそぶ - (2/10) -

2009-12-06T09:56:00.045+09:00

準備する

検証環境

アプリケーションサーバー	GlassFish v2.1
データベースサーバー	Apache Derby
OS	Windows XP
ビルドツール	Maven 2 ※mvnコマンドが実行できるように設定しておいてください。

適当な場所に作業フォルダー(C:\mywork)を作り、フォルダとファイルを配置します。
一括ビルドプロジェクト(build)、EARファイルプロジェクト(build-ear)、
EJBプロジェクト(ejb-module)、Webアプリプロジェクト(webtest-client)を作成します。

C:\mywork
- build
  - pom.xml
- build-ear
  - pom.xml
- ejb-module
  - src
    - main
      - java
        
        com
        
        mydomain
        
        ejb
        
        Action.java
        
        ActionImpl.java
        
        Message.java
        
        MessageUtil.java
        
        Rollback.java
        
        SubAction.java
        
        SubActionImpl.java
      - resources
        
        META-INF
        
        ejb-jar.xml
        
        persistence.xml
  - pom.xml
- webtest-client
  - src
    - main
      - java
        
        com
        
        mydomain
        
        ejb
        
        Client.java
        
        PageData.java
      - webapp
        
        WEB-INF
        
        web.xml
        
        index.jsp
  - pom.xml

コンテナ管理トランザクションであそぶ - (3/10) -

2009-12-06T09:56:00.035+09:00

DataSourceの設定をする

asadmin create-jdbc-connection-poolコマンドを使ってコネクションプールを作成します。

コマンドプロンプトを開き以下のように入力します。

asadmin create-jdbc-connection-pool ^
  --datasourceclassname org.apache.derby.jdbc.ClientDataSource ^
  --restype javax.sql.DataSource ^
  --property user=sa:password=sa:databaseName=example ^
  MyJDBCPool

コネクションプールのプロパティに接続文字列を追加します。

asadmin set ^
  domain.resources.jdbc-connection-pool.MyJDBCPool.property.url=jdbc:derby://localhost:1527/example

コネクションプールのプロパティに接続文字列属性を追加します。

asadmin set ^
  domain.resources.jdbc-connection-pool.MyJDBCPool.property.connectionAttributes=;create=true

コネクションの接続を確認します。

asadmin ping-connection-pool MyJDBCPool

asadmin create-jdbc-resourceコマンドを使ってコネクションプールをJNDIに登録します。

コマンドプロンプトを開き以下のように入力します。

asadmin create-jdbc-resource ^
  --connectionpoolid MyJDBCPool ^
  jdbc/MyJDBCResource

GlassFish管理コマンド

asadmin コマンドを使用するためには『GLASSFISHインストールフォルダ/bin』フォルダを
PATH変数に追加しておかないといけません。
コントロールパネルのシステムの詳細設定タブから環境変数を編集します。
それからGlassFishサーバーとJavaDBを起動します。
WebのGlassFish管理コンソールからコネクションプールをJDBCリソースに登録する場合は
『jdbc/MyJDBCResource』でJNDIから参照できるようにします。

Persistence Unitを定義します。

persistence.xml

<?xml version="1.0" encoding="UTF-8"?>
<persistence version="1.0"
  xmlns="http://java.sun.com/xml/ns/persistence" 
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://java.sun.com/xml/ns/persistence 
                      http://java.sun.com/xml/ns/persistence/persistence_1_0.xsd">
  <persistence-unit name="example-pu">
  <provider>oracle.toplink.essentials.PersistenceProvider</provider>
    <jta-data-source>jdbc/MyJDBCResource</jta-data-source>
    <properties>
      <property name="toplink.ddl-generation" value="drop-and-create-tables" />
    </properties>
  </persistence-unit>
</persistence>

	Persistence UnitをJNDIのグローバルネームスペース『example-pu』に登録します。

コンテナ管理トランザクションであそぶ - (4/10) -

2009-12-06T09:55:00.015+09:00

ビジネスBeanを作成する

ステートレス Session Beanを作成します。
ビジネスインターフェイスとセッションBeanを２組作成します。

Action.java

package com.mydomain.ejb;

import java.util.List;
import javax.ejb.*;

@Local
public interface Action
{
    public void regist(String message, int rollbak);
    
    public void insert(Message message);
    
    public void decorateInsert(Message message);

    public List<Message> getMessages();
    
    public void delete();
}

ActionImpl.java

package com.mydomain.ejb;

import java.util.*;
import javax.ejb.*;
import javax.persistence.*;
import static com.mydomain.ejb.MessageUtil.*;

@Stateless
public class ActionImpl implements Action
{
    @PersistenceContext(unitName="example-pu")
    private EntityManager em;
    
    @EJB
    private SubAction subAction;

    public void regist(String text, int rollback)          
    {       
        this.decorateInsert(createMessage(text, 2, rollback));
        this.insert(createMessage(text, 3, rollback));
        this.subAction.decorateInsert(createMessage(text, 5, rollback));
        this.subAction.insert(createMessage(text, 6, rollback));
        try
        {
            this.subAction.requiresNewInsert(createMessage(text, 8, rollback));
        }
        catch(Exception exp){}

        Message chkMessage = createMessage(text, 1, rollback);
        doRollback(chkMessage);
    }

    public void insert(Message message)          
    {
        setLogMessage(message, this.getClass(), "insert");
        this.em.persist(message);
        
        Message decMessage = createMessage(message);
        setNextLogMessage(decMessage);
        this.decorateInsert(decMessage);
        
        doRollback(message);
    }
    
    @TransactionAttribute(TransactionAttributeType.REQUIRES_NEW)
    public void decorateInsert(Message message)            
    {
        setLogMessage(message, this.getClass(), "decorateInsert");
        message.setText(message.getText() + "*");
        this.em.persist(message);

        doRollback(message);
    }

    public List<Message> getMessages()
    {
        String sql = "SELECT m FROM message AS m ORDER BY m.no";
        return this.em.createQuery(sql).getResultList();
    }

    public void delete()
    {
        this.em.createQuery("DELETE FROM message").executeUpdate();
    }
}

	regist()メソッドサーブレットから呼出されてセッションIDをアクセスログとして登録するメインの処理を開始します。処理の最後にMessageUtil.doRollback()メソッドを呼出して例外発生の判定します。
	insert()メソッドセッションIDを登録します。処理の最後にMessageUtil.doRollback()メソッドを呼出して例外発生の判定します。
	decorateInsert()メソッドセッションIDに『*』アスタリスクを付けて登録します。 REQUIRES_NEW を指定して別トランザクションとして処理されるようにします。処理の最後にMessageUtil.doRollback()メソッドを呼出して例外発生の判定します。

SubAction.java

package com.mydomain.ejb;

import javax.ejb.Local;

@Local
public interface SubAction
{
    public void insert(Message message);

    public void decorateInsert(Message message);
    
    public void requiresNewInsert(Message message);
}

SubActionImpl.java

package com.mydomain.ejb;

import javax.ejb.*;
import javax.persistence.*;
import static com.mydomain.ejb.MessageUtil.*;

@Stateless(name="subActionImpl")                 
public class SubActionImpl implements SubAction
{
    @PersistenceContext(unitName="example-pu")
    private EntityManager em;

    public void insert(Message message)          
    {
        setLogMessage(message, this.getClass(), "insert");
        this.em.persist(message);

        Message decMessage = createMessage(message);
        setNextLogMessage(decMessage);
        this.decorateInsert(decMessage);

        doRollback(message);
    }

    @TransactionAttribute(TransactionAttributeType.REQUIRES_NEW)
    public void decorateInsert(Message message)            
    {
        setLogMessage(message, this.getClass(), "decorateInsert");
        message.setText(message.getText() + "*");
        this.em.persist(message);

        doRollback(message);
    }

    @TransactionAttribute(TransactionAttributeType.REQUIRES_NEW)
    public void requiresNewInsert(Message message)         
    {
        String sessionId = message.getText();
        message.setText(sessionId + "+");
        this.em.persist(message);

        Message decMessage = createMessage(message);
        setNextLogMessage(decMessage);
        decMessage.setText(sessionId);
        this.insert(decMessage);
    }
}

	このクラスのEJB名(EJBコンテナ内での名前)をsubActionImpl に設定します。
	insert()メソッドセッションIDを登録します。処理の最後にMessageUtil.doRollback()メソッドを呼出して例外発生の判定します。
	decorateInsert()メソッドセッションIDに『*』アスタリスクを付けて登録します。 REQUIRES_NEW を指定して別トランザクションとして処理されるようにします。処理の最後にMessageUtil.doRollback()メソッドを呼出して例外発生の判定します。
	requiresNewInsert()メソッドセッションIDに『+』プラスを付けて登録します。 REQUIRES_NEW を指定して別トランザクションとして処理されるようにします。処理の最後にインターセプターによって例外発生の判定をします。

コンテナ管理トランザクションであそぶ - (5/10) -

2009-12-06T09:55:00.013+09:00

インターセプターを作成する

インターセプターを作成します。

Rollback.java

package com.mydomain.ejb;

import javax.interceptor.*;
import static com.mydomain.ejb.MessageUtil.*;

public class Rollback
{
    @AroundInvoke
    public Object action(InvocationContext ctx) throws Exception
    {
        Object[] params = ctx.getParameters();
        Message message = (Message)params[0];
        setLogMessage(message, ctx.getTarget().getClass(), ctx.getMethod().getName());
        
        Object retObj = ctx.proceed();                     
        
        doRollback(message);
        
        return retObj;
    }
}

同じクラスの同じメソッドであっても呼出される条件によってインターセプトが適用されない場合もあったので
SubActionImpl クラスの requiresNewInsert() メソッドのみにインターセプトを設定しています。
ejb-jar.xml

<ejb-jar version="3.0"
  xmlns="http://java.sun.com/xml/ns/javaee" 
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
  xsi:schemaLocation="http://java.sun.com/xml/ns/javaee 
                      http://java.sun.com/xml/ns/javaee/ejb-jar_3_0.xsd">
  <interceptors>
    <interceptor>
      <interceptor-class>com.mydomain.ejb.Rollback</interceptor-class>         
    </interceptor>
  </interceptors>
  <assembly-descriptor>
    <interceptor-binding>
      <ejb-name>subActionImpl</ejb-name>         
      <interceptor-class>com.mydomain.ejb.Rollback</interceptor-class>
      <method>
        <method-name>requiresNewInsert</method-name>
        <method-params>
          <method-param>com.mydomain.ejb.Message</method-param>
        </method-params>
      </method>
    </interceptor-binding>
  </assembly-descriptor>
</ejb-jar>

インターセプトされないメソッドの呼出し

EJBインスタンスを通して直接呼出される場合はインターセプトが適用されるようですが
メソッドの処理の中で呼出される場合にはインターセプトが適用されないみたいでした。
今回の検証用Webアプリの例でいうとActionImplクラスのinsert()メソッドとdecorateInsert()メソッドは
regist()メソッドから呼出されるためインターセプトは適用されないようです。
(regist()メソッドはサーブレットから直接呼出されるのでインターセプトが適用できるようです。)
またSubActionImplクラスのinsert()メソッドとdecorateInsert()メソッドは
ActionImplクラスのregist()メソッドから直接呼出される場合にはインターセプトが適用されるようですが、
requiresNewInsert()メソッドの処理の中から呼出されたinsert()メソッド、
insert()メソッドの処理の中から呼出されたdecorateInsert()メソッドにはインターセプトが適用されないようでした。

コンテナ管理トランザクションであそぶ - (6/10) -

2009-12-06T09:54:00.015+09:00

エンティティBeanを作成する

エンティティBeanを作成します。

Message.java

package com.mydomain.ejb;

import java.io.Serializable;
import javax.persistence.*;

@Entity(name="message")
public class Message implements Serializable
{
    private static final long serialVersionUID = 1L;

    public Message(){}

    @Id
    @GeneratedValue(strategy=GenerationType.SEQUENCE)
    private long id;
    public long getId(){ return this.id; }
    public void setId(long id){ this.id = id; }

    private String text;
    public String getText(){ return this.text; }
    public void setText(String text){ this.text = text; }

    @Column(name="number")
    private int no;
    public int getNo(){ return this.no; }
    public void setNo(int no){ this.no = no; }

    @Column(name="rollback_point")
    private int rollback;
    public int getRollback(){ return this.rollback; }
    public void setRollback(int rollback){ this.rollback = rollback; }

    private String biko;
    public String getBiko(){ return this.biko; }
    public void setBiko(String biko){ this.biko = biko; }
}

エンティティBeanの生成と例外の生成をするユーティリティクラスを作成します。

MessageUtil.java

package com.mydomain.ejb;

public class MessageUtil
{    
    public static Message createMessage(Message message)
    {
        return createMessage(
            message.getText(), message.getNo(), message.getRollback(), message.getBiko());
    }

    public static Message createMessage(String text, int no, int rollback)
    {
        return createMessage(text, no, rollback, "");
    }
    
    public static Message createMessage(String text, int no, int rollback, String biko)
    {
        Message message = new Message();
        message.setText(text);
        message.setNo(no);
        message.setRollback(rollback);
        message.setBiko(biko);
        return message;
    }

    public static void setLogMessage(Message message, Class cls, String method)
    {
        String biko = cls.getSimpleName() + ":" + method + "( )";
        message.setBiko(message.getBiko() + biko);
    }
    
    public static void setNextLogMessage(Message message)
    {
        message.setBiko(message.getBiko() + "=>");
        message.setNo(message.getNo()+1);
    }
    
    public static boolean doRollback(Message message)      
    {
        if(message.getRollback() == message.getNo())
        {
            Object obj = null;
            obj.toString();
        }
        return false;
    }
}

	doRollback()メソッド例外発生の判定をします。例外はjava.lang.NullPointerExceptionをthrowします。

コンテナ管理トランザクションであそぶ - (7/10) -

2009-12-06T09:54:00.014+09:00

検証用Webアプリを作成する

サーブレットとviewページを作成します。

Client.java

package com.mydomain.ejb;

import java.io.IOException;
import java.util.*;
import java.util.regex.Pattern;
import javax.ejb.EJB;
import javax.servlet.*;
import javax.servlet.http.*;

public class Client extends HttpServlet
{
    @EJB
    private Action action;
    
    protected void service(HttpServletRequest req, HttpServletResponse resp)
            throws ServletException, IOException
    {
        HttpSession session = req.getSession();
        try
        {
            this.action.delete();
            String strRollback = req.getParameterMap().containsKey("rollback")
                ? req.getParameter("rollback").toString() : "0";
            int rollback = Pattern.matches("[^0-9]", strRollback)
                ? 0 : Integer.parseInt(strRollback);
            try
            {
                this.action.regist(session.getId(), rollback);
            }
            catch(Exception exp){}
            req.setAttribute("messages", this.action.getMessages());
            this.setMethodList(req, rollback);
        }
        catch(Exception ex)
        {
            session.invalidate();
            ex.printStackTrace();
            System.out.println("webclient servlet test failed");
            throw new ServletException(ex);
        }
    }
    
    protected void setMethodList(HttpServletRequest req, int rollback)
    {
        PageData pageData = new PageData();
        List<Map<String,String>> methodList = pageData.getMethodList();
        req.setAttribute("methodList", methodList);

        List<String> rollbacks = new ArrayList<String>();
        for(int ct=0; ct<methodList.size(); ct++)
        {
            rollbacks.add((rollback == ct) ? "checked" : "");
        }
        req.setAttribute("rollbacks", rollbacks);
    }
}

PageData.java

package com.mydomain.ejb;

import java.io.Serializable;
import java.util.*;

public class PageData implements Serializable
{
    private static final long serialVersionUID = 1L;

    public PageData(){}
    
    public List<Map<String,String>> getMethodList()
    {
        List<Map<String,String>> methods = new ArrayList<Map<String,String>>();
        String spc = "&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;";
        String pls = spc + spc + spc + "+";

        this.addMethodRow(methods, "", "");
        this.addMethodRow(methods, "+->regist( )", pls);
        this.addMethodRow(methods, spc + "+->decorateInsert( )", pls);
        this.addMethodRow(methods, spc + "+->insert( )", pls);
        this.addMethodRow(methods, spc + "&nbsp;&nbsp;&nbsp;+->decorateInsert( )", pls);
        this.addMethodRow(methods, spc + "+--------------------------", "--->decorateInsert( )");
        this.addMethodRow(methods, spc + "+--------------------------", "--->insert( )");
        this.addMethodRow(methods, "", spc + "&nbsp;&nbsp;&nbsp;+->decorateInsert( )");
        this.addMethodRow(methods, spc + "+--------------------------", "--->requiresNewInsert( )");
        this.addMethodRow(methods, "", spc + "&nbsp;&nbsp;&nbsp;+->insert( )");
        this.addMethodRow(methods, "", spc + spc + "+->decorateInsert( )");
        
        return methods;
    }

    protected void addMethodRow(List<Map<String,String>> methods, String act, String sub)
    {
        Map<String,String> row = new HashMap<String,String>();
        row.put("act", act);
        row.put("sub", sub);
        row.put("rollback", Integer.toString(methods.size()));
        methods.add(row);
    }
}

index.jsp

<%@ page language="java" pageEncoding="UTF-8" %>
<%@ page contentType="text/html; charset=UTF-8" %>
<%@ page import="java.util.*,com.mydomain.ejb.*" %>
<jsp:include page="/servlet" />
<%
List<String> rollbacks = (List<String>)request.getAttribute("rollbacks");
List<Map<String,String>> methodList 
  = (List<Map<String,String>>)request.getAttribute("methodList"); 
%>
<html>
  <head>
    <title>Access Log</title>
    <style type="text/css">
      table.list, table  {font-size: 9pt;}
      table.list th {background:#FFCC66;}
      table.list td {background:#FFFFCC}
    </style>
  </head>
  <body>
    <form method="post">
      <table>
        <tr>
          <td>
            <table style="border: solid 1px;">
              <tr>
                <th>No.</th>
                <th></th>
                <th align="left" style="text-decoration: underline;">ActionImpl</th>
                <th style="text-decoration: underline;">SubActionImpl</th>
              </tr>
              <% for(int ct=1; ct<rollbacks.size(); ct++){ %>
              <tr>
                <td><%= ct %></td>
                <td align="right">
                  Rollback
                  <input type="radio" name="rollback" value="<%= ct %>" <%= rollbacks.get(ct) %>>
                </td>
                <td><%= methodList.get(ct).get("act") %></td>
                <td><%= methodList.get(ct).get("sub") %></td>
              </tr>
              <% } %>
              <tr>
                <td></td>
                <td align="right">
                  Commit
                  <input type="radio" name="rollback" value="0"  <%= rollbacks.get(0) %>>
                </td>
                <td colspan="3"></td>
              </tr>
            </table>
            <input type="submit" value="access">
          </td>
        </tr>
        <tr>
          <td>
            <table class="list">
              <tr>
                <th>No.</th>
                <th>Session ID<br /></th>
                <th>Class:Method</th>
              </tr>
              <% for(Message row : (List<Message>)request.getAttribute("messages")){ %>
              <tr>
                <td><%= row.getNo() %></td>
                <td><%= row.getText() %></td>
                <td><%= row.getBiko() %></td>
              </tr>
              <% } %>
            </table>
          </td>
        </tr>
      </table>
    </form>
  </body>
</html>

web.xmlファイルを作成します。

web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app version="2.5" 
  xmlns="http://java.sun.com/xml/ns/javaee" 
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://java.sun.com/xml/ns/javaee 
                      http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd">
  <welcome-file-list>
    <welcome-file>index.jsp</welcome-file>
  </welcome-file-list>  
  <servlet>
    <servlet-name>Servlet</servlet-name>
    <servlet-class>com.mydomain.ejb.Client</servlet-class>
    <load-on-startup>0</load-on-startup>
  </servlet>
  <servlet-mapping>
    <servlet-name>Servlet</servlet-name>
    <url-pattern>/servlet</url-pattern>
  </servlet-mapping>
</web-app>

サーブレットで@EJBアノテーションを使用するためServlet2.5のスキーマを宣言します。

コンテナ管理トランザクションであそぶ - (8/10) -

2009-12-06T09:53:00.004+09:00

ビルドする

ejb-jarファイル、warファイル、earファイル作成ビルドファイルを作成します。

ejb-module/pom.xml

<project>
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.mydomain.ejb</groupId>
  <artifactId>ejb-module</artifactId>
  <packaging>ejb</packaging>
  <version>1.0</version>
  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <configuration>
          <source>1.6</source>
          <target>1.6</target>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-ejb-plugin</artifactId>
        <configuration>
          <ejbVersion>3.0</ejbVersion>
        </configuration>
      </plugin>
    </plugins>
  </build>
  <dependencies>
    <dependency>
      <groupId>org.apache.openejb</groupId>
      <artifactId>javaee-api</artifactId>
      <version>5.0-2</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.openejb</groupId>
      <artifactId>openejb-core</artifactId>
      <version>3.1.2</version>
      <scope>provided</scope>
    </dependency>
  </dependencies>
</project>

webtest-client/pom.xml

<project>
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.mydomain.ejb</groupId>
  <artifactId>webtest-client</artifactId>
  <packaging>war</packaging>
  <version>1.0</version>
  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <configuration>
          <source>1.6</source>
          <target>1.6</target>
        </configuration>
      </plugin>
    </plugins>
  </build>
  <dependencies>
    <dependency>
      <groupId>org.apache.openejb</groupId>
      <artifactId>javaee-api</artifactId>
      <version>5.0-2</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.openejb</groupId>
      <artifactId>openejb-core</artifactId>
      <version>3.1.2</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>com.mydomain.ejb</groupId>
      <artifactId>ejb-module</artifactId>
      <version>1.0</version>
      <scope>provided</scope>
    </dependency>
  </dependencies>
</project>

build-ear/pom.xml

<project>
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.mydomain.ejb</groupId>
  <artifactId>enterprise-bean-example</artifactId>
  <packaging>ear</packaging>
  <version>1.0</version>
  <build>
    <plugins>
      <plugin>
        <artifactId>maven-ear-plugin</artifactId>
        <version>2.4</version>
        <configuration>
          <modules>
            <ejbModule>
              <groupId>com.mydomain.ejb</groupId>
              <artifactId>ejb-module</artifactId>
            </ejbModule>
            <webModule>
              <groupId>com.mydomain.ejb</groupId>
              <artifactId>webtest-client</artifactId>
              <contextRoot>webtest-client</contextRoot>
            </webModule>
          </modules>
        </configuration>
      </plugin>
    </plugins>
  </build>
  <dependencies>
    <dependency>
      <groupId>com.mydomain.ejb</groupId>
      <artifactId>ejb-module</artifactId>
      <version>1.0</version>
      <type>ejb</type>
    </dependency>
    <dependency>
      <groupId>com.mydomain.ejb</groupId>
      <artifactId>webtest-client</artifactId>
      <version>1.0</version>
      <type>war</type>
    </dependency>
  </dependencies>
</project>

一括ビルドpomファイルを作成します。

build/pom.xml

<project>
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.mydomain.ejb</groupId>
  <artifactId>build</artifactId>
  <packaging>pom</packaging>
  <version>1.0</version>
  <modules>
      <module>../ejb-module/pom.xml</module>
      <module>../webtest-client/pom.xml</module>
      <module>../build-ear/pom.xml</module>
   </modules>
</project>

コマンドプロンプトを開き一括ビルドpomファイルのあるフォルダに移動して一括ビルドpomファイルを実行します。

cd C:\mywork\build
mvn clean install

生成されたenterprise-bean-example-1.0.earを『GLASSFISHインストールフォルダ/domains/domain1/autodeploy』フォルダーにコピーします。

	このクラスのEJB名(EJBコンテナ内での名前)をsubActionImpl に設定します。
	insert()メソッドセッションIDを登録します。処理の最後にMessageUtil.doRollback()メソッドを呼出して例外発生の判定します。
	decorateInsert()メソッドセッションIDに『*』アスタリスクを付けて登録します。 REQUIRES_NEW を指定して別トランザクションとして処理されるようにします。処理の最後にMessageUtil.doRollback()メソッドを呼出して例外発生の判定します。
	requiresNewInsert()メソッドセッションIDに『+』プラスを付けて登録します。 REQUIRES_NEW を指定して別トランザクションとして処理されるようにします。処理の最後にインターセプターによって例外発生の判定をします。

諸行無常 - As Time Goes By -

RabbitMQ の 冗長化を検証する / Consumer 編

はじめに

環境

プロジェクト構成

準備

ビルドスクリプトの作成

RabbitMQ サーバー接続クラスを作成する

Happy Path を検証する

Unhappy Path を検証する

Consumer Cancel Notification

おわりに

RabbitMQ の 冗長化を考える

はじめに

環境

準備

Clustering の設定

Queue を宣言する

QueueMirroring の設定

おわりに

RabbitMQ で JSON RPC

はじめに

環境

プロジェクト構成

準備

Gateway の作成

Service の作成

Client の作成

実行する

おわりに

RabbitMQ で同時処理実行数を制限する

はじめに

ちょっと整理

環境

プロジェクト構成

準備

Worker の作成

App の作成

実行する

おまけ

おわりに

yum の Local Repository に RabbitMQ をインストール

はじめに

環境

LocalRepository の作成

PrivateRepository の作成

RabbitMQ のインストール

rabbitmqctl コマンドで RabbitMQ の設定

ManagementPlugin を有効にする

おわりに

Samba4 で ActiveDirectory / Apache で Windows 統合認証

はじめに

Primary Domain Controller の構築

Web Server の構築

Windows クライアントの設定

Samba AD のユーザで Basic 認証

Windows Desktop SSO 認証の設定

おわりに

Samba4 で Active Directory / SerNet Repo でセットアップ

はじめに

yum リポジトリの設定

インストール

PDC の構築

Member Server の構築

おわりに

Spring Security で OAuth 2.0 Provider する

はじめに

環境

プロジェクト構成

データベースとテーブルの作成

ServletとLoggerの設定

Spring Security の設定

Controller クラスの作成

my-app の設定

ビルドスクリプトの作成

OAuth 認証を試す準備

Authorization Code Grant を試す

Refresh Token を試す

Implicit Grant を試す

Resource Owner Password Credentials Grant を試す

RabbitMQ の冗長化を検証する / Consumer 編

RabbitMQ の冗長化を考える