julius dev

My download queue hangs !

2009-10-02T10:39:00.007+02:00

I developed a simple download queue with Spring jms and Activemq. The client send message which contains a list of file's urls, the message is put in the the jms queue and it's dispatched to consumers (listeners). Each consumer tries to download files and save them on the disk. Pretty simple isn't it ?

Problem After few days or messages my consumer stop and the number of concurrent consumer reach the max limit. Each consumer thread status was RUNNABLE on my server.

I analyzed the thread and found that :

java.net.SocketInputStream.socketRead0 ( native code )
java.net.SocketInputStream.read ( SocketInputStream.java:129 )
java.io.BufferedInputStream.fill ( BufferedInputStream.java:218 )
java.io.BufferedInputStream.read1 ( BufferedInputStream.java:258 )
java.io.BufferedInputStream.read ( BufferedInputStream.java:317 )
sun.net.www.MeteredStream.read ( MeteredStream.java:116 )
java.io.FilterInputStream.read ( FilterInputStream.java:116 )
sun.net.www.protocol.http.HttpURLConnection$HttpInputStream.read ( HttpURLConnection.java:2446 )
sun.net.www.protocol.http.HttpURLConnection$HttpInputStream.read ( HttpURLConnection.java:2441 )
org.apache.commons.io.IOUtils.copy ( IOUtils.java:920 )
org.apache.commons.io.FileUtils.copyURLToFile ( FileUtils.java:659 )
com.cellfish.mediadb.ws.encoder.MediaDBFeeds.downloadFile ( MediaDBFeeds.java:468 )
com.cellfish.jms.MsgFromEncoderListener.onMessage ( MsgFromEncoderListener.java:59 )

I used the method FileUtils.copyURLToFile(URL url, File destFile) from the common io library to download and write files. This method have no connection and no read timeout :

    //-----------------------------------------------------------------------
    /**
     * Copies bytes from the URL source to a file
     * destination. The directories up to destination
     * will be created if they don't already exist. destination
     * will be overwritten if it already exists.
     *
     * @param source A URL to copy bytes from.
     * @param destination A non-directory File to write bytes to
     * (possibly overwriting).
     *
     * @throws IOException if
     * 
     *  source URL cannot be opened
     *  destination cannot be written to
     *  an IO error occurs during copying
     * 
     */
    public static void copyURLToFile(URL source, File destination)
                throws IOException {
        //does destination directory exist ?
        if (destination.getParentFile() != null
            && !destination.getParentFile().exists()) {
            destination.getParentFile().mkdirs();
        }

        //make sure we can write to destination
        if (destination.exists() && !destination.canWrite()) {
            String message =
                "Unable to open file " + destination + " for writing.";
            throw new IOException(message);
        }

        InputStream input = source.openStream();
        try {
            FileOutputStream output = new FileOutputStream(destination);
            try {
                IOUtils.copy(input, output);
            } finally {
                IOUtils.closeQuietly(output);
            }
        } finally {
            IOUtils.closeQuietly(input);
        }
    }

Sometimes the http connection hangs and the consumer is never released. I propose the following patch for the copyURLToFile method :

public static void copyURLToFile(URL source, File destination, int connectTimeOut, int readTimeOut )
                throws IOException {
        //does destination directory exist ?
        if (destination.getParentFile() != null
            && !destination.getParentFile().exists()) {
            destination.getParentFile().mkdirs();
        }

        //make sure we can write to destination
        if (destination.exists() && !destination.canWrite()) {
            String message =
                "Unable to open file " + destination + " for writing.";
            throw new IOException(message);
        }
        
        URLConnection cnx = source.openConnection();
        cnx.setReadTimeout(readTimeOut);
        cnx.setConnectTimeout(connectTimeOut);
        
        InputStream input = cnx.getInputStream();
        try {
            FileOutputStream output = new FileOutputStream(destination);
            try {
                IOUtils.copy(input, output);
            } finally {
                IOUtils.closeQuietly(output);
            }
        } finally {
            IOUtils.closeQuietly(input);
        }
    }

Jersey REST (JSR-311) and JSON part II

2008-07-21T15:25:00.005+02:00

In a previous post we have seen how to create a REST resource which produces a JSON or XML output with jaxb and jettison. In this post i'll use flexjson to produce a JSON output from my objects which can be customized.
I have the following classes in my domain model :

Product <-_has_many_-> Categorie

If you want to serialize the a product object with their categories. Just add the flexjson.jar to your webapp add this lines :

    @GET
    @Path("{id}")
    @ProduceMime("application/json")
    public String getJSONProduct(@PathParam("id") Integer id){
       return new JSONSerializer().exclude("*.class") // Exclude the property class from the json
                                  .include("categories")
                                  .serialize(product);
    }

See the output :

curl -v -H "Accept: application/json" http://localhost:8080/rest-json/resource/product/1
> Host: localhost:8080
> Accept: application/json
> 
< HTTP/1.1 200 OK
< Server: Apache-Coyote/1.1
< Content-Type: application/json
< Transfer-Encoding: chunked
< Date: Mon, 21 Jul 2008 13:25:11 GMT
< 
* Connection #0 to host localhost left intact
* Closing connection #0
{"categories":[{"id":1,"name":"mobile"}],
"description":"A great mobile device !",
"id":1,"name":"iphone"}

Jersey REST (JSR-311) and JSON

2008-07-07T23:19:00.013+02:00

With Jersey it's very easy to create a RESTfull resource which returns an XML version of your objects:

    @GET
    @Path("{id}")
    @ProduceMime("application/xml")
    public Product getProduct(@PathParam("id") Integer id) {
        //...
        return product;
    }

Jersey uses JAXB to marshall the product object to XML. You can also customize the XML output with jaxb annotations.

@XmlRootElement
@XmlAccessorType(XmlAccessType.FIELD)
public class Product implements Serializable {
    
    @XmlAttribute
    private Integer Id;
    
    //...
}

This customization will produce an XML output that contains a Product element with an id attribute. Ok now, let's try the service :

curl -v -H "Accept: application/xml" http://localhost:8080/rest-json/resources/product/1
> GET /rest-json/resources/product HTTP/1.1
> User-Agent: curl/7.16.3 (powerpc-apple-darwin8.0) libcurl/7.16.3 OpenSSL/0.9.7l zlib/1.2.3
> Host: localhost:8080
> Accept: application/xml
> 
< HTTP/1.1 200 OK
< Server: Apache-Coyote/1.1
< Content-Type: application/xml
< Content-Length: 200
< Date: Wed, 09 Jul 2008 20:32:10 GMT
< 
* Connection #0 to host localhost left intact
* Closing connection #0
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<product id="1">
 <name>myphone</name>
 <description>A great mobile device !</description>
 <category>
  <id>1</id>
  <name>mobile</name>
 </category>
</product>

To produce a JSON output just add the jettison-1.0-RC1.jar file from the jersey distribution to your webapp and change the mime type parameter of the @ProduceMime annotation like this :

    @GET
    @Path("{id}")
    @ProduceMime({"application/json","application/xml"})
    public Product getProduct(@PathParam("id") Integer id) {
        //...
        return product;
    }

You have now a REST resource which returns XML or JSON, the response format depends of the Accept header of the HTTP request :

curl -v -H "Accept: application/json" http://localhost:8080/rest-json/resources/product/1
> GET /rest-json/resources/product/1 HTTP/1.1
> User-Agent: curl/7.16.3 (powerpc-apple-darwin8.0) libcurl/7.16.3 OpenSSL/0.9.7l zlib/1.2.3
> Host: localhost:8080
> Accept: application/json
> 
< HTTP/1.1 200 OK
< Server: Apache-Coyote/1.1
< Content-Type: application/json
< Transfer-Encoding: chunked
< Date: Wed, 09 Jul 2008 20:47:26 GMT
< 
* Connection #0 to host localhost left intact
* Closing connection #0
{"product":{"@id":"1","name":"myphone",
"description":"A great mobile device !",
"category":{"id":"1","name":"mobile"}}}

It's very easy and powerful ! But if you look in details the JSON output you'll notice that the Product's property id is ""@id":"1"" and not ""id":1" ?!

In this case the Product object is marshalling by JAXB and converted to JSON by JETTISON. The returned JSON is mapped on the XML object representation.

If you want to produce a more simpler JSON like that :

{"product":{"id":1,"name":"myphone"}

You have to remove all JAXB annotations from the Product classe. You'll lose the XML customization and in some cases the XML output could be too verbose or not readable (for human ).
You can also use a JSON framework to manage the marshalling process ... see the part II :-)

Tomcat : Add an Expires Header

2008-06-27T00:25:00.008+02:00

One of the Yahoo bests practices for Speeding Up Your Web Site is to add an Expires or a Cache-Control Header.

If you use Tomcat as web-server (Tomcat 6 + NIO have good performances), you can use a Servlet filter to set a far future Expires header for static components like images.

Here an example of my servlet filter to set the Expires header :

public class HeaderFilter implements Filter {

    private static final Log log = LogFactory.getLog(HeaderFilter.class);
    
    private FilterConfig filterConfig;
    
    private Map<String, String> headersMap;

    public void init(FilterConfig filterConfig) throws ServletException {
        this.filterConfig = filterConfig;

        String headerParam = filterConfig.getInitParameter("header");
        if (headerParam == null) {
            log.warn("No headers were found in the web.xml (init-param) for the HeaderFilter !");
            return;
        }

        // Init the header list :
        headersMap = new LinkedHashMap();

        if (headerParam.contains("|")) {
            String[] headers = headerParam.split("|");
            for (String header : headers) {
                parseHeader(header);
            }

        } else {
            parseHeader(headerParam);
        }

        // Log configured headers .
        if (log.isInfoEnabled()) {
            log.info("The following headers were registered in the HeaderFilter :");
            Set<Entry<String, String>> headers = headersMap.entrySet();
            for (Entry<String, String> item : headers) {
                log.info(item.getKey() + ':' + item.getValue());
            }
        }
    }

    public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {
        if (headersMap != null) {
            // Add the header to the response
            Set<Entry<String, String>> headers = headersMap.entrySet();
            for (Entry<String, String> header : headers) {
                ((HttpServletResponse) response).setHeader(header.getKey(), header.getValue());
            }
        }
        // Continue
        chain.doFilter(request, response);
    }

    public void destroy() {
        this.filterConfig = null;
        this.headersMap = null;
    }

    private void parseHeader(String header) {
        String headerName = header.substring(0, header.indexOf(":"));
        if (!headersMap.containsKey(headerName)) {
            headersMap.put(headerName, header.substring(header.indexOf(":") + 1));
        }
    }
}

To use this filter in your webapp, just edit your web.xml to add this lines :

    
        Set HTTP headers for a mapping.
        HeaderFilter
        juliusdev.filter.HeaderFilter
        
            Add an Expires Header
            header
            Expires: Thu, 15 Apr 2010 20:00:00 GMT
        
        
    
        HeaderFilter
        *.jpg
        REQUEST

This filter add the following Expires header to all jpg files, telling the browser that this response won't be stale until April 15, 2010. :

Expires: Thu, 15 Apr 2010 20:00:00 GMT

You can test the client side with FireFox plugins like FireBug and Yslow : I encourage you to read all the bests practices !.

Jersey (JSR-311) + Hibernate

2008-05-15T12:32:00.006+02:00

Jersey (0.7 EA) requires the 'asm-3.1.jar' to work but Hibernate core (3.2) already uses another version of that library : asm-attrs.jar, asm.jar and cglib-2.1.3.jar.

To fix this issue you have to download the no-dependencies version of cglib here and replace the cglib-2.1.3.jar file by the cglib-nodep-2.1_3.jar. After, you can remove the asm-attrs.jar, asm.jar jars and add the jersey.jar, jsr311-api.jar, asm-3.1.jar in your lib directory.

Java : Easy REST

2008-05-13T13:36:00.013+02:00

A REST xml web service is a good candidate to deal with a RIA like a Flex client. But create a servlet that parses the request URI path is not an efficient way to build a REST resource. it's painful... Hey, Do you know the JSR-311 ? No ! it's the most easy way to create a REST resource, just adding some annotations to your methods, like this :

@GET
@ProduceMime("application/xml")
public Product getProduct(@PathParam("id")
Integer id) {
   // Get the product ...
   return product;
}

In this case the method must be invoke by a GET HTTP request, the response will have the content type 'application/xml' and returns some xml content. To invoke this web method you have to call the following URL :

http://mydomain/webcontext/resource_path/param1

Setup Jersey

Jersey is the reference implementation of the JSR-311, the lastest stable release is provided with lots of examples. If you use netbeans 6.1 you can create and integrate a REST resource with Jersey easily. The core installation required only 3 jars :

jersey.jar, jsr311-api.jar, asm-3.1.jar

And you need to declare a servlet in your web.xml :

 
     ServletAdaptor
     com.sun.ws.rest.impl.container.servlet.ServletAdaptor
     1
 
 
     ServletAdaptor
     /resource/*

Play with jersey, you'll love it :-)

Hibernate + mapping + Java enums collection.

2008-04-22T13:46:00.011+02:00

Hey, can you replace this select box by checks boxes in this web form ? Hum .... I have already mapped this combo box to an enum in my hibernate entity mapping. I must change that property to a set of enums (ManyToOne relation) :

@Enumerated(EnumType.STRING)
@Column(name="color")
private ColorEnum color = ColorEnum.RED;

@CollectionOfElements
@JoinTable( name="item_colors",joinColumns={@JoinColumn(name="item_id")}           )
@Cascade(value = org.hibernate.annotations.CascadeType.DELETE_ORPHAN)
@Enumerated(value=EnumType.STRING)
@Column( name="color", length=25 )
private Set<ColorEnum> colors = new LinkedHashSet<ColorEnum>();

In the previous mapping the color property was mapped on a simple VARCHAR(25) of the item table. And in the second case i created a new table (MySQL) like this :

CREATE TABLE `item_colors` (
`item_id` INT NOT NULL,
`color` VARCHAR(25) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
PRIMARY KEY (`item_id`, `color`)
)
CHARACTER SET utf8;

JAXB XML customizations

2008-02-15T23:17:00.018+01:00

JAXB est un outil fantastique qui offre un bon contrôle sur la manière dont vos objets vont-être transformer (marshal) en XML. Il suffit pour cela d'annoter vos classes. Voici un exemple simple d'une classe 'Product' annotée avec jaxb :

@XmlRootElement
@XmlAccessorType(XmlAccessType.FIELD)
public class Product {

@XmlAttribute
private Long id;

@XmlAttribute
private String name;


public Product(){

}

public Long getId() {
return id;
}

public void setId(Long id) {
this.id = id;
}

public String getName() {
return name;
}

public void setName(String name) {
this.name = name;
}

}

La représentation XML de 'Product' est la suivante :

<product name="foo" id="123"/>

Le code Java pour produire ce XML est aussi très simple :

// Create a product
Product product = new Product();
product.setId(123);
product.setName("foo");

// Get the jaxb context.
JAXBContext context = JAXBContext.newInstance(ProductList.class);
Marshaller marshaller = context.createMarshaller();
marshaller.setProperty(Marshaller.JAXB_ENCODING, "UTF-8");
marshaller.setProperty(Marshaller.JAXB_FORMATTED_OUTPUT, true);
marshaller.marshal(product, System.out);

Pour plus details sur JAXB je vous conseille la documentation en ligne :

https://jaxb.dev.java.net/
http://java.sun.com/javaee/5/docs/tutorial/doc/bnazf.html

L'héritage

Jouons maintenant un peu avec l'héritage pour voir comment se comporte jaxb. Voici deux nouvelles classes qui héritent de produit.

@XmlRootElement
@XmlAccessorType(XmlAccessType.FIELD)
public class MovieProduct extends Product{

@XmlAttribute
private Long duration;

public MovieProduct(){

}

public Long getDuration() {
 return duration;
}

public void setDuration(Long duration) {
 this.duration = duration;
}

}

@XmlRootElement
@XmlAccessorType(XmlAccessType.FIELD)
public class WallpaperProduct extends Product {

@XmlAttribute
private Integer width;

@XmlAttribute
private Integer height;

public Integer getWidth() {
 return width;
}

public void setWidth(Integer width) {
 this.width = width;
}

public Integer getHeight() {
 return height;
}

public void setHeight(Integer height) {
 this.height = height;
}

}

Et une nouvelle classe qui définit une liste de produits :

@XmlRootElement
@XmlAccessorType(XmlAccessType.FIELD)
public class ProductList {

@XmlAttribute
private String name;

@XmlElementRef
private List products = new LinkedList();

public ProductList(){

}

public String getName() {
 return name;
}

public void setName(String name) {
 this.name = name;
}

public List getProducts() {
 return products;
}

public void setProducts(List products) {
 this.products = products;
}

}

Par defaut si on créé une instance de JAXBContext comme ci dessous :

// Create 2 products
MovieProduct inTheMoonForLove =  new MovieProduct();
inTheMoonForLove.setId(1L);
inTheMoonForLove.setName("In the moon for love");

WallpaperProduct tuxLogo = new WallpaperProduct();
tuxLogo.setId(2L);
tuxLogo.setName("Tux !");
tuxLogo.setWidth(128);
tuxLogo.setHeight(128);

// Create a new product list
ProductList productList = new ProductList();
productList.setName("My favorite product list");
productList.getProducts().add(tuxLogo);
productList.getProducts().add(inTheMoonForLove);


// Get the jaxb context.
JAXBContext context = JAXBContext.newInstance(ProductList.class);
Marshaller marshaller = context.createMarshaller();
marshaller.setProperty(Marshaller.JAXB_ENCODING, "UTF-8");
marshaller.setProperty(Marshaller.JAXB_FORMATTED_OUTPUT, true);
marshaller.marshal(productList, System.out);

On obtient le XML suivant :

<productlist name="My favorite product list">
<product name="Tux !" id="2"/>
<product name="In the moon for love" id="1"/>
</productlist>

Mais ou sont passés les éléments MovieProduct et WallpaperProduct ? Pour les faire apparaître il faut ajouter les nouvelles classes qui héritent de Product au JAXBContext comme ci dessous :-)

// Get the jaxb context.
JAXBContext context = JAXBContext.newInstance(ProductList.class,MovieProduct.class,WallpaperProduct.class);

Et voici le résultat :

<productlist name="My favorite product list">
<wallpaperproduct height="128" width="128" name="Tux !" id="2"/>
<movieproduct name="In the moon for love" id="1"/>
</productlist>

Pour plus de détails lisez ce post : http://weblogs.java.net/blog/kohsuke/archive/2006/04/why_doesnt_jaxb.html

Tomcat + mod_jk 1.2.26 + vhost

2008-02-15T22:27:00.006+01:00

Phew !!! Today i have installed a tomcat server on my new staging env. This operation have no secret for me, i have already installed and configured many tomcat servers. But today my new tomcat server doesn't want to communicate with my apache server. I have configured my JK connector and the mod_jk configuration in the httpd.conf. After that i defined some worker and map some URI.

# Where to find workers.properties
   JkWorkersFile /etc/httpd/conf/workers.properties
   # Where to put jk shared memory
   JkShmFile     /var/log/httpd/mod_jk.shm
   # Where to put jk logs
   JkLogFile     /var/log/httpd/mod_jk.log
   # Set the jk log level [debug/error/info]
   JkLogLevel    info
   # Select the timestamp log format
   JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "
   # Static files in all Tomcat webapp context directories are served by apache
   JkAutoAlias /opt/tomcat/webapps
   # Add the jkstatus mount point
   JkMount /jkmanager/* jkstatus
   # Load mount points
   JKMountFile /opt/tomcat/conf/uriworkermap.properties

I have also defined a virtualhost in my apache conf. But when i tried to access to the URL the response was always a 404 http error ??! In fact there is a big change in mod_jk 1.2.26 ! If you want all vhost to inherit mounts from the main server, you can set JkMountCopy to 'All' in the main server.

JkMountCopy All

see http://tomcat.apache.org/connectors-doc/reference/apache.html

Hibernate read only query

2008-01-25T11:14:00.002+01:00

Here an example of a read only Hibernate query :

  // Create a new session factory if no one exists
  // and return the current session.
  Session session = HibernateUtil.getCurrentSession();

  // Begin a new transaction.
  Transaction tx = null;
  try {
   tx = session.beginTransaction();
   // Entities retrieved by this query will be loaded in a read-only
            // mode where Hibernate will never dirty-check them or make changes
   // persistent.
   List readOnlyProductList = session.createQuery(
     "select p from Product").setReadOnly(true).list();
   
   // You can also set an entity to read-only :
   // session.setReadOnly(product,trye);

   // Do some operations ...

   // Commit changes
   tx.commit();

  } catch (Exception e) {
   // Rollback changes
   if (tx != null)
    tx.rollback();
   throw e;
  } finally {
   // Close the session.
   session.close();
  }

PHP + innodb + utf8

2008-01-02T11:23:00.002+01:00

Il m'arrive de faire des scripts PHP pour exporter des données. Et à chaque fois je suis surpris par le paradoxe de ce langage ! PHP c'est simple, puissant mais bordelique ! C'est un peu comme un pouding, ça donne envie, et c'est pas cher, alors on se goinfre et après on a mal au ventre et on le regrette. (Franchement je préfère Ruby !) Dans mon dernier script je devais lire les données contenues dans une table Mysql innodb en utf8 pour générer un flux xml. J'ai terminé le script en 30 minutes mais suprise le fichier xml produit contenait des caratères non utf8 ?! J'ai passé 20 minutes à tester différentes solutions d'encoding ou de configuration de la connexion à Mysql pour arriver à la solution suivante qui est de forcer le client mysql en utf8 :

//Force default client encoding
mysql_query("SET NAMES utf8");

Beaucoup de personnes m'ont dit ne pas avoir ce pb avec leur version de PHP donc voici les details de ma configuration pour reproduire le problème : La version de PHP sur mon Mac OSX Tiger :

:~ welcome$ php -v
PHP 4.4.7 (cli) (built: Jul 10 2007 15:27:28)
Copyright (c) 1997-2007 The PHP Group
Zend Engine v1.3.0, Copyright (c) 1998-2004 Zend Technologies

La conf de Mysql :

[mysqld]
#If no specific storage engine/table type is defined in an SQL-Create statement the default type will be used.
default-storage-engine=innodb
#Set the default character set.
default-character-set=utf8

Une table de test pour reproduire le pb :

CREATE TABLE `test`.`test_encoding` (
`id` INT NOT NULL AUTO_INCREMENT,
`name` VARCHAR(255),
PRIMARY KEY (`id`)
)
ENGINE = InnoDB
CHARACTER SET utf8;

INSERT INTO test_encoding (name) VALUES ('éàûôâç');

Et un script php pour tester le client :


$link = mysql_connect("127.0.0.1", "root", "")
   or die("Impossible de se connecter : " . mysql_error());

if (!mysql_select_db('test', $link)) {
   echo 'Sélection de base de données impossible';
   exit;
}

//Force default client encoding
//mysql_query("SET NAMES utf8");

$sql    = 'SELECT * FROM test_encoding';
$result = mysql_query($sql, $link);

if (!$result) {
   echo "Erreur DB, impossible d'effectuer une requête\n";
   echo 'Erreur MySQL : ' . mysql_error();
   exit;
}

while ($row = mysql_fetch_assoc($result)) {
   echo $row['name']."\n";
}

mysql_free_result($result);

mysql_close($link);

Quand on ne force pas l'encoding du client, php semble récupérer les données utf8 du serveur en latin1. J'adore les pb d'encoding :-)

Hibernate + IndexColumn

2007-12-21T21:41:00.002+01:00

Hier, un ami m'a contacté pour me parler d'un problème de mapping avec Hibernate. Il essayait de créer une entité Node avec une propriété parent et une collection indexée children du même type. En se basant sur la documentation des annotations hibernate il était arrivé au mapping suivant :

@Entity
@Table(name="node")
public class Node {
@Id
@GeneratedValue(strategy = GenerationType.AUTO)
private Long id;

@OneToMany(mappedBy="parent", cascade=CascadeType.ALL)
@org.hibernate.annotations.Cascade(value=org.hibernate.annotations.CascadeType.DELETE_ORPHAN)
@org.hibernate.annotations.IndexColumn(name="child_position")
private List children = new ArrayList();

@ManyToOne
@JoinColumn(name="parent_id")
private Node parent;

//...
}

Malheureusement quand il essayait de rendre persistent un noeud principal avec 2 enfants, hibernate lui renvoyait l'erreur suivante : org.hibernate.HibernateException: null index column for collection

Le problème vient du fait que la collection indexée children n'est pas mise à jour quand un noeud enfant est ajouté au noeud principal. C'est normal puisque la relation OneToMany à l'attribut mappedBy = "parent" qui est équivalent à "inverse=true" dans un fichier hbm.xml : c'est donc le coté parent qui est responsable de la relation.

Voici un workaround pour ce type de mapping :

@Entity
@Table(name = "nodes")
public class Node implements Serializable {

  @Id
  @GeneratedValue(strategy = GenerationType.AUTO)
  private Integer Id;

  private String name;

  @ManyToOne
  @JoinColumn(name = "parent_id", insertable=false, updatable=false)
  private Node parent;

  @OneToMany(cascade = CascadeType.ALL)
  @JoinColumn(name = "parent_id")
  @org.hibernate.annotations.Cascade(value = org.hibernate.annotations.CascadeType.DELETE_ORPHAN)
  @org.hibernate.annotations.IndexColumn(name = "child_position")
  private List children = new LinkedList();

//...
}

Dans cette version l'attribut "mappedBy" a été supprimé et les attributs "insertable=false" et "updatable=false" ont été ajoutés à l'annotation @JoinColumn du coté ManyToOne. C'est donc le côté OneToMany qui est responsable de la relation bi-directionnelle ( parent <-> enfants). Cette manipulation revient à mettre l'attribut "inverse=false" dans un ficher hbm.xml sur le côté ManyToOne.

Hibernate c'est pas toujours simple :-) Je me demande comment on fait ce type de mapping avec Rails et Active Records.

Hibernate Search and Null value

2007-10-23T08:58:00.000+02:00

Hibernate Search permet d'indexer les propriétés et les relations de vos POJO dans un index Lucene pour faire des recherches à la Google. J'ai récemment utilisé Hibernate Search pour indexer des tags et leurs traductions. Dans mon modèle l'objet traduction avec la propriété language == 'null' est la traduction par defaut du tag. Problème ! Lucene ne peut pas indexer un objet null.
La solution est d'écrire un custom fieldbridge pour indexer la propriété language et définir une valeur par défaut pour la valeur null.

J'ai alors proposé une amélioration au committers d'Hibernate Search: spécifier une valeur par défault dans l'annotation @Field pour les valeurs null.

Voici mon POJO TagTranslation annoté avec Hibernate Search:

@Entity()
@Table(name="indexing_tag_trans")
@org.hibernate.annotations.Cache(usage=org.hibernate.annotations.CacheConcurrencyStrategy.READ_WRITE)
@Indexed
public class TagTranslation implements java.io.Serializable {


private static final long serialVersionUID = -1065316566731456110L;

  @Id
  @GeneratedValue(strategy=GenerationType.IDENTITY)
  @DocumentId
  private Integer id;

  @Field(index=Index.UN_TOKENIZED, store=Store.NO)
  private String language;

  @Field(index=Index.TOKENIZED, store=Store.YES)
  private String value;

  @OneToMany(cascade=CascadeType.ALL, fetch=FetchType.LAZY)
  @org.hibernate.annotations.Fetch(org.hibernate.annotations.FetchMode.SUBSELECT)
  @JoinColumn(name="translation_id")
  @IndexedEmbedded
  private List variations = new LinkedList();


  public TagTranslation() { }
...

La nouvelle version de @Field pourrait être :

  @Field(index=Index.UN_TOKENIZED, store=Store.NO, nullValue="DEFAULT")
  private String language;

La bonne nouvelle vient de tomber ce matin dans ma mail box :

Emmanuel Bernard updated HSEARCH-115:
-------------------------------------

   Fix Version/s: 3.1.0
                  3.0.1

I don't know the impact, but we should at least introduce that to 3.1.0

COOOOOOOOOOOOL !

Déjà qu'Emmanuel Bernard n'avait répondu en moins d'une heure pour me fournir un workaround (le custom fieldbridge) ! Bravo, Emmanuel et aussi à toute l'équipe d'Hibernate pour votre réactivité et la qualité de votre travail !

Struts and Hibernate Validator

2007-09-15T22:43:00.000+02:00

Dans de nombreuses applications web la validation des données est assurée par un MVC coté serveur. C'est le cas de beaucoup d'applications web Java sous Struts v1.x : la validation des données soumises par l'utilisateur passe par la methode validate d'un objet ActionForm ou directement dans l'action. Une alternative est d'utiliser Hibernate Validator pour valider les objets de votre modèle avant de les rendre persistants. Cette approche permet de découpler la validation du MVC et ainsi de réutiliser vos règles de validation, comme par exemple dans une version standalone de votre application. Voici un exemple de validation d'un formulaire avec Hibernate Validator et Struts 1.2.

Annoter votre modèle.

Tout d'abord vous devez annoter les propriétés de vos entités avec les annotations Hibernate Validator. Voici un exemple d'une entité Product qui doit respecter les règles suivantes pour être validé :

Avoir un titre de 2 caractères minimum et 200 maximum.
Avoir une URL d'une preview au format JPG, GIF ou PNG.
Un prix avec maximum 2 chiffres après la virgule.

/**
* Product Entities
* @author juliusdev
*/
@Entity
public class Product implements java.io.Serializable {

@Id
@GeneratedValue(strategy=GenerationType.AUTO)
private Integer id;

@Version
private Integer version;

@Length(min=2, max=200)
@NotNull()
private String title;

@NotNull
private String description;

@NotNull()
@Pattern(regex=".*\\.(gif|jpg|png)$", flags=java.util.regex.Pattern.CASE_INSENSITIVE)
private String imageURL;

@Digits(integerDigits=10, fractionalDigits=2)
private Double price;

@ManyToMany(cascade=CascadeType.ALL)
@JoinTable(name="categorized_product")
private List categories = new LinkedList();

/** Creates a new instance of Product */
public Product() {
}
/* Setters/Getters ...*/
}

Intégrer Hibernate Validator à Struts

Dans mon exemple j'utilise la méthode validate d'un ActionForm pour valider les données du formulaire. Je vous passe les details de la configuration Struts, c'est pas le sujet. Voici le code de la méthode validate de ma classe ProductForm.

public ActionErrors validate(ActionMapping mapping, HttpServletRequest request){
    ActionErrors errors = new ActionErrors();
       
    try {
    
        Product product = new Product();
        PropertyUtils.copyProperties(product,this);
    
        ClassValidator productValidator = new ClassValidator( Product.class );
        InvalidValue[] validationMessages = productValidator.getInvalidValues(product);

        for (InvalidValue error : validationMessages) {
           errors.add(ActionMessages.GLOBAL_MESSAGE,
                   new ActionMessage("errors.detail", error.getPropertyName() + ": " +error.getMessage()));
        }

    } catch (Exception e){
        errors.add(ActionMessages.GLOBAL_MESSAGE,
                    new ActionMessage("errors.general"));
        errors.add(ActionMessages.GLOBAL_MESSAGE,
                    new ActionMessage("errors.detail",e.getMessage()));
    }

    return errors;
}

Struts appelle la méthode validate avant de passer les données au contrôleur (l'action). La méthode validate crée un objet du modèle (Product) et le peuple avec les données de l'ActionForm. Ensuite on crée un objet ClassValidator en passant au constructeur le type de l'objet qui doit être validé. Enfin on appelle la méthode getInvalidValues pour récupérer un tableau d'objets InvalidValue contenant le nom de la propriété et le message d'erreur (vous pouvez comme dans struts personnaliser les messages d'erreur dans des fichiers de propriétés). Et voici le formulaire pour ajouter un produit.

    <html:errors/>

<h1>Add a new product</h1>
<html:form action="/AddProduct" >
    <label>Title:</label>
    <html:text property="title" />
    <br/>
    <label>Description:</label>
    <html:textarea property="description" />
     <br/>
    <label>Image URL:</label>
    <html:text property="imageURL"/>
     <br/>
    <label>Price:</label>
    <html:text property="price"/>
     <br/>
     <html:submit/>
</html:form>

Finalement une page contenant le formulaire et la liste des erreurs trouvées est renvoyée à l'utilisateur pour correction comme ci-dessous. Vous pouvez télécharger le code et le projet Netbeans ici.

Cellfish is Mobile 2.0 ?

2007-08-03T18:51:00.000+02:00

Je travaille depuis 6 ans chez Cellfish (ex:Plurimedia), cette companie est spécialisée dans la gestion de contenu et la réalisation de services mobiles. Nos principaux clients sont les opérateurs mobiles (SFR,Orange, BouyguesTelecom,....) . Il y a quelques semaines cellfish a lancé cellfishDotCom un site Web 2.0 ou plutôt Mobile 2.0 qui permet de mettre en ligne des contenus, les partagés et de créer des réseaux sociaux tout ça de votre mobile.

JRuby and Mysql (jdbc)

2007-07-24T00:20:00.000+02:00

Bonjour, Je suis en train de tester la M10 de Netbeans avec le support de Ruby (JRuby). Le but de mon test est d'utiliser l'efficacité de la syntaxe du langage de script Ruby pour manipuler de données en base (mysql) avec Netbeans comme IDE. C'est quand même pratique d'utiliser Ruby ou un autre DSL que Java pour faire des imports ou des exports de données :-) . Après avoir lu quelques tutorials sur le net, voici le bout de code ruby stupide que j'ai réussi à pondre :

# main.rb
# 23 juillet 2007
#

require 'mysql'

con = Mysql.new('localhost','root','','test')
rs = con.query("select * from flex_product")
rs.each_hash{ |h| puts h['pname']}
con.close

Ce code fonctionne avec la version native de Ruby sous OSX (le module mysql doit être installé ) mais pas sous Netbeans ! Et oui le module mysql n'est pas dans la gems liste de Netbeans, il n'y a qu'un wrapper active_records pour jdbc (c'est super pour utiliser RoR mais ça sert rien dans mon cas). Alors après quelques recherche sur le net j'ai trouvé des articles comme celui ci qui expliquent comment utiliser JDBC avec JRuby. Et voici le code version JDBC :

# mysql_jdbc.rb
# 24 juillet 2007
#

require 'java'

module JavaLang
include_package "java.lang"
end

module JavaSql
include_package 'java.sql'
end

begin
JavaLang::Class.forName("com.mysql.jdbc.Driver").newInstance
conn = JavaSql::DriverManager.getConnection("jdbc:mysql://localhost:3306/test?user=root");
stmt = conn.createStatement
rs = stmt.executeQuery("select * from flex_product")
while (rs.next) do
puts rs.getString("pname")
end
rs.close
stmt.close
conn.close()
rescue JavaLang::ClassNotFoundException
puts "ClassNotFoundException"
rescue JavaSql::SQLException
puts "SQLException"
end

Bon on est tous d'accord c'est moins sexy que la version native :-) Mais bon ça marche, faut juste que quelques bons développeurs se lancent dans un projet de wrapper JDBC pour Ruby et on aura une interface un peu plus adapter à la syntaxe de Ruby.

TéléTravail

2007-07-19T23:51:00.000+02:00

Après 7 ans à Paris, me voici de retour dans le Var :-) Je ne comprends toujours pas pourquoi Google ne veut pas venir s'installer à coté de chez moi, il fait chaud, la plage n'est pas loins, bon ok il manque quand même quelque chose : un starbuck café ... Bon allez sans blague, il n'y a pas que la télé dans le télé-travail alors au boulot ! J'espère publier un article sur Flex et Hibernate sur ce blog cette semaine.