julius dev

My download queue hangs !

2009-10-02T10:39:00.007+02:00

I developed a simple download queue with Spring jms and Activemq. The client send message which contains a list of file's urls, the message is put in the the jms queue and it's dispatched to consumers (listeners). Each consumer tries to download files and save them on the disk. Pretty simple isn't it ?

Problem After few days or messages my consumer stop and the number of concurrent consumer reach the max limit. Each consumer thread status was RUNNABLE on my server.

I analyzed the thread and found that :

java.net.SocketInputStream.socketRead0 ( native code )
java.net.SocketInputStream.read ( SocketInputStream.java:129 )
java.io.BufferedInputStream.fill ( BufferedInputStream.java:218 )
java.io.BufferedInputStream.read1 ( BufferedInputStream.java:258 )
java.io.BufferedInputStream.read ( BufferedInputStream.java:317 )
sun.net.www.MeteredStream.read ( MeteredStream.java:116 )
java.io.FilterInputStream.read ( FilterInputStream.java:116 )
sun.net.www.protocol.http.HttpURLConnection$HttpInputStream.read ( HttpURLConnection.java:2446 )
sun.net.www.protocol.http.HttpURLConnection$HttpInputStream.read ( HttpURLConnection.java:2441 )
org.apache.commons.io.IOUtils.copy ( IOUtils.java:920 )
org.apache.commons.io.FileUtils.copyURLToFile ( FileUtils.java:659 )
com.cellfish.mediadb.ws.encoder.MediaDBFeeds.downloadFile ( MediaDBFeeds.java:468 )
com.cellfish.jms.MsgFromEncoderListener.onMessage ( MsgFromEncoderListener.java:59 )

I used the method FileUtils.copyURLToFile(URL url, File destFile) from the common io library to download and write files. This method have no connection and no read timeout :

    //-----------------------------------------------------------------------
    /**
     * Copies bytes from the URL source to a file
     * destination. The directories up to destination
     * will be created if they don't already exist. destination
     * will be overwritten if it already exists.
     *
     * @param source A URL to copy bytes from.
     * @param destination A non-directory File to write bytes to
     * (possibly overwriting).
     *
     * @throws IOException if
     * 
     *  source URL cannot be opened
     *  destination cannot be written to
     *  an IO error occurs during copying
     * 
     */
    public static void copyURLToFile(URL source, File destination)
                throws IOException {
        //does destination directory exist ?
        if (destination.getParentFile() != null
            && !destination.getParentFile().exists()) {
            destination.getParentFile().mkdirs();
        }

        //make sure we can write to destination
        if (destination.exists() && !destination.canWrite()) {
            String message =
                "Unable to open file " + destination + " for writing.";
            throw new IOException(message);
        }

        InputStream input = source.openStream();
        try {
            FileOutputStream output = new FileOutputStream(destination);
            try {
                IOUtils.copy(input, output);
            } finally {
                IOUtils.closeQuietly(output);
            }
        } finally {
            IOUtils.closeQuietly(input);
        }
    }

Sometimes the http connection hangs and the consumer is never released. I propose the following patch for the copyURLToFile method :

public static void copyURLToFile(URL source, File destination, int connectTimeOut, int readTimeOut )
                throws IOException {
        //does destination directory exist ?
        if (destination.getParentFile() != null
            && !destination.getParentFile().exists()) {
            destination.getParentFile().mkdirs();
        }

        //make sure we can write to destination
        if (destination.exists() && !destination.canWrite()) {
            String message =
                "Unable to open file " + destination + " for writing.";
            throw new IOException(message);
        }
        
        URLConnection cnx = source.openConnection();
        cnx.setReadTimeout(readTimeOut);
        cnx.setConnectTimeout(connectTimeOut);
        
        InputStream input = cnx.getInputStream();
        try {
            FileOutputStream output = new FileOutputStream(destination);
            try {
                IOUtils.copy(input, output);
            } finally {
                IOUtils.closeQuietly(output);
            }
        } finally {
            IOUtils.closeQuietly(input);
        }
    }

Oil Addiction

2008-07-30T15:49:00.002+02:00

Le prix du pétrole ne cesse de monter sur fond de crise financière. Pour ceux qui n'ont pas bien saisie la situation je vous recommande cette excellente vidéo :

Jersey REST (JSR-311) and JSON part II

2008-07-21T15:25:00.005+02:00

In a previous post we have seen how to create a REST resource which produces a JSON or XML output with jaxb and jettison. In this post i'll use flexjson to produce a JSON output from my objects which can be customized.
I have the following classes in my domain model :

Product <-_has_many_-> Categorie

If you want to serialize the a product object with their categories. Just add the flexjson.jar to your webapp add this lines :

    @GET
    @Path("{id}")
    @ProduceMime("application/json")
    public String getJSONProduct(@PathParam("id") Integer id){
       return new JSONSerializer().exclude("*.class") // Exclude the property class from the json
                                  .include("categories")
                                  .serialize(product);
    }

See the output :

curl -v -H "Accept: application/json" http://localhost:8080/rest-json/resource/product/1
> Host: localhost:8080
> Accept: application/json
> 
< HTTP/1.1 200 OK
< Server: Apache-Coyote/1.1
< Content-Type: application/json
< Transfer-Encoding: chunked
< Date: Mon, 21 Jul 2008 13:25:11 GMT
< 
* Connection #0 to host localhost left intact
* Closing connection #0
{"categories":[{"id":1,"name":"mobile"}],
"description":"A great mobile device !",
"id":1,"name":"iphone"}

Jersey REST (JSR-311) and JSON

2008-07-07T23:19:00.013+02:00

With Jersey it's very easy to create a RESTfull resource which returns an XML version of your objects:

    @GET
    @Path("{id}")
    @ProduceMime("application/xml")
    public Product getProduct(@PathParam("id") Integer id) {
        //...
        return product;
    }

Jersey uses JAXB to marshall the product object to XML. You can also customize the XML output with jaxb annotations.

@XmlRootElement
@XmlAccessorType(XmlAccessType.FIELD)
public class Product implements Serializable {
    
    @XmlAttribute
    private Integer Id;
    
    //...
}

This customization will produce an XML output that contains a Product element with an id attribute. Ok now, let's try the service :

curl -v -H "Accept: application/xml" http://localhost:8080/rest-json/resources/product/1
> GET /rest-json/resources/product HTTP/1.1
> User-Agent: curl/7.16.3 (powerpc-apple-darwin8.0) libcurl/7.16.3 OpenSSL/0.9.7l zlib/1.2.3
> Host: localhost:8080
> Accept: application/xml
> 
< HTTP/1.1 200 OK
< Server: Apache-Coyote/1.1
< Content-Type: application/xml
< Content-Length: 200
< Date: Wed, 09 Jul 2008 20:32:10 GMT
< 
* Connection #0 to host localhost left intact
* Closing connection #0
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<product id="1">
 <name>myphone</name>
 <description>A great mobile device !</description>
 <category>
  <id>1</id>
  <name>mobile</name>
 </category>
</product>

To produce a JSON output just add the jettison-1.0-RC1.jar file from the jersey distribution to your webapp and change the mime type parameter of the @ProduceMime annotation like this :

    @GET
    @Path("{id}")
    @ProduceMime({"application/json","application/xml"})
    public Product getProduct(@PathParam("id") Integer id) {
        //...
        return product;
    }

You have now a REST resource which returns XML or JSON, the response format depends of the Accept header of the HTTP request :

curl -v -H "Accept: application/json" http://localhost:8080/rest-json/resources/product/1
> GET /rest-json/resources/product/1 HTTP/1.1
> User-Agent: curl/7.16.3 (powerpc-apple-darwin8.0) libcurl/7.16.3 OpenSSL/0.9.7l zlib/1.2.3
> Host: localhost:8080
> Accept: application/json
> 
< HTTP/1.1 200 OK
< Server: Apache-Coyote/1.1
< Content-Type: application/json
< Transfer-Encoding: chunked
< Date: Wed, 09 Jul 2008 20:47:26 GMT
< 
* Connection #0 to host localhost left intact
* Closing connection #0
{"product":{"@id":"1","name":"myphone",
"description":"A great mobile device !",
"category":{"id":"1","name":"mobile"}}}

It's very easy and powerful ! But if you look in details the JSON output you'll notice that the Product's property id is ""@id":"1"" and not ""id":1" ?!

In this case the Product object is marshalling by JAXB and converted to JSON by JETTISON. The returned JSON is mapped on the XML object representation.

If you want to produce a more simpler JSON like that :

{"product":{"id":1,"name":"myphone"}

You have to remove all JAXB annotations from the Product classe. You'll lose the XML customization and in some cases the XML output could be too verbose or not readable (for human ).
You can also use a JSON framework to manage the marshalling process ... see the part II :-)

Tomcat : Add an Expires Header

2008-06-27T00:25:00.008+02:00

One of the Yahoo bests practices for Speeding Up Your Web Site is to add an Expires or a Cache-Control Header.

If you use Tomcat as web-server (Tomcat 6 + NIO have good performances), you can use a Servlet filter to set a far future Expires header for static components like images.

Here an example of my servlet filter to set the Expires header :

public class HeaderFilter implements Filter {

    private static final Log log = LogFactory.getLog(HeaderFilter.class);
    
    private FilterConfig filterConfig;
    
    private Map<String, String> headersMap;

    public void init(FilterConfig filterConfig) throws ServletException {
        this.filterConfig = filterConfig;

        String headerParam = filterConfig.getInitParameter("header");
        if (headerParam == null) {
            log.warn("No headers were found in the web.xml (init-param) for the HeaderFilter !");
            return;
        }

        // Init the header list :
        headersMap = new LinkedHashMap();

        if (headerParam.contains("|")) {
            String[] headers = headerParam.split("|");
            for (String header : headers) {
                parseHeader(header);
            }

        } else {
            parseHeader(headerParam);
        }

        // Log configured headers .
        if (log.isInfoEnabled()) {
            log.info("The following headers were registered in the HeaderFilter :");
            Set<Entry<String, String>> headers = headersMap.entrySet();
            for (Entry<String, String> item : headers) {
                log.info(item.getKey() + ':' + item.getValue());
            }
        }
    }

    public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {
        if (headersMap != null) {
            // Add the header to the response
            Set<Entry<String, String>> headers = headersMap.entrySet();
            for (Entry<String, String> header : headers) {
                ((HttpServletResponse) response).setHeader(header.getKey(), header.getValue());
            }
        }
        // Continue
        chain.doFilter(request, response);
    }

    public void destroy() {
        this.filterConfig = null;
        this.headersMap = null;
    }

    private void parseHeader(String header) {
        String headerName = header.substring(0, header.indexOf(":"));
        if (!headersMap.containsKey(headerName)) {
            headersMap.put(headerName, header.substring(header.indexOf(":") + 1));
        }
    }
}

To use this filter in your webapp, just edit your web.xml to add this lines :

    
        Set HTTP headers for a mapping.
        HeaderFilter
        juliusdev.filter.HeaderFilter
        
            Add an Expires Header
            header
            Expires: Thu, 15 Apr 2010 20:00:00 GMT
        
        
    
        HeaderFilter
        *.jpg
        REQUEST

This filter add the following Expires header to all jpg files, telling the browser that this response won't be stale until April 15, 2010. :

Expires: Thu, 15 Apr 2010 20:00:00 GMT

You can test the client side with FireFox plugins like FireBug and Yslow : I encourage you to read all the bests practices !.

Jersey (JSR-311) + Hibernate

2008-05-15T12:32:00.006+02:00

Jersey (0.7 EA) requires the 'asm-3.1.jar' to work but Hibernate core (3.2) already uses another version of that library : asm-attrs.jar, asm.jar and cglib-2.1.3.jar.

To fix this issue you have to download the no-dependencies version of cglib here and replace the cglib-2.1.3.jar file by the cglib-nodep-2.1_3.jar. After, you can remove the asm-attrs.jar, asm.jar jars and add the jersey.jar, jsr311-api.jar, asm-3.1.jar in your lib directory.

Java : Easy REST

2008-05-13T13:36:00.013+02:00

A REST xml web service is a good candidate to deal with a RIA like a Flex client. But create a servlet that parses the request URI path is not an efficient way to build a REST resource. it's painful... Hey, Do you know the JSR-311 ? No ! it's the most easy way to create a REST resource, just adding some annotations to your methods, like this :

@GET
@ProduceMime("application/xml")
public Product getProduct(@PathParam("id")
Integer id) {
   // Get the product ...
   return product;
}

In this case the method must be invoke by a GET HTTP request, the response will have the content type 'application/xml' and returns some xml content. To invoke this web method you have to call the following URL :

http://mydomain/webcontext/resource_path/param1

Setup Jersey

Jersey is the reference implementation of the JSR-311, the lastest stable release is provided with lots of examples. If you use netbeans 6.1 you can create and integrate a REST resource with Jersey easily. The core installation required only 3 jars :

jersey.jar, jsr311-api.jar, asm-3.1.jar

And you need to declare a servlet in your web.xml :

 
     ServletAdaptor
     com.sun.ws.rest.impl.container.servlet.ServletAdaptor
     1
 
 
     ServletAdaptor
     /resource/*

Play with jersey, you'll love it :-)

Hibernate + mapping + Java enums collection.

2008-04-22T13:46:00.011+02:00

Hey, can you replace this select box by checks boxes in this web form ? Hum .... I have already mapped this combo box to an enum in my hibernate entity mapping. I must change that property to a set of enums (ManyToOne relation) :

@Enumerated(EnumType.STRING)
@Column(name="color")
private ColorEnum color = ColorEnum.RED;

@CollectionOfElements
@JoinTable( name="item_colors",joinColumns={@JoinColumn(name="item_id")}           )
@Cascade(value = org.hibernate.annotations.CascadeType.DELETE_ORPHAN)
@Enumerated(value=EnumType.STRING)
@Column( name="color", length=25 )
private Set<ColorEnum> colors = new LinkedHashSet<ColorEnum>();

In the previous mapping the color property was mapped on a simple VARCHAR(25) of the item table. And in the second case i created a new table (MySQL) like this :

CREATE TABLE `item_colors` (
`item_id` INT NOT NULL,
`color` VARCHAR(25) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
PRIMARY KEY (`item_id`, `color`)
)
CHARACTER SET utf8;

WURFL Browser

2008-03-24T22:45:00.006+01:00

Hey ! Do you know WURFL ? No ! it's an open source mobile devices database :-)

The WURFL is an XML configuration file which contains information about capabilities and features of many mobile devices.

This component is often a centric component for companies that deliver mobile contents to the mobile carriers or end users (maybe you). Wurfl is a big XML file, it's not very easy to browse it with a text editor. Then i created a little Flex app to browse the Wurfl repository. You can checkout the code from the google code project flex-wurfl-browser or try the demo here. It's an alpha version, that embeds a wurfl XML file in the assets directory. Please try-it and give me your feedback :-)

JAXB XML customizations

2008-02-15T23:17:00.018+01:00

JAXB est un outil fantastique qui offre un bon contrôle sur la manière dont vos objets vont-être transformer (marshal) en XML. Il suffit pour cela d'annoter vos classes. Voici un exemple simple d'une classe 'Product' annotée avec jaxb :

@XmlRootElement
@XmlAccessorType(XmlAccessType.FIELD)
public class Product {

@XmlAttribute
private Long id;

@XmlAttribute
private String name;


public Product(){

}

public Long getId() {
return id;
}

public void setId(Long id) {
this.id = id;
}

public String getName() {
return name;
}

public void setName(String name) {
this.name = name;
}

}

La représentation XML de 'Product' est la suivante :

<product name="foo" id="123"/>

Le code Java pour produire ce XML est aussi très simple :

// Create a product
Product product = new Product();
product.setId(123);
product.setName("foo");

// Get the jaxb context.
JAXBContext context = JAXBContext.newInstance(ProductList.class);
Marshaller marshaller = context.createMarshaller();
marshaller.setProperty(Marshaller.JAXB_ENCODING, "UTF-8");
marshaller.setProperty(Marshaller.JAXB_FORMATTED_OUTPUT, true);
marshaller.marshal(product, System.out);

Pour plus details sur JAXB je vous conseille la documentation en ligne :

https://jaxb.dev.java.net/
http://java.sun.com/javaee/5/docs/tutorial/doc/bnazf.html

L'héritage

Jouons maintenant un peu avec l'héritage pour voir comment se comporte jaxb. Voici deux nouvelles classes qui héritent de produit.

@XmlRootElement
@XmlAccessorType(XmlAccessType.FIELD)
public class MovieProduct extends Product{

@XmlAttribute
private Long duration;

public MovieProduct(){

}

public Long getDuration() {
 return duration;
}

public void setDuration(Long duration) {
 this.duration = duration;
}

}

@XmlRootElement
@XmlAccessorType(XmlAccessType.FIELD)
public class WallpaperProduct extends Product {

@XmlAttribute
private Integer width;

@XmlAttribute
private Integer height;

public Integer getWidth() {
 return width;
}

public void setWidth(Integer width) {
 this.width = width;
}

public Integer getHeight() {
 return height;
}

public void setHeight(Integer height) {
 this.height = height;
}

}

Et une nouvelle classe qui définit une liste de produits :

@XmlRootElement
@XmlAccessorType(XmlAccessType.FIELD)
public class ProductList {

@XmlAttribute
private String name;

@XmlElementRef
private List products = new LinkedList();

public ProductList(){

}

public String getName() {
 return name;
}

public void setName(String name) {
 this.name = name;
}

public List getProducts() {
 return products;
}

public void setProducts(List products) {
 this.products = products;
}

}

Par defaut si on créé une instance de JAXBContext comme ci dessous :

// Create 2 products
MovieProduct inTheMoonForLove =  new MovieProduct();
inTheMoonForLove.setId(1L);
inTheMoonForLove.setName("In the moon for love");

WallpaperProduct tuxLogo = new WallpaperProduct();
tuxLogo.setId(2L);
tuxLogo.setName("Tux !");
tuxLogo.setWidth(128);
tuxLogo.setHeight(128);

// Create a new product list
ProductList productList = new ProductList();
productList.setName("My favorite product list");
productList.getProducts().add(tuxLogo);
productList.getProducts().add(inTheMoonForLove);


// Get the jaxb context.
JAXBContext context = JAXBContext.newInstance(ProductList.class);
Marshaller marshaller = context.createMarshaller();
marshaller.setProperty(Marshaller.JAXB_ENCODING, "UTF-8");
marshaller.setProperty(Marshaller.JAXB_FORMATTED_OUTPUT, true);
marshaller.marshal(productList, System.out);

On obtient le XML suivant :

<productlist name="My favorite product list">
<product name="Tux !" id="2"/>
<product name="In the moon for love" id="1"/>
</productlist>

Mais ou sont passés les éléments MovieProduct et WallpaperProduct ? Pour les faire apparaître il faut ajouter les nouvelles classes qui héritent de Product au JAXBContext comme ci dessous :-)

// Get the jaxb context.
JAXBContext context = JAXBContext.newInstance(ProductList.class,MovieProduct.class,WallpaperProduct.class);

Et voici le résultat :

<productlist name="My favorite product list">
<wallpaperproduct height="128" width="128" name="Tux !" id="2"/>
<movieproduct name="In the moon for love" id="1"/>
</productlist>

Pour plus de détails lisez ce post : http://weblogs.java.net/blog/kohsuke/archive/2006/04/why_doesnt_jaxb.html

Tomcat + mod_jk 1.2.26 + vhost

2008-02-15T22:27:00.006+01:00

Phew !!! Today i have installed a tomcat server on my new staging env. This operation have no secret for me, i have already installed and configured many tomcat servers. But today my new tomcat server doesn't want to communicate with my apache server. I have configured my JK connector and the mod_jk configuration in the httpd.conf. After that i defined some worker and map some URI.

# Where to find workers.properties
   JkWorkersFile /etc/httpd/conf/workers.properties
   # Where to put jk shared memory
   JkShmFile     /var/log/httpd/mod_jk.shm
   # Where to put jk logs
   JkLogFile     /var/log/httpd/mod_jk.log
   # Set the jk log level [debug/error/info]
   JkLogLevel    info
   # Select the timestamp log format
   JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "
   # Static files in all Tomcat webapp context directories are served by apache
   JkAutoAlias /opt/tomcat/webapps
   # Add the jkstatus mount point
   JkMount /jkmanager/* jkstatus
   # Load mount points
   JKMountFile /opt/tomcat/conf/uriworkermap.properties

I have also defined a virtualhost in my apache conf. But when i tried to access to the URL the response was always a 404 http error ??! In fact there is a big change in mod_jk 1.2.26 ! If you want all vhost to inherit mounts from the main server, you can set JkMountCopy to 'All' in the main server.

JkMountCopy All

see http://tomcat.apache.org/connectors-doc/reference/apache.html

Hibernate read only query

2008-01-25T11:14:00.002+01:00

Here an example of a read only Hibernate query :

  // Create a new session factory if no one exists
  // and return the current session.
  Session session = HibernateUtil.getCurrentSession();

  // Begin a new transaction.
  Transaction tx = null;
  try {
   tx = session.beginTransaction();
   // Entities retrieved by this query will be loaded in a read-only
            // mode where Hibernate will never dirty-check them or make changes
   // persistent.
   List readOnlyProductList = session.createQuery(
     "select p from Product").setReadOnly(true).list();
   
   // You can also set an entity to read-only :
   // session.setReadOnly(product,trye);

   // Do some operations ...

   // Commit changes
   tx.commit();

  } catch (Exception e) {
   // Rollback changes
   if (tx != null)
    tx.rollback();
   throw e;
  } finally {
   // Close the session.
   session.close();
  }

Happy new year !

2008-01-02T11:56:00.000+01:00

Bonne Année 2008 à tous !

PHP + innodb + utf8

2008-01-02T11:23:00.002+01:00

Il m'arrive de faire des scripts PHP pour exporter des données. Et à chaque fois je suis surpris par le paradoxe de ce langage ! PHP c'est simple, puissant mais bordelique ! C'est un peu comme un pouding, ça donne envie, et c'est pas cher, alors on se goinfre et après on a mal au ventre et on le regrette. (Franchement je préfère Ruby !) Dans mon dernier script je devais lire les données contenues dans une table Mysql innodb en utf8 pour générer un flux xml. J'ai terminé le script en 30 minutes mais suprise le fichier xml produit contenait des caratères non utf8 ?! J'ai passé 20 minutes à tester différentes solutions d'encoding ou de configuration de la connexion à Mysql pour arriver à la solution suivante qui est de forcer le client mysql en utf8 :

//Force default client encoding
mysql_query("SET NAMES utf8");

Beaucoup de personnes m'ont dit ne pas avoir ce pb avec leur version de PHP donc voici les details de ma configuration pour reproduire le problème : La version de PHP sur mon Mac OSX Tiger :

:~ welcome$ php -v
PHP 4.4.7 (cli) (built: Jul 10 2007 15:27:28)
Copyright (c) 1997-2007 The PHP Group
Zend Engine v1.3.0, Copyright (c) 1998-2004 Zend Technologies

La conf de Mysql :

[mysqld]
#If no specific storage engine/table type is defined in an SQL-Create statement the default type will be used.
default-storage-engine=innodb
#Set the default character set.
default-character-set=utf8

Une table de test pour reproduire le pb :

CREATE TABLE `test`.`test_encoding` (
`id` INT NOT NULL AUTO_INCREMENT,
`name` VARCHAR(255),
PRIMARY KEY (`id`)
)
ENGINE = InnoDB
CHARACTER SET utf8;

INSERT INTO test_encoding (name) VALUES ('éàûôâç');

Et un script php pour tester le client :


$link = mysql_connect("127.0.0.1", "root", "")
   or die("Impossible de se connecter : " . mysql_error());

if (!mysql_select_db('test', $link)) {
   echo 'Sélection de base de données impossible';
   exit;
}

//Force default client encoding
//mysql_query("SET NAMES utf8");

$sql    = 'SELECT * FROM test_encoding';
$result = mysql_query($sql, $link);

if (!$result) {
   echo "Erreur DB, impossible d'effectuer une requête\n";
   echo 'Erreur MySQL : ' . mysql_error();
   exit;
}

while ($row = mysql_fetch_assoc($result)) {
   echo $row['name']."\n";
}

mysql_free_result($result);

mysql_close($link);

Quand on ne force pas l'encoding du client, php semble récupérer les données utf8 du serveur en latin1. J'adore les pb d'encoding :-)

Hibernate + IndexColumn

2007-12-21T21:41:00.002+01:00

Hier, un ami m'a contacté pour me parler d'un problème de mapping avec Hibernate. Il essayait de créer une entité Node avec une propriété parent et une collection indexée children du même type. En se basant sur la documentation des annotations hibernate il était arrivé au mapping suivant :

@Entity
@Table(name="node")
public class Node {
@Id
@GeneratedValue(strategy = GenerationType.AUTO)
private Long id;

@OneToMany(mappedBy="parent", cascade=CascadeType.ALL)
@org.hibernate.annotations.Cascade(value=org.hibernate.annotations.CascadeType.DELETE_ORPHAN)
@org.hibernate.annotations.IndexColumn(name="child_position")
private List children = new ArrayList();

@ManyToOne
@JoinColumn(name="parent_id")
private Node parent;

//...
}

Malheureusement quand il essayait de rendre persistent un noeud principal avec 2 enfants, hibernate lui renvoyait l'erreur suivante : org.hibernate.HibernateException: null index column for collection

Le problème vient du fait que la collection indexée children n'est pas mise à jour quand un noeud enfant est ajouté au noeud principal. C'est normal puisque la relation OneToMany à l'attribut mappedBy = "parent" qui est équivalent à "inverse=true" dans un fichier hbm.xml : c'est donc le coté parent qui est responsable de la relation.

Voici un workaround pour ce type de mapping :

@Entity
@Table(name = "nodes")
public class Node implements Serializable {

  @Id
  @GeneratedValue(strategy = GenerationType.AUTO)
  private Integer Id;

  private String name;

  @ManyToOne
  @JoinColumn(name = "parent_id", insertable=false, updatable=false)
  private Node parent;

  @OneToMany(cascade = CascadeType.ALL)
  @JoinColumn(name = "parent_id")
  @org.hibernate.annotations.Cascade(value = org.hibernate.annotations.CascadeType.DELETE_ORPHAN)
  @org.hibernate.annotations.IndexColumn(name = "child_position")
  private List children = new LinkedList();

//...
}

Dans cette version l'attribut "mappedBy" a été supprimé et les attributs "insertable=false" et "updatable=false" ont été ajoutés à l'annotation @JoinColumn du coté ManyToOne. C'est donc le côté OneToMany qui est responsable de la relation bi-directionnelle ( parent <-> enfants). Cette manipulation revient à mettre l'attribut "inverse=false" dans un ficher hbm.xml sur le côté ManyToOne.

Hibernate c'est pas toujours simple :-) Je me demande comment on fait ce type de mapping avec Rails et Active Records.

Une bonne présentation

2007-12-19T13:35:00.000+01:00

Personnellement, ça fait longtemps que je n'utilise plus powerpoint pour mes présentations. Je lui préfére de loin Keynotes sous Mac, il suffit de voir les présentations de Steve Jobs pour s'en convaincre :-) Alors si vous voulez faire comme Steve ne manquer cette présentation :

| View | Upload your own

ParisOnRails

2007-12-08T18:34:00.000+01:00

Je serai à la conférence ParisOnRails le lundi 10 décembre. J'espère que je vais en apprendre plus sur les applications rails dans le monde réel : productivity, hosting, performances, and jruby :-)

Hibernate Search and Null value

2007-10-23T08:58:00.000+02:00

Hibernate Search permet d'indexer les propriétés et les relations de vos POJO dans un index Lucene pour faire des recherches à la Google. J'ai récemment utilisé Hibernate Search pour indexer des tags et leurs traductions. Dans mon modèle l'objet traduction avec la propriété language == 'null' est la traduction par defaut du tag. Problème ! Lucene ne peut pas indexer un objet null.
La solution est d'écrire un custom fieldbridge pour indexer la propriété language et définir une valeur par défaut pour la valeur null.

J'ai alors proposé une amélioration au committers d'Hibernate Search: spécifier une valeur par défault dans l'annotation @Field pour les valeurs null.

Voici mon POJO TagTranslation annoté avec Hibernate Search:

@Entity()
@Table(name="indexing_tag_trans")
@org.hibernate.annotations.Cache(usage=org.hibernate.annotations.CacheConcurrencyStrategy.READ_WRITE)
@Indexed
public class TagTranslation implements java.io.Serializable {


private static final long serialVersionUID = -1065316566731456110L;

  @Id
  @GeneratedValue(strategy=GenerationType.IDENTITY)
  @DocumentId
  private Integer id;

  @Field(index=Index.UN_TOKENIZED, store=Store.NO)
  private String language;

  @Field(index=Index.TOKENIZED, store=Store.YES)
  private String value;

  @OneToMany(cascade=CascadeType.ALL, fetch=FetchType.LAZY)
  @org.hibernate.annotations.Fetch(org.hibernate.annotations.FetchMode.SUBSELECT)
  @JoinColumn(name="translation_id")
  @IndexedEmbedded
  private List variations = new LinkedList();


  public TagTranslation() { }
...

La nouvelle version de @Field pourrait être :

  @Field(index=Index.UN_TOKENIZED, store=Store.NO, nullValue="DEFAULT")
  private String language;

La bonne nouvelle vient de tomber ce matin dans ma mail box :

Emmanuel Bernard updated HSEARCH-115:
-------------------------------------

   Fix Version/s: 3.1.0
                  3.0.1

I don't know the impact, but we should at least introduce that to 3.1.0

COOOOOOOOOOOOL !

Déjà qu'Emmanuel Bernard n'avait répondu en moins d'une heure pour me fournir un workaround (le custom fieldbridge) ! Bravo, Emmanuel et aussi à toute l'équipe d'Hibernate pour votre réactivité et la qualité de votre travail !

Struts and Hibernate Validator

2007-09-15T22:43:00.000+02:00

Dans de nombreuses applications web la validation des données est assurée par un MVC coté serveur. C'est le cas de beaucoup d'applications web Java sous Struts v1.x : la validation des données soumises par l'utilisateur passe par la methode validate d'un objet ActionForm ou directement dans l'action. Une alternative est d'utiliser Hibernate Validator pour valider les objets de votre modèle avant de les rendre persistants. Cette approche permet de découpler la validation du MVC et ainsi de réutiliser vos règles de validation, comme par exemple dans une version standalone de votre application. Voici un exemple de validation d'un formulaire avec Hibernate Validator et Struts 1.2.

Annoter votre modèle.

Tout d'abord vous devez annoter les propriétés de vos entités avec les annotations Hibernate Validator. Voici un exemple d'une entité Product qui doit respecter les règles suivantes pour être validé :

Avoir un titre de 2 caractères minimum et 200 maximum.
Avoir une URL d'une preview au format JPG, GIF ou PNG.
Un prix avec maximum 2 chiffres après la virgule.

/**
* Product Entities
* @author juliusdev
*/
@Entity
public class Product implements java.io.Serializable {

@Id
@GeneratedValue(strategy=GenerationType.AUTO)
private Integer id;

@Version
private Integer version;

@Length(min=2, max=200)
@NotNull()
private String title;

@NotNull
private String description;

@NotNull()
@Pattern(regex=".*\\.(gif|jpg|png)$", flags=java.util.regex.Pattern.CASE_INSENSITIVE)
private String imageURL;

@Digits(integerDigits=10, fractionalDigits=2)
private Double price;

@ManyToMany(cascade=CascadeType.ALL)
@JoinTable(name="categorized_product")
private List categories = new LinkedList();

/** Creates a new instance of Product */
public Product() {
}
/* Setters/Getters ...*/
}

Intégrer Hibernate Validator à Struts

Dans mon exemple j'utilise la méthode validate d'un ActionForm pour valider les données du formulaire. Je vous passe les details de la configuration Struts, c'est pas le sujet. Voici le code de la méthode validate de ma classe ProductForm.

public ActionErrors validate(ActionMapping mapping, HttpServletRequest request){
    ActionErrors errors = new ActionErrors();
       
    try {
    
        Product product = new Product();
        PropertyUtils.copyProperties(product,this);
    
        ClassValidator productValidator = new ClassValidator( Product.class );
        InvalidValue[] validationMessages = productValidator.getInvalidValues(product);

        for (InvalidValue error : validationMessages) {
           errors.add(ActionMessages.GLOBAL_MESSAGE,
                   new ActionMessage("errors.detail", error.getPropertyName() + ": " +error.getMessage()));
        }

    } catch (Exception e){
        errors.add(ActionMessages.GLOBAL_MESSAGE,
                    new ActionMessage("errors.general"));
        errors.add(ActionMessages.GLOBAL_MESSAGE,
                    new ActionMessage("errors.detail",e.getMessage()));
    }

    return errors;
}

Struts appelle la méthode validate avant de passer les données au contrôleur (l'action). La méthode validate crée un objet du modèle (Product) et le peuple avec les données de l'ActionForm. Ensuite on crée un objet ClassValidator en passant au constructeur le type de l'objet qui doit être validé. Enfin on appelle la méthode getInvalidValues pour récupérer un tableau d'objets InvalidValue contenant le nom de la propriété et le message d'erreur (vous pouvez comme dans struts personnaliser les messages d'erreur dans des fichiers de propriétés). Et voici le formulaire pour ajouter un produit.

    <html:errors/>

<h1>Add a new product</h1>
<html:form action="/AddProduct" >
    <label>Title:</label>
    <html:text property="title" />
    <br/>
    <label>Description:</label>
    <html:textarea property="description" />
     <br/>
    <label>Image URL:</label>
    <html:text property="imageURL"/>
     <br/>
    <label>Price:</label>
    <html:text property="price"/>
     <br/>
     <html:submit/>
</html:form>

Finalement une page contenant le formulaire et la liste des erreurs trouvées est renvoyée à l'utilisateur pour correction comme ci-dessous. Vous pouvez télécharger le code et le projet Netbeans ici.

Le Revest : le lac du barrage

2007-09-09T21:50:00.000+02:00

Ce matin j'ai profité de la baisse de température (24°C) pour aller faire une randonnée autour du lac du barrage au Revest à quelques kilomètres de Toulon. C'est un très beau village, surplombé par une ancienne tour de garde qui servait de refuge à la population. Un fois au lac j'ai pu assister à un remplissage d'un hélicoptère bombardier d'eau ! Et voici la video :

Blogger + syntaxhighlighter

2007-08-29T00:01:00.000+02:00

J'utilise blogger depuis peu, et le premier problème que j'ai rencontré c'est le formatage des bloques de code dans mes articles. Blogger ne propose pas encore de module de colorisation syntaxique :-( Heureusement il existe de nombreux outils en ligne pour formater votre code :

formatmysourcecode: formatage du code (HTML+CSS).
quickhighlighter.com: formatage + colorisation syntaxique (HTML+CSS).

Mais je n'ai pas reussi à avoir un rendu clean de mon template blogger avec ces deux outils. En cherchant un peu plus je suis tombé sur SyntaxHighlighter, une lib 100% javascript de colorisation syntaxique qui supporte de nombreux langages. Voici comment l'intégrer dans votre template blogger.

1-Télécharger les source du projet ici.
2-Ajouter les lib javascript en bas de page.
3-Configurer vos balises <pre>.

Une fois les sources téléchargées, vous avez deux options : héberger les fichiers javascript sur un autre serveur accessible en http ou embarqué le code javascript dans des balises <script>. Dans mon cas j'ai choisi d'utiliser l'hébergement gratuit fourni par mon FAI pour déployer les fichiers.
Ensuite vous devez éditer votre template pour y intégrer le code javascript, connectez vous sur votre compte blogger, allez dans Settings > Template > edit HTML pour afficher le code html de votre template et ajouter les lignes suivantes avant la balise </body>.

<link href='http://www.myhosting.net/styles/SyntaxHighlighter.css' rel='stylesheet' type='text/css'/>
<script language='javascript' src='http://www.myhosting.net/scripts/shCore.js'/>
<script language='javascript' src='http://www.myhosting.net/scripts/shBrushJava.js'/>
<script language='javascript' src='http://www.myhosting.net/scripts/shBrushJScript.js'/>
<script language='javascript' src='http://www.jmyhosting.net/scripts/shBrushRuby.js'/>
<script language='javascript'>
dp.SyntaxHighlighter.ClipboardSwf = 'http://www.jmyhosting.net/scripts/clipboard.swf';
dp.SyntaxHighlighter.BloggerMode();
dp.SyntaxHighlighter.HighlightAll('code');
</script>

Les fichiers SyntaxHighlighter.css et shCore.js sont requis ensuite vous ajouter les colorisations syntaxiques de votre choix disponibles dans syntaxhighlighter. Voici la liste des langages supportés:

Language	Aliases
C++	`cpp`, `c`, `c++`
C#	`c#`, `c-sharp`, `csharp`
CSS	`css`
Delphi	`delphi`, `pascal`
Java	`java`
Java Script	`js`, `jscript`, `javascript`
PHP	`php`
Python	`py`, `python`
Ruby	`rb`, `ruby`, `rails`, `ror`
Sql	`sql`
VB	`vb`, `vb.net`
XML/HTML	`xml`, `html`, `xhtml`, `xslt`

Pour tester l'installation de SyntaxHighlighter créer un post en insérant un bloque de code dans une balise <pre> avec l'attribut name="code" et l'attribut class doit contenir l'alias correspondant à votre langage (cf tableau des langages) comme ci dessous :

<pre name="code" class="java">
List<String> categories = new LinkedList<String>();
for(String categorie : categories)
System.out.println(categorie);
</pre>

Et voici le resultat :

List<String> categories = new LinkedList<String>();
for(String categorie : categories)
System.out.println(categorie);

Very nice !

Fête de la figue et Festival de BD

2007-08-25T23:09:00.001+02:00

Ce week-end c'est la fête de la figue à Sollies Pont, avec au programme des tonnes de produits à la figue : gateaux, confitures, saucisses, samoussa, etc ... C'est sympa, l'ambiance est bonne et les commerçants n'hésitent pas à vous faire gouter leurs spécialités. Sous un soleil écrasant les gateaux à la figue ça donne soif mais pas moyen de trouver de l'eau, les épiceries sont fermées, et comme par hasard seuls les cafés proposent des boissons fraîches ...

En même temps se déroule le 19éme festival de BD de Sollies Ville, j'en ai profité pour découvrir de nouvelles BD, et acheter une belle affiche pour décorer mon bureau.

YUI autocomplete + DWR Part II

2007-08-24T00:31:00.000+02:00

Voici une solution plus propre pour intégrer DWR avec le composant autocomplete de YUI. Il suffit de créer une nouvelle classe qui hérite de YAHOO.widget.DataSource et de surcharger la methode doQuery de la class YAHOO.widget.DataSource comme dans l'exemple suivant :

DwrYuiDataSource = function(remoteMethod) {
this.remoteMethod = remoteMethod;
this._init();
};

//prototype-based inheritance
DwrYuiDataSource.prototype = new YAHOO.widget.DataSource();

//override doQuery method
DwrYuiDataSource.prototype.doQuery = function(oCallbackFn, sQuery, oParent) {
var oSelf = this;
this.remoteMethod(sQuery, function(aResults) {
var resultObj = {};
resultObj.query = decodeURIComponent(sQuery);
//transform DWR response to Array of Array...
resultObj.results = objecToArray(aResults);
oSelf._addCacheElem(resultObj);    
oSelf.getResultsEvent.fire(oSelf, oParent, sQuery, aResults);
oCallbackFn(sQuery, objecToArray(aResults), oParent);
});
};

//transform object to array
function objecToArray(dataFromServer){
var aResults = [];
for (var i in dataFromServer) {
if(i != 'toJSONString')
 aResults.push([i,dataFromServer[i]]);
}
return aResults;
}

Ensuite vous pouvez utiliser cette nouvelle source de données pour créer votre autocompleter.

YAHOO.example.DWR = new function(){
// Instantiate DWR DataSource
this.oACDS = new DwrYuiDataSource(Demo.suggestCountries);

// Instantiate AutoComplete
this.oAutoComp = new YAHOO.widget.AutoComplete('input','container', this.oACDS);

...

Merci à Lance Semmens-3 pour avoir poster cette solution sur Nabble ! Ps: vous pouvez télécharger le projet Netbeans contenant le code source ici.

YUI autocomplete + DWR

2007-08-19T21:11:00.000+02:00

J'utilise DWR depuis longtemps, c'est un framework AJAX simple et efficace pour appeler des methodes distantes en javascript. En parallèle de DWR j'utilise aussi prototype et scriptaculous dans mes pages. Il y a quelques jours on m'a demander de réaliser un composant AJAX pour suggérer des TAG, ce genre de composant est assez répandu, l'exemple le plus connu est le suggest de google. Scriptaculous propose déjà des classes d'autocompletion : une version locale qui suggère des réponses d'un tableau javascript et une version ajax qui parse une liste html (<ul><li>tag</li></ul>) renvoyé par votre serveur. Bref, la classe d'autocomplete ajax de scriptaculous ne permet pas passer un callback javascript pour appeler une méthode distante via DWR. Après quelques recherches sur net, je suis tombé sur Yahoo ui (YUI), la bibliothèque de composants de yahoo. C'est bien documenté, et les exemples sont nombreux, alors je me suis lancé dans un test d'intégration avec DWR. Voici un bean DWR d'exemple qui contient une méthode suggestCountries qui renvoie un Map de code pays et une version localisé du nom du pays.

public class DWRDemo {
    
    Logger logger = Logger.getLogger(this.getClass().getName());
    
    private Locale userLocale;
    
    /** Creates a new instance of DWRDemo */
    public DWRDemo() {
        WebContext ctx = WebContextFactory.get();
        this.userLocale = ctx.getHttpServletRequest().getLocale();
    }
    
    public DWRDemo(Locale userLocale){
        this.userLocale = userLocale;
    }
    
    /**
     * Suggest a dictionary of country codes and localized country names.
     * This method search the specified string token in each localized country name.
     *@param token a string token.
     *@return a Map of countries codes and theirs localized names.
     */
    public Map<String,String> suggestCountries(String token){
        if(logger.isLoggable(Level.FINE))
            logger.fine("Call suggestCountries method with token: " + token);
        
        Map<String,String> suggestions = new LinkedHashMap<String,String>();
        String[] countries = Locale.getISOCountries();
        // Compile regular expression
        Pattern pattern = Pattern.compile("(?i)"+token);
        for (String country : countries) {
            String localizedCountryName = new Locale(this.userLocale.getLanguage(),country).getDisplayCountry(userLocale);
            Matcher matcher = pattern.matcher(localizedCountryName);
            if(matcher.find() && !suggestions.containsKey(country))
                suggestions.put(country,localizedCountryName);
            
        }
        
        if(logger.isLoggable(Level.FINE))
            logger.fine(suggestions.size() + " countrie(s) were found.");
        
        return suggestions;
    }
}

Le composant autocomplete de YUI utilise un object dataSource pour récupérer les réponses à suggérer. Il existe plusieurs types de dataSource qui acceptent un tableau javascript, une fonction, ou une url qui renvoie du json ou du xml. Dans mon cas j'ai utilisé la dataSource qui utilise une fonction.

//populate suggestions array
function populateArray(dataFromServer, dataFromBrwoser){
 for (var i in dataFromServer) {
  dataFromBrwoser.push([i,dataFromServer[i]]);
 }
}

//call dwr remote method and returns suggestions
function getCountries(sQuery){
 var aResults = [];
 if (sQuery && sQuery.length > 0) {
  var callbackProxy = function(results){
     populateArray(results, aResults);
  };
  
  //disable async req !
  var callMetaData = { callback:callbackProxy,  async:false};
  //Call remote method
  Demo.suggestCountries(sQuery,callMetaData);
 }
 
 return aResults;
}

Et voici le code du composant autocomplete yui :

YAHOO.example.DWR = new function(){
// Instantiate JS Function DataSource
this.oACDS = new YAHOO.widget.DS_JSFunction(getCountries);

// Instantiate AutoComplete
this.oAutoComp = new YAHOO.widget.AutoComplete('input','container', this.oACDS);
this.oAutoComp.useShadow = true;
this.oAutoComp.minQueryLength = 0;
this.oAutoComp.maxResultsDisplayed = 10;
this.oAutoComp.formatResult = function(oResultItem, sQuery) {
   var sMarkup = oResultItem[1] + " ("+oResultItem[0]+")";
   return (sMarkup);
};

// Show custom message if no results found
this.myOnDataReturn = function(sType, aArgs) {
   var oAutoComp = aArgs[0];
   var sQuery = aArgs[1];
   var aResults = aArgs[2];

   if(aResults.length == 0) {
       oAutoComp.setBody("<div id=\"containerdefault\">No matching results</div>");
   }
};


this.itemSelectHandler = function(sType, aArgs) {
   var oMyAcInstance = aArgs[0]; // your AutoComplete instance
   var elListItem = aArgs[1]; //the <li> element selected in the suggestion
                              //container
   var aData = aArgs[2]; //array of the data for the item as returned by the DataSource
   document.getElementById('input').value = aData[1];
   document.getElementById('countrycode').value = aData[0];
};

//Register events
this.oAutoComp.dataReturnEvent.subscribe(this.myOnDataReturn);
this.oAutoComp.itemSelectEvent.subscribe(this.itemSelectHandler);

};

Et le container HTML :

        <h3>Filter countries:</h3>
<div id="autocomplete">
<input id="input" type="text">
<div id="container"></div>
</div>

Mon composant fonctionne, mais il n'est pas très performant : en effet pour que la fonction getCountries renvoie un tableau de résultat à chaque frappe de l'utilisateur dans l'input, j'ai du désactivé l'appel asynchrone (async:false). Pour l'instant je n'ai pas trouvé un moyen plus élégant d'utiliser DWR et YUI, alors si vous avez une idée, je suis preneur :-) Vous pouvez télécharger le projet netbeans avec le code.

Cellfish is Mobile 2.0 ?

2007-08-03T18:51:00.000+02:00

Je travaille depuis 6 ans chez Cellfish (ex:Plurimedia), cette companie est spécialisée dans la gestion de contenu et la réalisation de services mobiles. Nos principaux clients sont les opérateurs mobiles (SFR,Orange, BouyguesTelecom,....) . Il y a quelques semaines cellfish a lancé cellfishDotCom un site Web 2.0 ou plutôt Mobile 2.0 qui permet de mettre en ligne des contenus, les partagés et de créer des réseaux sociaux tout ça de votre mobile.