Pablo Cantero

Using Ruby and Amazon SQS FIFO Queues

2017-08-06T00:00:00+00:00

For those not familiar with Amazon SQS, it’s a reliable and high-scalable fully managed queue service. If you need to process in background, and all that jazz, but without the overhead of managing your queue service, go for it. It can be also free depending on our usage.

This post is about Amazon SQS FIFO Queues, which is a type of queue designed to guarantee that messages are processed exactly once and in the exact order that they are sent.

Shoryuken

The examples in this post are based on Shoryuken, a SQS thread based message processor in Ruby.

Why Shoryuken? aws-sdk-ruby is great, but it’s just an API client. Shoryuken empowers the SDK by adding support for continuously polling and thread based processing, besides that, it also adds abstractions simplifying the integration with SQS, including Active Job support.

FIFO Queues

There are two key attributes when working with FIFO Queues: Message Group ID and Message Deduplication ID.

Message Group ID

For the Message Group ID you can either use the same message group for all messages, or group them by some business logic, let’s say account_id, or whatever that makes sense to you. The messages will be received in the order they were sent to their group.

Shoryuken automatically sets the Message Group ID to ShoryukenMessage if it is not provided.

# Shoryuken will set the message_group_id to ShoryukenMessage
MyWorker.perform_async('test') 

# User-defined message_group_id
MyWorker.perform_async('test', message_group_id: '...')

See Message Group ID.

Message Deduplication ID

For exactly-once processing, FIFO Queues use the Message Deduplication ID for identifying and rejecting duplicates sent within a 5 minutes interval. The Message Deduplication is auto generated based on the message body if you enable content-based deduplication when creating your queue.

Shoryuken automatically sets the Deduplication ID to a SHA-256 hash of the message body if it is not provided.

# Shoryuken will set the messaged_deduplication_id to a SHA-256 hash using the message body
MyWorker.perform_async('test') 

# User-defined message_deduplication_id
MyWorker.perform_async('test', message_deduplication_id: '...')

See Message Deduplication ID.

Getting started

A few steps for using message groups and Shoryuken.

Create a FIFO Queue

shoryuken sqs create queue.fifo

Create a worker

class HelloWorker
  include Shoryuken::Worker

  shoryuken_options queue: 'queue.fifo', auto_delete: true

  def perform(sqs_msg, name)
    puts "Hello, #{name}"
  end
end

Send messages

HelloWorker.perform_async('Ken 1', message_group_id: 'hello')
HelloWorker.perform_async('Ken 2', message_group_id: 'hello')
HelloWorker.perform_async('Ken 3', message_group_id: 'hello')

Start Shoryuken

shoryuken -q queue -r ./hello_worker.rb

That’s it. Shoryuken will start processing your messages.

Sequential processing per group

By default, Shoryuken tries to receive as many messages as it can, limited to the number of the available threads (see concurrency) and the SQS limit of 10 messages per request. If there are 10 available threads, it may receive up to 10 messages for the same Message Group ID and process them all in parallel.

If you want to sequentially process one message at a time, set max_number_of_messages: 1 (see receive options), with that, if you send messages as follows:

ExpireMembershipsWorker.perform_async(date)
ActivatePendingMembershipsWorker.perform_async(date)
RenewMembershipsWorker.perform_async(date)

Shoryuken will receive the message for ExpireMembershipsWorker, process, receive the message forActivatePendingMembershipsWorker, process, receive the message for RenewMembershipsWorker and process, one by one.

How about multiple processes and other clients?

Every time Shoryuken (or any other SQS client) receives a message associated with a Message Group ID, SQS locks the group until the message gets deleted or its visibility timeout expires. Preventing Shoryuken or other SQS clients to receive messages for the locked group.

Using FIFO Queues for rate limiting

Given that, you can sequentially process messages per group, you could easily use FIFO for controlling the number of requests per second.

Shoryuken.sqs_client_receive_message_opts = {
  max_number_of_messages: 1
}

class SyncWithExternalAPIWorker
  include Shoryuken::Worker

  shoryuken_options queue: 'queue.fifo', auto_delete: true

  def perform(sqs_msg, name)
    # call an external API that supports max 10 calls per second...

    # limit the max number processing per second to 10
    sleep(0.1)
  end
end

I don’t recommend long running workers, I would go with sleep only for a short delay. For longer delays, you can try to take advantage of the visibility timeout or delay queues.

Should I use FIFO Queues?

If you want to reject duplicated messages sent within a 5 minutes interval.

Yes.

If you want to control the order that the messages are received.

Yes.

If you want to control the order, but you want to receive duplicates.

Yes. Just set message_deduplication_id to something unique (SecureRandom.uuid) and SQS won’t reject as a duplicate.

Same applies if you want to reject duplicates and don’t want to control the order, just set the message_group_id to something unique.

If you don’t care about the order and duplicates.

No. Go with standard queues.

If you plan to make more than 300 transactions per second.

Maybe. FIFO Queues are limited to 300 transactions per second (TPS). If you can split the transactions across multiple queues avoiding the limit of 300 TPS per queue, you are good, otherwise, you better go with standard queues.

If you want per-message delays

No. FIFO queues don’t support per-message delays, only per-queue delays.

Test emails with automated testing tools

2015-08-05T00:00:00+00:00

Usually, for automated tests that can send emails, because of a step in the test, we either stub or don’t check the emails being sent. We don’t go to Gmail or any other email client for confirming (assert/expect) that the email was delivered.

Not testing emails, like for real, in most cases can be okay. For example, if you are using Amazon SES or similar, you just trust them, and usually, the configuration you have in place for sending emails does not change often. If it worked once, it’s most likely it will continue to work (famous last words).

But if the email delivery is a critical part of your application, and you do want to make sure it’s working, this post is for you.

Say Hello to PutsBox

Let me introduce you PutsBox. It’s a mix of disposable email tools and HTTP request recorders tools such as PutsReq.

Getting started

Send an email to whatever-recipient-you-want-to@putsbox.com, give it a few seconds (don’t blame PutsBox, email delivery services may take a few seconds to process) then check https://preview.putsbox.com/p/whatever-recipient-you-want-to/last, voalá, it will respond with your email content.

JSON representation

You can also append .json to the /inspect or /last URLs to get a JSON representation.

https://putsbox.com/whatever-recipient-you-want-to/inspect.json
https://preview.putsbox.com/p/whatever-recipient-you-want-to/last.json

No sign up required, PutsBox is free and open source.

Capybara example

Here’s an example with Capybara.

visit '/'

click_on 'a[href="/users/sign_in"]'
click_on 'a[href="/users/password/new"]'

fill_in '#user_email', with: 'test-reset-password@putsbox.com'

click_on 'input[name="commit"]'

# Waits for the email. Email delivery services may take a few seconds
sleep 60

# Opens the email
visit 'http://preview.putsbox.com/p/test-reset-password/last'

# Clicks on the reset link (sent in the body of your email)
click_on '#reset-password'

# Resets the password
fill_in '#user_password', with: 'password'

fill_in '#user_password_confirmation', with: 'password'

click_on 'input[name="commit"]'

Cool, isn’t?

Don't disqualify yourself

2015-05-17T00:00:00+00:00

Companies are looking for good developers!

But sometimes due to the lack of experience in interviews or for never having been on the other side (as an interviewer), some good developers get disqualified.

The intent of this post is to give some tips to help developers to present themselves better.

I’m a developer, I’m not a recruiter or HR person. Therefore, the content of this post is from a perspective of a developer interviewing and filtering developer candidates to work with.

GitHub

Make a good first impression

Try to make the README of your projects as clear and objective as possible, it’s the first content that people see when they access a repository.

A well-written README can tell how good you are at sharing knowledge and explaining problems. Like a good team player should be.

Usually, good writing skills don’t happen naturally, you have to practice them. You can use READMEs, Wiki pages, and blog posts to exercise these skills.

Not so proud of some of your code?

So you have some code that you aren’t super proud of? Don’t worry, everyone has.

But if an interviewer asks you something like: “Is there something that would you like to have done differently in this code?”. Take this as an opportunity to impress him by acknowledging the code weaknesses and explaining how you could have done it differently with the knowledge you have now, it can cause a huge good impression.

As a good practice, I suggest to review your projects from time to time. Do you know that boring Sunday, in which you don’t have anything to do? Well, why not spend some time practicing code refactor in old projects?

Make a song of your profile

Does your profile play a song?

If you don’t have any public project or activity (or a GitHub profile). You may lose some points compared with candidates who have, but it’s something you can overcome while telling about your experience.

P-l-e-a-s-e, don’t say that you don’t have public projects or activity because the company that you work for doesn’t support open source. IMO open source is much more an individual initiative than a company one. If your company uses open source, it supports open source, but it doesn’t mean that your boss will tell you to spend working hours in open source, just to make you a better GitHub profile.

Engage users

It’s very positive when a candidate has projects with stars on GitHub, it shows that he’s doing projects with impact in the open source community.

People can’t use, what they don’t know. If you developed something that can be useful for other people, share it. A blog post, Reddit, Stack Overflow and Twitter can help you with that.

On a side note, remember to star (like) the projects that you use and like on GitHub, it motivates the project owners and also gives credibility to the projects.

Why so many forks?

If you aren’t contributing to a project, you don’t need to fork it. If you only want to play with it locally, you can clone it from the original repository.

A profile full of forks without contributions to them can pollute your real activity, hiding your own code. And at least for me, it commonly raises a question: “Why is this person doing so many forks? Does he know how it works?”.

Be brief

Detail your mission and achievements for each one of your experiences, as very other article will suggest. But there’s no need to write a letter for each one of them, be brief on the details. If an interviewer gets interested on a specific experience, he will ask you during the interview. And I also recommend to use something like “Main technologies”:

Full stack developer lorem ipsum dolor sit amet, consectetur adipiscing elit.

Main technologies:
Ruby, Rails, MongoDB, EC2 and SQS.

It helps for a quick matching between candidates and position requirements.

Relevant links

Add your GitHub, Blog and other relevant links in your profile, facilitate your interviewers’ life. Don’t make them to Google you to find your GitHub.

LinkedIn has a specific section in which you can add links, but as a profile viewer, you need to click on Contact Info to access them. Did you know it? Maybe some interviewers don’t. My suggestion is to besides adding those to the Websites section, there’s no harm to also add them to your Summary.

My summary lorem ipsum dolor sit amet, consectetur adipiscing elit.

* GitHub https://github.com/your-name
* LinkedIn https://linkedin.com/your-name
* Blog https://your-name

Try to get a website.com/your-name when possible, that helps when googling you and sharing your links:

Hey Pablo,

Could you have a look at these two candidates:

* https://linkedin.com/in/john-something

* https://linkedin.com/profile/view?id=123456

Which one makes a better first impression, John Something or 123456?

Don’t be a default avatar person

You need to show your face out, interviewers want to see you. It’s hard to sympathize when there’s no face.

The same applies for video interviews, remember to turn your camera on.

View profile as

After changing your profile, try to access it as a profile viewer instead of profile owner. LinkedIn has a “View profile as” button for that.

Before the interview

Compatibility matching

If the position is for a “Full stack Ruby developer”, candidates with this title, will be prioritized over “iOS and web developer” ones.

A (brief) cover letter (our a LinkedIn summary) is also a good place to expose the matches between you and the position expectations.

Be organized

Make some notes on what you would like to bring during the interview, whether telling about you or asking about the company.

You don’t need to use your notes as a teleprompter. But you can create some clues for frequently asked questions, such as:

Tell me about yourself
Why did you leave (or want to leave) your last (current) job?
What have you been doing lately?

Prepare yourself in advance to answer them well.

Research the company

Visit the company website, check the about page, mission, and values.

If they have a public list of values, try to match with yours and expose it during the interview.

Research your interviewers

Interviewers research and talk about candidates to work colleagues. They spend a reasonable amount of time preparing themselves for an interview.

I strongly recommend to all candidates to give it back by also researching on them before the interview.

Once when I was participating in an interview process as a candidate, and I found a presentation from my next interviewer, in which he was talking about why the code in Node.js often gets rejected in coding challenge submissions. How lucky was I?! I had a chance to review my code challenging, which coincidently was written in Node.js, and also bring some topics during the interview that I knew he was interested in.

It’s also nice to say something to your interviewer like: “I saw your blog and I found your post about X interesting” or a mention of a project that he’s working on GitHub. You don’t need to lie if you didn’t like what you saw, feel free to keep that yourself or to consider if he’s the type of professional you want to work with.

During the interview

Remote interviews

Close IMs and everything else not related to the interview that might distract you. Give all your attention to your interviewer. It’s terrible to interview someone and see or hear that he’s typing to someone else.

If you like to make notes during the interview, use a psychical notepad, and handwrite, otherwise he may think you are typing to someone else.

On making notes, if your interviewer likes to talk, let him talk, but make notes on the topics he’s talking about. So when it’s your time to talk, you can return to all relevant topics he mentioned during his “speech”. Showing that you are a good listener and organized.

Rejection notice

No one likes to be rejected. But I would say that in most cases being rejected, does not mean that you aren’t qualified enough. Hiring is complex, it involves people and subjective perceptions, you can get rejected for various reasons.

What can I do better?

Feel free to ask for feedback to do better next time. But don’t get disappointed if the company can’t give you one.

Although some feedback can be constructive, most of the people aren’t prepared for, and some rejections can be because of details: “He seems to be an experienced developer, but he was typing to someone else during the interview. The next candidate I interviewed is equivalent experienced and gave me his total attention”.

It’s hard to give feedback on subjective perceptions.

Final thoughts

As a friend of mine used to say: “Doing well at interviews, only proves that you do well at interviews”, you need to practice it, the more you do, the more you get good at. There are a ton of people that do much better at interviews than at work. If you are a good professional, don’t let them disqualify you.

Sidekiq (Redis) vs Shoryuken (AWS SQS)

2015-03-14T00:00:00+00:00

DISCLAIMER: This post is not intended to compare Sidekiq and Shoryuken implementations. Both are very similar, actually Shoryuken started as a shameless copy of Sidekiq <3 open source. The idea of this post is to compare Sidekiq as a Redis based queue system with Shoryuken as a SQS client.

Resque > Sidekiq > Shoryuken

Before Sidekiq, Resque was the main option to go for background jobs for many Rubyists. But Sidekiq changed that, mainly because it uses threads instead of process forking (Resque). No matter how many improvements MRI is receiving on process forking, we can’t get the same performance (usage of resources) using forks as we get with threads. You can check some Sidekiq testimonials confirming that.

But the game is changing again - it’s Shoryuken time.

With Sidekiq:

If you are not using the Pro version (which costs $750/year) and your process crashes while consuming jobs, you will lose your jobs
If your Redis master crashes before having replicated your jobs to the slaves, you will lose your jobs
If your jobs load increases, you will need a more powerful Redis. More jobs, more Redis, more Money
If you don’t have a Redis cluster, eventually you will lose everything
~~No Dead Letter Queues support~~ Dead Job Queue support
No Fanout support
You need to host its dashboard (console)
You can use sidekiq-statsd or Sidekiq pro/Metrics to send metrics to Statsd for distribution to Graphite, Librato Metrics, etc, but you will need these services running somewhere

With Shoryuken:

If your process crashes, your jobs will return to the queue after its visibility timeout expiration, nothing will be lost
If a SQS node crashes, you don’t care, nothing will be lost
If your jobs load increases from 1 to 1 million, you don’t care, SQS handles that for you
Dead Letter Queues support - move messages after a configurable number of failures to a specific queue
Fanout support via SNS - send a message once and distribute across multiple queues
Hosted console
You can monitor your queues with CloudWatch and send alarms (Email, SMS, HTTP calls etc) when a threshold is breached

Perfomance

WARNING: SUBJECTIVE PERFORMANCE TESTS!!!

Are you wondering about performance? I would be, Redis is super fast.

To test performance, I created two projects:

Test plan:

Send 1k jobs
Make a HTTP call per job to a PutsReq bucket
Compare the “From first to last” result

Result:

Sidekiq took 13 seconds to consume 1k jobs
Shoryuken took 14 seconds to consume 1k jobs

Although the jobs consumption result was pretty close, sending jobs with Sidekiq is clearly faster than with Shoryuken.

Sidekiq took 2278.37ms to send 1k jobs (2.28ms per send)
Shoryuken took 55629.93ms to send 1k jobs (55.63ms per send)

The jobs where enqueued using Heroku (Amazon EC2, us-east-1) via heroku run rake populate - this Rake task is available on the linked projects above.

Yeah, Redis write performance is amazing. But is 55.63ms much?

Every time you run these tests you will get a different result, but in most cases Sidekiq is slightly faster to consume and clearly faster to send jobs than Shoryuken.

More than once while trying bigger batches with Sidekiq, I got less requests on PutsReq than the jobs sent. Shoryuken was consistent, the number of jobs sent was the number of requests shown on PutsReq.

Pricing

SQS is a paid solution. You can run Sidekiq for free using Heroku with something like Redis To Go.

Nope! SQS can be also free or cheaper than Sidekiq:

Shoryuken

Shoryuken pricing:

SQS pricing:

First 1 million Amazon SQS Requests per month are free
$0.50 per 1 million Amazon SQS Requests per month thereafter ($0.00000050 per SQS Request)

Sidekiq

Sidekiq pricing:

Sidekiq Pro pricing:

$750/year

Redis To Go pricing:

Starts at $0 for a very limited option. But keep in mind that Redis To Go isn’t an HA solution, they don’t offer a Redis cluster, so it’s a SPOF. For an HA solution they recommend ObjectRocket, which starts at $59/month

From Sidekiq to Shoryuken

Did I convince you?

Have a look at the migration steps: From Sidekiq to Shoryuken.

Conclusion

There’s no silver bullet solution. If your workers aren’t thread safe workers, maybe you should stick with Resque. If the performance difference between Shoryuken and Sidekiq matters to you, go with Sidekiq.

The point I’m trying to make is that in general for background jobs in Ruby, IMO Shoryuken/SQS is the new main option to go. It’s fast, durable, distributed, auto scalable, cheap (or even free) and you don’t need to care about the infrastructure, AWS will handle that for you.

SQS to the rescue

2014-11-29T00:00:00+00:00

tl;dr Amazon SQS is currently one of the best options for a queue service. It’s inexpensive (first 1 million requests per month are free, thereafter $0.50 per 1 million requests), fast, reliable, scalable, fully managed message queuing service. It just works.

For the following examples I’m using the aws-sdk-ruby, which is a great SDK because it’s transparent to the official API documentation, no abstractions, no different method names etc, what you see in the documentation is what you get on the SDK.

Getting your hands dirty

Let’s begin by bootstrapping a queue using the create method:

sqs.queues.create 'myqueue', visibility_timeout: 600, message_retention_period: 345600

Then let’s send a message using the send_message method:

sqs.queues.named('myqueue').send_message 'HELLO'

Finally let’s consume a message using the receive_message method:

sqs_msg = sqs.queues.named('myqueue').receive_message
do_something(sqs_msg)
sqs_msg.delete

Catching things up - we created a queue that holds messages for 4 days message_retention_period: 345600, which means: if we don’t consume a message within 4 days the message will be lost.

The visibility_timeout is the time in seconds we have to consume a message after its reception. When we send a message to SQS send_message, the message is listed on “Messages Available”, when we receive a message receive_message the message is moved to “Messages in Flight”, if we don’t delete the message within 600 seconds (which is the visibility timeout we configured above) the message will be moved back to “Messages Available” and become ready to be consumed again. Read more about the SQS Message Lifecycle.

Be generous while configuring the default visibility_timeout for a queue. If your worker in the worst case takes 2 minutes to consume a message, set the visibility_timeout to at least 4 minutes. It doesn’t hurt and it will be better than having the same message being consumed more than the expected.

Auto retrying errors

begin
  sqs_msg = sqs.queues.named('myqueue').receive_message
  do_something(sqs_msg)
  sqs_msg.delete
rescue => e
  error e
end

In the code above if do_something raises an exception, the message will become available again as soon as its visibility_timeout expires, so other workers will be able to re-attempt the message.

This behavior will also cover in case your process or server crashes. Basically, if you don’t call sqs_msg.delete, the message will become available again no matter what :)

Dead Letter Queues

Let’s retry stuff, but not forever, right? Sometimes no matter how many times we re-attempt a message, it will continue failing. To do not discard or retry forever these messages addicted to failure, we can let them rest in peace using a Dead Letter Queue .

The code below creates myqueue_failures and associates it with myqueue as a dead letter queue:

dl_queue = sqs.queues.create('myqueue_failures')

sqs.queues.create('myqueue', redrive_policy: %Q{ {"maxReceiveCount":"3", "deadLetterTargetArn":"#{dl_queue.arn}"}" })

The redrive_policy above tells SQS to move a message from myqueue to myqueue_failures if its receive count reaches 3.

Delaying a message `perform_in`

SQS supports delaying a message up to 15 minutes, before it becomes available to be consumed using the delay_seconds option:

sqs.queues.named('myqueue').send_message 'HELLO', delay_seconds: 60

But as we are all hackerz and we know that the visibility_timeout supports up to 12 hours, we can use it to extend the delay.

Sending a message with extended delay

perform_at = Time.now + 1.hour # max: 12.hours

sqs.queues.named('myqueue').send_message 'H311O', 
  message_attributes: { 
    'perform_at' => { string_value: perform_at.to_s, 
                      data_type: 'String' }

Receiving a message with extended delay

sqs_msg = sqs.queues.named('myqueue').receive_message, message_attribute_names: ['perform_at']

delay = Time.parse(sqs_msg.message_attributes['perform_at'][:string_value]) - Time.now

if delay > 0
  sqs_msg.visibility_timeout = delay.to_i
else
  do_something(sqs_msg)
  sqs_msg.delete
end

Be careful with this workaround, because it will increase the message receive count.

1 million != 1 million

first 1 million requests per month are free, thereafter $0.50 per 1 million requests)

1 million requests don’t mean 1 million jobs consumed, as we need at least 3 requests to fully consume a message:

send_message
receive_message
sqs_msg.delete

Although these requests can be executed in batches up to 10 messages, you will need all of them to consume a message, and even if you are using the poll method with a high wait_time_seconds, you will probably make some empty requests while looking for new messages.

SNS distributes messages across multiple SQS queues and more.

Sending the same msg to my_queue1 and my_queue2 using SQS:

sqs.queues.named('my_queue1').send_message(msg)
sqs.queues.named('my_queue2').send_message(msg)

Using SNS to SQS:

topic.publish(msg)
# sends to my_queue1 and my_queue2

SNS will fanout the message to both queues, consequently, you will pay (SNS to SQS is free) and wait for only one request to SNS, instead of two to SQS.

Trouble in Paradise

SQS is really good, the Ruby SDK is great, but… how to consume messages continuously?

# myqueue_worker.rb
sqs.queues.named('myqueue').poll { | sqs_msg | do_something(sqs_msg) }

Then:

ruby myqueue_worker.rb

Doesn’t seem to be very reliable, right? No threads, consumes messages one by one, and if you need to consume from another queue you will need to start a new process ruby myotherqueue_worker.rb, which is a waste of resources when one queue is empty and others have messages available.

Introducing Shoryuken

Shoryuken is a project based on Sidekiq, that uses all the cool stuff Sidekiq did with processes, Celluloid, CLI etc, but for SQS.

No more ruby myotherqueue_worker.rb, Shoryuken will handle that for you, including signal handling.

A single Shoryuken process can consume messages from multiple queues, load balancing the consumption.

It’s transparent to SQS, it passes the ReceivedMessage to the workers, no abstractions, no Rescue compatibility, SQS as is!

It accepts multiple workers per queue.

Check more on the project’s README.

Conclusion

SQS is cheap, you don’t need to worry about managing your queue services, setup Redis etc.

Keep your focus on your workers/jobs (which should be the most important to you) and let Amazon take care of the infrastructure, it works!

Play Rock-paper-scissors with Slack and PutsReq

2014-10-12T00:00:00+00:00

Inspired by Say Hello World to Wombat using PutsReq , this post will give you a step by step tutorial to create a dead simple Slack Outgoing webhook.

Outgoing webhooks allows you to get data in and out of Slack in real time when someone sends a message to a specific channel or with a trigger word.

Fork Rock-paper-scissors webhook

First, let’s fork the Rock-paper-scissors webhook on PutsReq.

Open PutsReq Rock-paper-scissors
Click on Fork

UPDATE: The link above is no longer available, PutsReq auto expires buckets without recent activity. Note to self: Use a gist next time.

Copy your PutsReq URL, it will be used as your webhook URL in the next step

Add Rock-paper-scissors Outgoing webhook

Access your Slack Services
Click on Outgoing WebHooks

Click on Add Outgoing Webhook
Fill Channel: Any, Trigger Word(s): rock, scissors, paper and URL(s): your PutsReq URL.

Click on Save

Play it

All set, now it’s time to test it:

More?

Now that your Rock-paper-scissors is working, why not expand it to the Rock-paper-scissors-lizard-Spock version? If you do that, please share! :)

Say Hello World to Wombat using PutsReq

2014-10-05T00:00:00+00:00

When starting a new programming language, there’s nothing better than printing out a Hello World.

So, the idea of this post is to demonstrate how to integrate with Wombat as simple as a Hello World using Wombat could be.

Read the full post: Say Hello World to Wombat using PutsReq

Easy distributed locks using Redis

2014-09-08T00:00:00+00:00

Wombat is a very concurrent application. It runs on multiple hosts, processes and threads, and sometimes we need to lock an execution to be exclusively performed across all threads, no matter the host or process. As any other distributed application, we can’t use a simple Ruby Mutex, so we implemented a Mutex using Redis, which can be shared across all threads.

We decided to use Redis, because it’s fast, consistent and has two super useful commands for locking: SETNX and EXPIRE.

Read the full post: Easy distributed locks using Redis

Quick and Dirty: Simple Ruby Profiler

2014-08-17T00:00:00+00:00

You know when your code work well in test, development and staging environments, but when you roll out to production you notice it very slow? Even testing it pre-production, only production has the real data and load.

As Ruby is so awesome, there is a super easy way to find slowness in our code. I’m calling it a profiler, but it isn’t nothing fancy, just a super simple hack to measure the methods execution time, no memory, complexity etc measurements.

Let’s do it! Go to your special production host, the one you use to test in production (testing like a boss). Everyone has a production host which is used for bad things.

Paste the snippet below in something available to the class scope you want to profile.

def log_time
  beginning_time = Time.now

  result = yield

  end_time = Time.now

  info "#{caller[0]} - Completed in #{(end_time - beginning_time) * 1000} ms"

  result
end

Wrap the code you want to profile:

class UserRegistration
   def register
     log_time { do_something }

     if log_time { something? }
       # ...
     elsif some_value = log_time { do_something_else }
       # ...
     end
   end
end

Then you will get something like that in your logs output:

/data/app/releases/…/user_registration.rb:3:in register’ - Completed in 300.00 ms /data/app/releases/…/user_registration.rb:5:in register’ - Completed in 500.00 ms /data/app/releases/…/user_registration.rb:10:in register’ - Completed in 2000.00 ms

And as expected, your database will be guilty in most cases. MOAR indexes.

Why ActiveRecord callbacks suck?

2014-08-16T00:00:00+00:00

It’s a kind of cliché in the Rails community to associate ActiveRecord callbacks with something bad or wrong.

Given that every time I start typing after_ or before_, I hear a voice in my head: “Are you sure?”. This voice usually attempts me to fight the evil (poor design choices) with more evil.

Callbacks are a sugar syntax to violate the Single Responsibility Principle (SRP) and they can slow down your tests. That’s why I believe they can suck, but it doesn’t happen all the time. So before attempting an improvement to remove or avoiding to write a callback, pause and think if the responsibility you want to add belongs to the save context or not.

Violating the Single Responsibility Principle (SRP)

If you follow SRP by the book, you might end up with hundreds of single-public-method classes, and it isn’t what we want.

If you need to send a confirmation email every time you create a new user, you have two responsibilities: one to create a user and another to send an email and they need specific classes and methods. If you do it all in the same place class/method, it can result in unexpected processing depending on your context or become hard to maintain, because to update one code you need to change the other consequently.

class User < ActiveRecord::Model
  after_create :send_confirmation_email

  def send_confirmation_email
    UserMailer.registration_confirmation(self).deliver
  end
end

We have two classes: User and UserMailer and two methods: User#save and UserMailer.registration_confirmation to create a user and send an email respectively.

With this design if you want to create a new user in the console without sending the confirmation email, you can’t. The user creation is coupled with the email sending, so it isn’t the best design choice, but how frequently do you need to create a user without sending a confirmation email? Does it deserve a UserRegistration?

class UserRegistration
  def initialize(user)
    @user = user
  end

  def register
    @user.save
    UserMailer.registration_confirmation(self).deliver
  end
end

Being honest, I would go with a UserRegistration class as an improvement on demand, based on business requirements (i.e. a requirement to allow users creation without sending the confirmation email). If you do it prematurely, someone can use User#save instead of UserRegistration.new(user).register, just because it is what he does “by default” using Rails, so that innocently skipping the confirmation email. I prefer to keep the common usage simple and trivial as possible and only treat the exceptions with special code.

I believe the problem above is one of the simplest problem with callbacks, but frequently on our daily basis. So before over-engineering it, ignore the voice in your head and think about it.

Violating SRP hurts when it makes things unexpected, hard to understand (hard to debug).

Imagine every time you create an order, besides persisting it you need also to synchronise with a third party app, send an email and update inventories. And now, imagine if all this stuff (or even more) is done by an after_save, called after an unpretentious Order#save. Would you expect that?

A new developer joins the project, and starts a task to update all orders origin attribute.

Order.all.find_each do |order|
  # update `origin`
  order.save
end

Fuck this. Fuck that. Fuck those too. Fuck all these. This thing in particular.

That’s what is going to happen. That’s is one of the reasons that callbacks can suck, having more responsibilities than the expected.

What’s expected and unexpected is relative, I know. But I suggest to consider much more your context, than just framework based classes or method names.

Slow down your tests

Callbacks can slow down your tests (RSpec etc), not your production code. If you need to do more stuff after persisting an order, no matter how you do it:

class Order < ActiveRecord::Model
  protect :save

  def place
    # do something else
    save
  end
end

Creating new methods and changing others visibility, creating other classes/methods, observers, callbacks etc.

You need to do that. So when a user click on “Place Order”, he will need to wait all this processing, no matter which abstractions were used to implement it. That’s it.

Why it can slow down your tests? Imagine you create orders in many many tests, and the Order#save does something magical using an after_save then you forgot to stub it before running your tests. Your orders creation will take much longer to finish, because they are doing something you don’t need in most of your tests. If you use like a UserRegistration you will have the code and specs separately for each responsibility, win! Win? Would you change your production code just to make your tests faster?

If callbacks start to slow down your production code, I would recommend to return to the Violating the SRP topic, probably you are using them in the wrong way.

Sum up

Callbacks “can” suck, correct! But avoiding them without considering the context, just because they are “bad” can suck more.

Opening a Rails console with Capistrano 3

2014-06-16T00:00:00+00:00

Opening a Rails console

To open a Rails console with Capistrano add the snippet below in your config/deploy.rb.

namespace :rails do
  desc 'Open a rails console `cap [staging] rails:console [server_index default: 0]`'
  task :console do
    server = roles(:app)[ARGV[2].to_i]

    puts "Opening a console on: #{server.hostname}…."

    cmd = "ssh #{server.user}@#{server.hostname} -t 'cd #{fetch(:deploy_to)}/current && RAILS_ENV=#{fetch(:rails_env)} bundle exec rails console'"

    puts cmd

    exec cmd
  end
end

Usage:

# To open the first server in the servers list
cap [staging] rails:console

# To open the second server in the servers list
cap [staging] rails:console 1

BONUS 1: Opening a SSH session

desc 'Open ssh `cap [staging] ssh [server_index default: 0]`'
task :ssh do
  server = roles(:app)[ARGV[2].to_i]

  puts "Opening a console on: #{server.hostname}…."

  cmd = "ssh #{server.user}@#{server.hostname}"

  puts cmd

  exec cmd
end

Usage:

# To open the first server in the servers list
cap [staging] ssh

# To open the second server in the servers list
cap [staging] ssh 1

BONUS 2: Opening multiple SSH sessions

Make sure you have csshx installed. On OS X: brew install csshx.

desc 'Open csshx `cap [staging] csshx`'
task :csshx do
  servers = roles(:app).map do |server|
    "#{server.user}@#{server.hostname}"
  end

  cmd = "csshx #{servers.join(' ')}"

  puts cmd

  exec cmd
end

Usage:

cap [staging] csshx

I coded a Backbone App in Rails and it took much less code

2014-04-20T00:00:00+00:00

tl;dr single-page applications (SPA) are awesome and fast. But if you don’t have a strong requirement to create a single-page application, don’t do that. It will slow down your development time. You can rewrite your application to be a single-page application later as an improvement, but if you start it as a single-page application and you need to deliver fast, you can give a big headache to yourself and maybe need to rewrite it as a normal web application (in our case in Rails) to meet the deadlines.

DISCLAIMER: Although the AngularJS first commit (Jan 05, 2010) is older than the Backbone one (Sep 30, 2010), for me, Backbone became a reference for MVW before AngularJS or any other, so that’s why I will refer to Backbone as the oldest one.

Another day a friend of mine shared a post with me - “I Coded the AngularJS Tutorial App in Backbone and it Took 260% More Code”. It is an interesting post showing that newer MVW frameworks such as AngularJS require less code to do the work than the “old ones” like Backbone. This comparison reminded me of a long time ago, in the Java world, the changes from HttpServlets (spaghetti servlets), then Struts (struts-config.xml), then Spring MVC (annotations) and so on.

In my opinion it is the way to go. Backbone formalised a convention to write Rich Internet Applications by creating “classes” with specific responsibilities, it uses Routes, Models, Collections, Views and Templates instead of spaghetti JavaScript with Ajax calls. But on the other hand you have to write all callbacks, bindings etc and it isn’t magically implemented by a convention, like using data attributes (ng-*).

So, if you have a requirement to be a single-page application, I mean, if it must be a single-page application, go and check what’s the best, maybe the “standard” isn’t the best one anymore.

If you don’t have a strong requirement to create a single-page application, DON’T DO THAT!

Single-page applications can slow down your development time

Ruby vs JavaScript

No matter how much you like JavaScript, calculate how many hours you spend coding in JavaScript and how many you spend coding in Ruby.

I really like JavaScript and I think I’m good at, but I usually spend many many more hours coding in Ruby than in JavaScript. So it isn’t fair to compare my proficiency in Ruby which I’m coding all the time with JavaScript.

So, if you need to deliver fast, go with the language and tools you know more!

Write everything twice

For a normal Customer CRUD on Rails, you usually have:

Customer Model
Customer Controller
Customer views: index.html.erb, show.html.erb, new.html.erb and _form.html.erb

For a normal Customer CRUD on Rails and Backbone, you usually have:

On Rails side:

Customer Model
Customer Controller
Customer views: index.rabl, show.rabl

RABL is just an example, it could be with ActiveModel::Serializers or whatever, but don’t believe that you will be able to use only Responders and models all the time.

On Backbone side:

Customer Collection
Customer Model
Customer View
Customer templates: index.jst.eco, show.jst.eco, new.jst.eco and _form.jst.eco

You have much more code and you can’t reuse Rails helpers. You can try to use js-routes, but you will probably find yourself trying to find some JavaScript libraries analogue for Rails TextHelpers.

Kaminari for pagination, no way, find something similar or write one by yourself.

Everything will be an API

Sometimes in Rails we write some very specific actions i.e. PUT users/:id/bio, because there is a specific page, which only updates the user bio and has some specific logic. As it is something internal, we don’t mind the non-Restful like route, because it “isn’t publicly exposed”. But when we expose it as an API to access from Backbone, even though it isn’t a real API, we can start overthinking on the “best fit” URL, nouns, verbs etc.

Sometimes they can be evil, but who’s never used a helper_method? You can’t use it anymore. If you want to, you will need to expose it as an API.

Backbone works “automatically” with Rails resources URLs, but for custom URLs, we can’t easily create a form routing to the new specific URL. We need to create a specific method in the User model to make a request to the specific URL and a binding in the User view to call this specific method.

Page reload is a user feedback

It can be a poor user feedback, but page reload is a user feedback. If a user clicks on the Save button and the page is reloaded, the user knows that something happened, even without explicit feedback. But if the Save is handled by Ajax, you must do something: show an ajax loader, alert or whatever, otherwise it will be frustrating, the users will not be sure if the action was properly done and they will probably click on the button multiple times, just to make sure it was done, causing much more requests to your server.

Page reload is a garbage collector

Do you clean your Backbone objects? I mean, if the user opens a view which loads N objects (collection, models, sub-views, templates etc), paginate, load more N objects then triggers a new route which loads a new view and other objects. Do you erase the previous view and nested objects? If the user returns to the previous view, do you reuse the previous loaded view to keep the previous state? If yes, if the user opens 20 views with N objects each, do you keep all these objects in memory?

These are the questions you have to ask to yourself when developing a real single-page application. You have to take care of the memory usage by hand - it isn’t magically handled by Backbone. If you never used Chrome/Developer/Profile or similar, you should to!

You can get surprised on how a single-page application with many many views can become slow and consumes a lot of memory.

Page reload erases the page memory for almost every user action.

Test

It can be subjective, but in my opinion RSpec and Capybara are much easier and complete than any other JavaScript test framework I know.

For those who are already working on a single-page application, do you feel confidence with your JavaScript test coverage? Can you unit test a Backbone View manipulating DOM objects and feel proud on what we had to do to test it? I think many people can, but I couldn’t.

Are single-page applications good?

Yes, they are awesome. I love when I’m using Gmail and it doesn’t reload the page and also keeps the previous state. I can do things without Internet connection, because they are loaded in the browser.

My point is just this: single-page applications frameworks/ecosystem aren’t ready enough for everything; might be in the future, but for now it can be too expensive to develop and the users are more used to the UX of normal web applications than the single-page (desktop like) ones. You can’t do the same UX for both.

You can rewrite your application to be a single-page application in the future, the bad is when you need to rollback to a normal one. If you start in Rails, you can rewrite one page then another and so on, but if you start a project only with the JavaScript ecosystem outside Ruby/Rails (it was our case), it will be hard to migrate to Rails smoothly.

Something I did before, which worked great, was to develop just specific parts of the application with Backbone (can be any other MVW). For example, we developed a Store Palette Editor using Backbone Models and Views, without Routers and Templates. It worked great, we could use the Backbone convention for Models and Views, isolate the classes with specific responsibilities, the UX was great, we coded it fast and it was easy to test.

Adventures in MongoDB land

2014-02-08T00:00:00+00:00

Pablo’s adventures in MongoDB-land™.

Primary key on steroids

MongoDB’s primary key _id by default is an ObjectId, which is automatically added to your documents while inserting them into a collection.

But you can also set your own _id if you want.

db.my_collection.insert({ _id: 'user@example.com' })

Have the ability of writing your own _id can be very useful. We have an internal system which uses MongoDB as a queue database. When we move messages across the queues (collections), we preserve the original _id.

// find a message to be processed
message = db.incoming.find_one({ _id: ObjectId("52f578c1ecf69b714400004a") })

// some processing

db.accepted.insert(message)
// => ObjectId("52f578c1ecf69b714400004a")

// remove the message from the incoming queue
db.incoming.remove({ _id: message["_id"] })

The message will have the same _id no matter where it is sitting on.

MongoDB adds an index and a unique constraint on _id by default.

ObjectId

ObjectId is a 12-byte BSON type, constructed using:

a 4-byte value representing the seconds since the Unix epoch,

a 3-byte machine identifier,

a 2-byte process id, and

a 3-byte counter, starting with a random value.

a 4-byte value representing the seconds since the Unix epoch means created_at field for free! Which we can use to sort, search and retrieve the creation date.

Sort by _id

// sort by created_at in descending order
db.my_collection.find().sort({ _id: -1 })

// sort by created_at in ascending order
db.my_collection.find().sort({ _id: 1 })

_id to timestamp

ObjectId("507f191e810c19729de860ea").getTimestamp()
// => ISODate("2012-10-17T20:46:22Z")

Ruby example:

...
<thead>
  <tr>
    <th>Id</th>
    <th>Foo</th>
    <th>Created at</th>
  </tr>
</thread>
<tbody>
  <% @documents.each do |document|
    <tr>
      <td><%= document['_id'] %></td>
      <td><%= document['foo'] %></td>
      <td><%= document['_id'].generation_time %></td>
    </tr>
  <% end %>
</tbody>
...

Filter by _id

If you don’t have a created_at field by your own and someone asks you to give a list of documents created between something and something else, can you do it? Yes, you can!

time_something = Time.utc(2010, 1, 1)
time_something_else = Time.utc(2010, 1, 10)

time_something_id = ObjectId.from_time(time_something)
time_something_else_id = ObjectId.from_time(time_something_else)

collection.find('_id' => { '$gt' => time_something, '$lt' =>  time_something_else })

Unfortunately ObjectId.from_time(time) isn’t available in the MongoDB Shell. But it is available in the mongo-ruby-driver. Ruby rocks!

Expensive counts

When you have collections with million of documents, you will notice the searches aren’t that fast, even when using indexes. It also applies for counts, if you use a simple count without any criteria, it will be fine, fast, because MongoDB knows the collection size, but if you need to filter the count, it might be very expensive:

Notification.where(account_id: '5347c18a69702d1ef10c0000').count
=> # Completed in 15.354520466 seconds

It took 15 seconds to return the filtered count in a collection with 6120054 documents. To be fair with MongoDB, I have to mention that there are lot of documents (4951369) that matches the criteria above, which makes the query even more expensive, but it’s a real use case in my application.

To make it faster, we limit the count total, so instead of showing “4951369” found we show “99+”.

Notification.where(account_id: '5371ec6869702d131d010000').limit(-100).only(:_id).count(true)
=> # Completed in 0.021699112 seconds

Pretty fast, hum?

count(true) - sets the applySkipLimit = true, so the count respects the limit and skip when supplied. By default the count ignores the limit and skip.
limit(-100) - a negative limit will ask MongoDB to return that number and close the cursor.
only(:_id) - returns only the _id.

For sure the count(true) is the most responsible for the performance improvement, but you will also notice that the negative limit and specifying only the _id to return helps with the performance too. Performance improvements is usually a lot of minor milliseconds improvements.

If you are using Mongoid, you can add the capped_count to your Models.

class Notification
  def self.capped_count(limit = -100)
    self.limit(limit).only(:_id).count(true)
  end
end

# Notification.where(account_id: '5371ec6869702d131d010000').capped_count

mongorestore –drop

Use --drop for a full restore. By default the mongorestore utility only inserts documents. Any existing data in the target database will be left intact. The --drop option drops every collection from the target database before restoring the collection from the dumped backup.

WARNING: Collection names should not begin with underscores

If you are using one of the most advanced backup techniques which consists in renaming collections with a underscore prefix, you should beware of that.

db.my_collection.renameCollection('_my_collection')
show collections
// => _my_collections

db._my_collections.find()
// => Sat Feb  8 10:25:21.233 TypeError: Cannot call method 'find' of undefined

db['_my_collections'].find()
// => Sat Feb  8 10:25:21.233 TypeError: Cannot call method 'find' of undefined

MongoDB issue: Can’t reference collection names beginning with an underscore in the mongo shell

To retrieve the underscored collection you can use: db.getCollection('_my_collection').

Underscore suffixes work fine:

db.my_collection.renameCollection('my_collection_')
db.my_collections_.find()
// => success

Capped collections

Convert to capped

When you convert a collection to a capped collection, the collection loses the indexes.

db.runCommand({ "convertToCapped": "my_collection", size: sizeInBytes, max: maxNumberOfDocuments })

Remember to recreate the indexes. Even the ones with TTL:

db. my_collection.ensureIndex({ "created_at": 1 }, { expireAfterSeconds: 604800 })

MongoDB likes your storage as much as you

Log

Pay attention to the log files.

du -h /usr/local/var/log/mongodb/mongo.log
9.5G	/usr/local/var/log/mongodb/mongo.log

Short-term solution:

rm  /usr/local/var/log/mongodb/mongo.log

Long-term solution:

Edit your /usr/local/etc/mongod.conf and enable Syslog Rotation:

# Append logs to /usr/local/var/log/mongodb/mongo.log
# logpath = /usr/local/var/log/mongodb/mongo.log
# logappend = true
syslog = true

On OS X >= 10.9.1 we need to set up some extra rules to enable syslog, otherwise it will not fail, but we will not be able to get the log outputs.

Log all messages via syslog to a separate mongodb.log:

sudo vim /etc/asl/org.mongodb


? [= Sender mongod.27017] claim only
* file /var/log/mongodb.log mode=0640 compress format=bsd rotate=seq file_max=5M all_max=20M

Save all messages to system.log:

? [= Sender mongod.27017] file /var/log/system.log

Then reload the syslogd configuration:

pkill -HUP -f syslogd

Local databases

Check your local databases you might have some which you don’t use anymore.

du -h /usr/local/var/mongodb
13G    /usr/local/var/mongodb

mongo
show dbs
// => foo
use foo
db.dropDatabase()

Automate multiple servers startup

2013-10-07T00:00:00+00:00

So, do you need to startup multiple servers or services to start your development environment? I do!

We can split the Terminal in panels and start each server manually, it will work, but when we need to do it every day, it becomes boring.

There are many ways to automate this startup, but the two that I like most are with Tmuxinator or with Foreman.

I usually use more Tmuxinator than Foreman for this automation, as I use Tmux for my development environment. But both work fine and also work as a documentation. If someone wants to run an app that depends on others, you can send the Tmuxinator project file or Procfile to describe what’s required to get the app up and running.

Tmuxinator

Create a ~/.tmuxinator/development.yml.

# ~/.tmuxinator/development.yml
project_name: development
project_root: /Users/pablo/workspace/
windows:
  - servers:
      layout: even-vertical
      panes:
        - mongod
        - cd /Users/pablo/workspace/project1 && foreman start
        - cd /Users/pablo/workspace/project2 && rails s -p 4000
        - cd /Users/pablo/workspace/project3 && TOKEN=123 rackup
        - cd /Users/pablo/workspace/sandbox  && rails s

Then run:

$ mux development

Tips

Tmux Status Line

I show the tmuxinator project name/pane title:window number in my left status line. The pane title is very useful when you have multiples panes in the same window.

# tmux.conf
set -g status-utf8 on

# status line left side
set -g status-left-length 40
set -g status-left "#[bold,fg=green]#S/#T:#[fg=yellow]#I"

# set -g status-left-length 100
# set -g status-left '#[fg=green] #T#[default]'

# status line right side
# 15% | 28 Nov 08:15AM
set -g status-right "#[bg=colour251,fg=colour240]%I:%M%p #[bg=colour240,fg=colour251] %d %b"

# update the status bar every sixty seconds
set -g status-interval 30

# center the window list
set -g status-justify centre

To define the pane title I have this function in my ~/.bashrc:

# ~/.bashrc
func set_tmux_pane_title() {
  printf "\033]2;%s\033\\" "$*";
}

Then in the Tmuxinator project file I set the pane title as follows:

# ~/.tmuxinator/development.yml
project_name: development
project_root: /Users/pablo/workspace/
windows:
  - servers:
      layout: even-vertical
      panes:
        - set_tmux_pane_title mongo    && mongod
        - set_tmux_pane_title project1 && cd /Users/pablo/workspace/project1 && foreman start
        - set_tmux_pane_title project2 && cd /Users/pablo/workspace/project2 && rails s -p 4000
        - set_tmux_pane_title project3 && cd /Users/pablo/workspace/project3 && TOKEN=123 rackup
        - set_tmux_pane_title sandbox  && cd /Users/pablo/workspace/sandbox  && rails s

Switch panes

To switch panes (up/down/left/right) I use ctrl+shift+arrow keys:

# ~/.tmux.conf
bind -n S-C-Up select-pane -U
bind -n S-C-Down select-pane -D
bind -n S-C-Left select-pane -L
bind -n S-C-Right select-pane -R

Zoom in/Zoom out

Ctrl + b + z - zoom in
Ctrl + b + z - zoom out

Foreman

Create a Procfile_development.

# ~/Procfile_development
mongo: mongod
project1: sh -c 'cd /Users/pablo/workspace/project1 && foreman start'
project2: sh -c 'cd /Users/pablo/workspace/project2 && rails s -p 4000'
project3: sh -c 'cd /Users/pablo/workspace/project3 && TOKEN=123 rackup'
sandbox: sh -c 'cd /Users/pablo/workspace/sandbox && rails s'

Then run:

$ foreman start -f ~/Procfile_development

Quick and Dirty: Ruby interpolation

2013-07-26T00:00:00+00:00

Hey, it’s been a while since I last wrote something here.

I would like to share something that is trivial and everybody knows, but always when I see or code in this way, it seems cool and smart.

Let’s look at some foo code.

def generate_awesome_key(some_object)
  # [customer].[server].[source].[msg].[dest].awesome_key

  "#{some_object.customer}.#{ENV['SERVER_NAME']}.some_object.source}.#{some_object.message_name}.#{some_object.destination_name}.awesome_key"
end

(If you guessed that it is something to generate StatsD key/bucket path, you got it.)

That’s how interpolation works: some magic double quotes "" + #{} + expression.

# hello.rb
name = ARGV[0]
puts "Hello World, #{name}"

# ruby hello.rb Pablo
# => Hello World, Pablo

Even though interpolation is the first manner that comes to mind when we need to concatenate strings + variables, in the first example the code is hard to read. I’m not a big fan of code comments in general (don’t misunderstand it, please), but in this case, it makes sense due to the code readability.

There are lot of ways to write (refactor) this code - that’s how Ruby works. We can do the same thing in a variety of ways, most of them really bad, but some valuable.

One of them which I demonstrate here is with arrays.

def generate_awesome_key(some_object)
  # [customer].[server].[source].[msg].[dest].awesome_key

  [ some_object.customer,
    ENV['SERVER_NAME'],
    some_object.source,
    some_object.message_name,
    some_object.destination_name,
    'awesome_key' ].join '.'
end

Or more “generic”.

def generate_awesome_key(some_object, *keys)
  # [customer].[server].[source].[msg].[dest].[keys…]

  ([ some_object.customer,
    ENV['SERVER_NAME'],
    some_object.source,
    some_object.message_name,
    some_object.destination_name,
   ] + keys).join '.'
end

# generate_awesome_key(some_object, 'awesome1', 'awesome2')
# => customer.server.source.msg.dest.awesome1.awesome2

Auto scale Sidekiq workers on Amazon EC2

2013-05-04T00:00:00+00:00

We use Sidekiq a lot, from image conversion to shipment tracking numbers generation.

The size of our queues change drastically during the day. When it happens, we increase or decrease our workers by adding or removing EC2 instances automatically, thanks to Amazon Auto Scaling.

Amazon Auto Scaling

I will not get into the details of Amazon Auto Scaling, as it deserves an entire post about it.

Roughly you have to create an Auto Scaling Group, Launch Configuration and Scaling Up/Down policies.

Remember that Amazon Auto Scaling will not remove your instances automatically. If you create Scaling Up policies, you will need to create Scaling Down as well to remove them.

Netflix Asgard

Instead of creating your own Auto Scale scripts with AWS-SDK, I recommend Netflix Asgard. It isn’t a killer tool, but it works.

Asgard considerations

It doesn’t work well with other Tomcat apps. To work properly with Tomcat, it must be the ROOT app. Another option is to run it as a standalone app, this is how I use it.

JAVA_HOME=/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home java -Xmx1024M -XX:MaxPermSize=128m -jar asgard-standalone.jar "" localhost 8888

(it works better on Java 6)

Queue Size Metric

To trigger your Scale Up/Down policies based on the Queue Size, you have to publish a new Custom Metric on CloudWatch.

Get the Queue Size

require "sidekiq"
class SidekiqMetric
  def queue_size
    stats = Sidekiq::Stats.new
    stats.queues.values.inject 0, :+
  end
end

Publish the Queue Size

require "aws-sdk"
class QueueSizeMetric
  def initialize
    AWS.config access_key_id: "…", secret_access_key: "…"
  end

  def put
    metric = AWS::CloudWatch::Metric.new "Worker", "QueueSize"
    size   = SidekiqMetric.new.queue_size
    metric.put_data [{value: size}]
  end
end

Keep the metrics updated

We use the whenever gem to create a cron job to update the queue size every minute.

# schedule.rb
every 1.minutes do
  command "cd /home/ubuntu/queues/current && bundle exec rake update_queue_size_metric"
end

# RakeFile
task :update_queue_size_metric do
  QueueSizeMetric.new.put
end

There are many other ways to keep the metrics updated, for example using a worker to update the metrics.

# app/workers/queue_size_metric_worker.rb
class QueueSizeMetricWorker
  include Sidekiq::Worker

  def perform
    QueueSizeMetric.new.put
    QueueSizeMetricWorker.perform_in 1.minute
  end
end

The important thing is to keep them updated, no matter how. Otherwise your Auto Scaling will not behave as expected.

All Done

Now when creating your Scale Policies, set the metric namespace to Worker and name to QueueSize.

My setup

2013-04-16T00:00:00+00:00

[UPDATE] Now I’m in The Setup/Community.

Here is a post about my setup, what I use to get stuff done. It was inspired by The Setup.

Who are you, and what do you do?

Hi, my name is Pablo Cantero, I’m software developer, currently working mostly with Ruby ecosystem, from web servers provisioning to web app development, including all cool stuff from this fancy world.

Before Ruby I worked with JEE and I also worked with Classic ASP in my first job as a developer (2002-2004). Even using ASP, it was a really great experience for a first job because, the company was small, I was able to do everything from front-end to database and server.

As a fan of JavaScript, I also play around with Node.js.

My Linkedin profile.

What hardware do you use?

I’m on a 13-inch MacBook Pro, bought in 2009. Although it is an old lady, it got some fresh blood after I updated it with 256GB SSD and 8GB of RAM.

I use an iPad 2 3G 16GB for reading (Flipboard and Stanza).

I use an iPhone 4s 16GB for reading (Instapaper), games, WhatsApp, music (Amazon Cloud Player) and phone functions.

I recently bought a Kindle PaperWhite for reading in place of iPad + Stanza. The idea of the Kindle is to use it in the train going to my work. The iPad isn’t so comfortable for this purpose.

And what software?

For development I use Vim. My vimfiles has some plugins and shortcuts (maps) to make it even more productive, mostly are specific for the Ruby environment. I also use Vimium on Chrome.

For terminal I use iTerm 2 plus oh-my-zsh.

For password management I use 1Password. Before that I used LastPass. I only memorize essential passwords. Most of my passwords were generated by these managers.

For writing as my blog is in Markdown (powered by Jekyll), I use iA Writer. It keeps my focus when I’m writing and doesn’t overkill with useless options.

For productivity I use AlfredApp + Powerpack. I replaced the Spotlight shortcut (CMD + Space) to the Alfred prompt; the Powerpack is very handy, specially to fast browse directories and for clipboard management (before I used Flycut), it can be also integrated with 1Password. I use Divvy for Window Management, I configured useful shortcuts to resize windows to 100%, 50% left, 50% right, up, bottom etc. I use TotalFinder to bring tabs and cut (CMD + X) to Finder. I got a free license contributing to the project on GitHub.

For web browsing I use Chrome!

For email I use Gmail with shortcuts enabled.

What would be your dream setup?

I don’t have a big ambition for a dream setup, maybe a MacBook Air, but I’m not totally sure about it anymore after the new MacBook Pro, as it got really thin without the optical drive.

Something that I would like to have is an Apple Time Capsule. To save my backups using Time Machine, I have to attach an external drive (this external drive was the original MacBook Hard Disk that I replaced with a 256GB SSD), and with Time Capsule I can do it wirelessly. But I need more courage to buy a Time Capsule, because it is too expensive for my needs.

Monit restarts Unicorn USR2 - You are doing it wrong

2013-04-02T00:00:00+00:00

tl;dr Use Monit to start and stop Unicorn, if you want to graceful restart, do it outside Monit (sample scripts).

Monit

Monit is an awesome open source tool for managing and monitoring processes, programs, files etc.

Although Monit is awesome, unfortunately for process monitoring, it hasn’t a restart action, but only start and stop actions.

In fact, as you can see in the Monit source code, the restart explicit executes stop and start.

restart)
	$0 stop
	$0 start

Monit life cycle

Monit checks for a pid or process matching (depending on your configuration) in a specific interval defined in monitrc (set daemon n) and, if the process doesn’t exist, Monit will execute the start action.

Monit only restarts (stop and start) a process, if you manually execute monit restart all|name or if you defined a resource testing triggering a restart.

check process unicorn_master with pidfile "..."
      start = "..."
      stop = "..."
      if cpu is greater than 50% for 5 cycles then restart

Unicorn

Unicorn is a great ass Rack HTTP server.

The combination of Monit and Unicorn is the motivation for this post.

I saw several posts over the internet suggesting this configuration.

check process unicorn_master with pidfile "…"
  start program = "/bin/true"
  stop program = "set ruby;set gems path; kill -USR2 `cat pidfile`"

People use this suggested configuration above to keep Unicorn always running and restarts it gracefully.

I’m not saying that it is wrong. If it works for you, it’s ok. But even if it works, don’t use a long command in the Monit actions because it is hard to maintain so instead, create a bash script and set it in the action.

Unicorn accepts signals in kill action. The signal USR2, reexecutes the running binary. When the new process is up and running, it kills the original one, keeping the server always running. The advantage to use USR2 in place of HUP is because you are probably (should be) using preload_app true directive, specially in a Rails environment. The kill USR2 works when your code was updated and the new process needs to get the fresh code. If you use HUP instead and preload_app true the code will not be updated.

What is my point?

For me this start and stop actions mentioned in the example above are a dirty workaround. I don’t like them. Sometimes my Monit doesn’t work well and I can’t blame it because I’m using a workaround. When Monit doesn’t behave as expected, I usually do a manually combination of pgrep and pkill.

My suggestion is to use Monit as is.

check process unicorn_master with pidfile "…"
  start program = "/usr/bin/unicorn_start"
  stop program = "/usr/bin/unicorn_stop"

Ok ok… How about graceful restart?

In most scenarios you only need graceful restart when:

Your application source code was updated. In this scenario, when you make a new deploy, instead of executing monit restart name, you can run the script /usr/bin/unicorn_restart in the end of your deploy. We use a Capistrano after deploy hook to execute the restart run "pkill -USR2 -f unicorn_rails.*master".
A resource testing triggers a restart. In place of using restart action, try to execute a command if cpu is greater than 50% for 5 cycles then exec "/usr/bin/unicorn_restart"

Resource testing

Beware of using Resource Testing.

Firstly, you can hide an internal problem. You don’t need to be a hacker like the Stripe guys going too deep to discover the cause of the memory leak, but you should, at least have a look at.

Secondly, if you are using AWS AutoScaling, you probably use AutoScaling Policies (avoid Cloud Smells). In this scenario your Resource Testing can conflict with AutoScaling Policies. If you have a Scale Up if cpu > 80% and a Resource Testing for the same, one will nullify the other.

Look Who's Talking

2013-02-21T00:00:00+00:00

Once Upon a Time

Have a seat, I will tell you a story.

Before talking about Twilio, I’m going to talk about my motivation to use it. It was for a support phone app, Support Roulette. After all, we didn’t use it exactly as is, although we used part of it.

Due to the easiness to implement an app able to answer a call, record a voice message, send and receive a text message, in other words, an app which talks, I got inspired to write this post and also to present a Tech Talk (Vim talk hehe) about it.

Support Roulette

We needed a phone support 24x7 in case the website becomes unavailable and other possible urgent issues.

Our idea was to nominate a support developer weekly.

The MVP was to buy a cheap cellphone (its battery is infinite, on the other hand, it doesn’t even have the snake game) and keep it with the developer on duty. The idea was mainly to have a fixed phone number for our customer service call, in case of emergency.

Problems with the cheap cellphone

Everybody already has a cellphone. Carrying another is annoying. Easy, very easy to forget.

Solution

We decided to use a Communication as a Service (CaaS) to register a fixed phone number in Brazil, which receives a call and redirects it to the developer on duty cellphone.

Voip

The standard Voip services that we evaluated, even though they allow to register a fixed phone number in Brazil and redirect the calls, don’t allow to change the redirect target number via API. We would have to access their control panel weekly and configure the new redirect target number. As developers, we want to schedule the support agenda and have an app that will notify the new developer on duty and make the redirects.

Why Twilio?

No Contracts
No Up Front
PAY AS YOU GO
Simple and well documented API

Other options

There are other options of CaaS, however not all of them offer fixed phone number in Brazil or simple and well documented API. Based on what we evaluated, Plivio seemed to be the best competitor.

Apps which talk

Given communication (voice and text) powers to an app, we can add many interesting features, such as:

Alerts & Notifications
- Product stock updates
- Notify when a website is unavailable. It is kind of “easy” to implement a homemade Pingdom with Monit + Twilio
Promotions
- Send promotion codes
- Rewards “Send a text to … to win a …”
Reminders
Surveys
System administration
- Retrieve system diagnostics
- Execute remote commands
Sales Automation
- Order or consult products
Bike Sampa
- In São Paulo we have renting bike stations throughout the city. To release the bike we need to open the Bike Sampa app (iOS or Android), select the station and the bike then press “rent it”. It’s ok, but we need an iPhone or Android, the app and 3G. It would be much easier to send a text with the station and the bike instead of the whole app flow (iOS or Android, app and 3G).
Identity Verification
- Validate user by phone
Support Roulette ;)

Have look at Twilio Customer Success Stories for other use cases.

Homemade Pingdom with Monit + Twilio

Monit is an utility for managing and monitoring process, programs etc.

Pingdom is a service for monitoring uptime, downtime and performance of websites.

An usual usage of Pingdom is to use it only to monitor uptime, basically to notify someone if the website is down. We can achieve it in a homemade way with Monit + Twilio.

Monit script

# /etc/monitrc

check host rexnuke with address 127.0.0.1
  if failed port 8080
   with timeout 15 seconds
   then
   exec "ruby notify-site-is-down.rb"

Ruby script

# /usr/bin/notify-site-is-down.rb
require "rubygems"
require "twilio-ruby"

account_sid = "ACxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
auth_token = "yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy"

@client = Twilio::REST::Client.new account_sid, auth_token

@client.account.sms.messages.create(
  from: "+5511…",
  to: "+5511…",
  body: "Houston we have a problem, the website is down."
)

Costs

In the case of Support Roulette, there are two costs: one for voice, when Twilio receives a call and redirects it and another for text, to notify the new developer on duty (“Congratulations, you are the new developer on duty :trollface:”).

Voice

The voice cost is in two legs: to receive and redirect (make) a call.

To receive a call: 1¢/minute

To make a call: 33¢/minute

Text

SMS messaging from an American Twilio phone number to Brazil starts at 1.2¢ however this price will vary depending on the carrier you are sending SMS messages to. Elaine Tsai, Twilio Support

Brazilian fixed number phone lines don’t send text yet. To send a text to Brazil, an American number is required. The main inconvenience of doing it, is, in case it’s needed to send or reply a message, it must be to an American number.

To send a text: starts at 1.2¢/message

Fixed number

Fixed brazilian number: 3$/month

Fixed american number: 1$/month

Getting started

The initial steps are: TwiMLTM: the Twilio Markup Language and Twilio REST Web Service Interface.

Example of TwiMLTM:

<?xml version="1.0" encoding="UTF-8"?>
<Response>
    <Say voice="woman">Please leave a message after the tone.</Say>
</Response>

I also recommend you to have a look at Support Roulete source code, it is a simple Sinatra application which uses the gem twilio-ruby and builders to generate TwiMLTM. It can be free hosted on Heroku.

Twimlets

Twimlets are tiny web applications that implement basic communication functionality, such as: call forward, voicemail etc.

If you are in New York but you want a fixed number in Rio de Janeiro, you can easily create a Twilio account, configure a twimlet for a forward call and in less than 10 minutes everything will be working as expected. Awesome!

Olha quem está falando

2013-02-19T00:00:00+00:00

Senta que lá vem a história

Antes de começar a falar do Twilio, vou falar a minha motivação para usá-lo. Foi para um aplicativo de suporte por telefone, o Support Roulette. No final, acabamos não usando exatamente o Support Roulette, mas foi uma ótima base.

Devido à facilidade de implementar uma aplicação que pode responder uma chamada telefônica, gravar uma mensagem de voz, enviar e receber SMS, ou seja, uma aplicação que fala, me inspirei para escrever esse post e inclusive apresentar um Tech Talk (Vim talk rs) sobre o assunto.

Support Roulette

No trabalho, precisamos de um telefone de suporte 24x7 caso o site fique indisponível e para outras possíveis incidências urgentes.

Nossa proposta inicial foi nomear um desenvolvedor por semana como suporte.

O MVP foi comprar um celular baratinho (a bateria do danado é infinita, mas também, não tem nem o jogo da cobrinha) e deixá-lo com o suporte da vez. A ideia do celular foi principalmente para o nosso atendimento poder ligar em um número fixo “Suporte Site”, não precisando buscar quem é o desenvolvedor de plantão, pegar o número do celular e ligar.

Problemas com o celular baratinho

Todo mundo já tem um celular. Carregar um segundo é um tanto quanto incômodo. Fácil, fácil de esquecer.

Solução

Nossa solução foi usar algum serviço de “Communication as a Service” (CaaS).

Usando um serviço de CaaS, podemos registrar um número fixo no Brasil, que, ao receber uma chamada telefônica, a redireciona para o número do celular do desenvolvedor de plantão.

Voip

Os serviços convencionais de Voip que avaliamos, apesar de permitirem a criação de número fixo no Brasil e inclusive permitirem o redirecionamento de ligação, não permitem que alteremos o número de redirecionamento via API. Teríamos que acessar um painel de controle semanalmente para configurar o novo número de redirecionamento. Isso é inviável pois somos programadores, queremos agendar as escalas de suporte e ter um sistema que automaticamente avise o desenvolvedor de plantão e faça o redirecionamento.

Por que Twilio?

Não precisa de contrato
Não tem valor mínimo de serviço
Não tem taxa de adesão
É Pré pago, não tem mensalidade
Tem API simples e bem documentada

Outras opções

Existem outras opções de CaaS, porém nem todas disponibilizam número no Brasil ou possuem API simples e bem documentada. Das que eu avaliei, o Plivio pareceu o concorrente mais forte.

Apps que se comunicam

Concedendo poderes de comunicação (voz e SMS) para uma aplicação, podemos adicionar diversos recursos, como:

Alertas e notificações
- Atualização de estoque de produtos
- Notificação de site indisponível. Dá para “facilmente” implementar um Pingdom caseiro com o Monit + Twilio
Promoções
- Códigos de promoções por SMS
- Perguntas premiadas “Envie um SMS para … e concorra …”
Lembretes
- Notificações de agendas e eventos
Questionários
- Pesquisas de satisfação que podem ser respondidas tanto por SMS quanto por voz. Dá para facilmente implementar uma URA, capturando as respostas pelos números digitados
Administrações de sistemas
- Obter diagnósticos do sistema
- Executar comandos remotos
Automação de vendas
- Enviar SMS para comprar ou consultar estoque de produtos
Sistema de identificação de usuário
- Validar o usuário por telefone
Bike Sampa
- No Bike Sampa seria bem interessante se ao invés de ter que instalar um aplicativo e precisar de 3G, pudéssemos cadastrar nosso celular, enviar um SMS com número do ponto e bicicleta e liberá-la, sem tráfego 3G, sem aplicativo… até o celular baratinho sem o jogo da cobrinha poderia ser usado
Support Roulette ;)

No site do Twilio tem “Customer Success Stories”, com alguns casos de uso de empresas que utilizam o Twilio.

Pingdom caseiro com Monit + Twilio

O Monit é um sistema para gerenciamento e monitoramento de processo, programas etc.

Pingdom é um serviço para monitoramento de uptime, downtime e performance de websites.

Um caso de uso do Pingdom padrão é usá-lo somente para notificar se o site ficou indisponível. De uma forma caseira é possível fazer isso com o Monit + Twilio.

Monit script

# /etc/monitrc

check host rexnuke with address 127.0.0.1
  if failed port 8080
   with timeout 15 seconds
   then "ruby notify-site-is-down.rb"

Ruby script

# /usr/bin/notify-site-is-down.rb
require "rubygems"
require "twilio-ruby"

account_sid = "ACxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
auth_token = "yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy"

@client = Twilio::REST::Client.new account_sid, auth_token

@client.account.sms.messages.create(
  from: "+5511…",
  to: "+5511…",
  body: "Houston we have a problem, the website is down."
)

Custos

No caso do Support Roulette há dois custos: um de voz, quando o Twilio recebe uma ligação e redireciona para o desenvolvedor de plantão e outro de SMS, para notificá-lo que ele é o plantonista da vez.

Voz

O custo para redirecionamento de voz é de duas pernas, é cobrado para receber e também para fazer (redirecionar) a ligação.

Para receber uma ligação: USD 1¢/minuto

Para fazer uma ligação: USD 33¢/minuto

SMS

SMS messaging from an American Twilio phone number to Brazil starts at 1.2¢ however this price will vary depending on the carrier you are sending SMS messages to. Elaine Tsai, Twilio Support

Número fixo no Brasil ainda não envia SMS. Para enviar um SMS Tupiniquim é necessário ter um número americano. O principal inconveniente em usar um número americano para enviar SMS é no caso de resposta, ter que responder para um número americano.

Para enviar um SMS: a partir de USD 1.2¢/mensagem

Número fixo

Número fixo brasileiro: USD 3$/mês

Número fixo americano: USD 1$/mês

Começando com o Twilio

Os passos iniciais do Twilio são: TwiMLTM: the Twilio Markup Language e Twilio REST Web Service Interface.

Exemplo de TwiMLTM:

<?xml version="1.0" encoding="UTF-8"?>
<Response>
    <Say voice="woman">Please leave a message after the tone.</Say>
</Response>

Recomendo também uma olhada no Support Roulete, pois ele é uma aplicação Sinatra super simples, que usa a gem twilio-ruby e builders para gerar TwiMLTM, podendo ser hospedada gratuitamente no Heroku.

Twimlets

Twimlets são aplicações prontas que implementam funcionalidades básicas, como redirecionamento de ligação, caixa postal etc.

Se você quiser hoje mesmo ter um número fixo em São Paulo que redirecione para um celular do Acre, basta criar uma conta no Twilio, configurar um twimlet de redirecionemto e, em menos de 10 minutos, estará tudo funcionado.

Use AspirinJS to improve your JavaScript code

2012-11-16T00:00:00+00:00

Have you a JavaScript causing you a headache? Will you write a JavaScript that you don’t want to cause you a headache?

AspirinJS is a collection of refactories to convert monolithic JavaScript code into maintainable, modular and testable JavaScript without any framework.

AspirinJS isn’t a JavaScript Framework! It is only a few practices to be used as a reference to improve JavaScript code smoothly.

Why?

Jeff Atwood wrote an interesting post arguing about how difficult it is to maintain a legacy code When Understanding means Rewriting. One of the most interesting points in this post is this graphic:

We spend more time understanding and editing code than writing new code. Writing a procedural Javascript with lot of callbacks is easy and cool when it is new, but when we need to maintain that code, it becomes too hard to understand and edit even if the code was written by ourselves.

Any fool can write code that a computer can understand. Good programmers write code that humans can understand. [Martin Fowler, Refactoring: Improving the Design of Existing Code]

Motivation

I do like Backbone and encourage its use and other Javascript frameworks as well, but sometimes it is too hard to add them to legacy code, e.g. projects which the resource urls don’t follow any convention or no well defined resources etc.

JavaScript is a beautiful and sexy programming language, therefore we can write good code with pure JavaScript.

Disclaimer

I’m using a little jQuery in AspirinJS - little means $.ajax, $.extend, event handler (trigger and on) and DOM manipulation. I used jQuery only to avoid boilerplate code - it isn’t directly related to the refactory.

Let’s go, show me the code.

The full version of AspirinJS is available on GitHub github.com/phstc/aspirinjs/. Here I will show only the before and after, on GitHub you can have look in each version and its own achievement.

Before

index.html

<html>
  <head>
    <title>Twitter search</title>
    <script src="//ajax.googleapis.com/ajax/libs/jquery/1.8.2/jquery.min.js"></script>
    <script>
      $(function(){
        $("#search-query").focus();

        $("#search-form").submit(function(event){
          event.preventDefault();
          $("#search-results").html("Loading...");
          var searchQuery = $("#search-query").val();
          $.ajax({
            url: "http://search.twitter.com/search.json?q=" + searchQuery,
            dataType: "jsonp"
            }).done(function(data){
            var resultsContainer = $("<ul></ul>");
            for(var i = 0; i < data.results.length; i++){
              var result = data.results[i];
              resultsContainer.append("<li>" + result.text + "</li>");
            }
            $("#search-results").html(resultsContainer);
          });
        });
      });
    </script>
  </head>
  <body>
    <h2>Twitter search</h2>
    <form id="search-form">
      <p><input type="text" id="search-query" placeholder="Search query"/>&nbsp;<input type="submit" value="Search"/></p>
    </form>
    <h2>Search results</h2>
    <div id="search-results"></div>
  </body>
</html>

After

index.html

<html>
  <head>
    <title>Twitter search</title>
    <script src="//ajax.googleapis.com/ajax/libs/jquery/1.8.2/jquery.min.js"></script>
    <script src="assets/javascripts/app/application.js"></script>
  </head>
  <body>
    <h2>Twitter search</h2>
    <form id="search-form">
      <p><input type="text" id="search-query" placeholder="Search query"/>&nbsp;<input type="submit" value="Search"/></p>
    </form>
    <h2>Search results</h2>
    <div id="search-results"></div>
  </body>
</html>

assets/javascripts/app/models/data_model.coffee

class app.models.DataModel

  getData:  (url, data={}) ->
    $.ajax url, data

assets/javascripts/app/models/twitter_model.coffee

class app.models.TwitterModel extends app.models.DataModel

  search: (query) ->
    url = "http://search.twitter.com/search.json?q=#{query}"
    this.getData(url, dataType: "jsonp").
      success (data) ->
        $(window).trigger "TwitterModel::search", data

assets/javascripts/app/application.coffee

window.app =
  models: {}
  views: {}

$ ->
  twitterView = new app.views.TwitterView
  twitterView.render()

assets/javascripts/app/views/twitter_view.coffee

class app.views.TwitterView

  twitterModel = new app.models.TwitterModel

  render: ->
    $("#search-query").focus()
    $("#search-form").submit (event) =>
      event.preventDefault()
      @search()
    $(window).on("TwitterModel::search", @printSearchResults)

  search: ->
    $("#search-results").html "Loading..."
    searchQuery = $("#search-query").val()

    twitterModel.search searchQuery

  printSearchResults: (event, data) ->
    resultsContainer = $ "<ul></ul>"
    for result in data.results
      resultsContainer.append "<li>#{result.text}</li>"
    $("#search-results").html resultsContainer

$ ->
  twitterView = new app.views.TwitterView
  twitterView.render()

specs/javascripts/app/models/data_model_spec.coffee

require "//ajax.googleapis.com/ajax/libs/jquery/1.8.2/jquery.min.js"
require "/application.js"
require "/models/data_model.js"

describe "Data model", ->

  it "gets data from an url", ->
    data_model = new app.models.DataModel
    spyOn $, "ajax"
    data_model.getData "localhost"
    expect($.ajax).toHaveBeenCalledWith "localhost", {}

specs/javascripts/app/models/twitter_model_spec.coffee

require "//ajax.googleapis.com/ajax/libs/jquery/1.8.2/jquery.min.js"
require "/application.js"

describe "Twitter Model", ->

  it "searches tweets", ->
    twitter = new app.models.TwitterModel
    spyOn($, "ajax").andReturn success: ->
    twitter.search "vapormvc"
    expect($.ajax).toHaveBeenCalledWith "http://search.twitter.com/search.json?q=vapormvc", dataType:  "jsonp"

Too much code?

Even if it seemed to much code for a basic example of “Tweet search”, believe me, all code start simple and easy to understand, but as they are used, they grow. Modular code following Single Responsibility Principle, will avoid a huge headache in the future.

We spend more time understanding and editing code than writing new code.

When Understanding means Rewriting

Use Auto Scaling, avoid Cloud Smells

2012-09-07T00:00:00+00:00

A Cloud hosting has two main characteristics:

Pay-as-you-go
Scale Resources up or down based on demand (Elastic Architecture)

These are the features that differentiate it from a traditional hosting.

If you’re in the Cloud, you should also follow these characteristics.

To be in the Cloud:

You must pay only for the resources needed for your application without waste
Your application must be able to scale up and down on demand

You can host an application in a Cloud, but it doesn’t mean that your application is Cloud capable (Cloudable). In the same way that your Code can Smell, your Cloud can Smell too.

Pay as you go

Cloud hosting typically charges by minute, hour, storage (MB, GB etc) or bandwidth. The bandwidth is usually the villain. You might think “The instance is cheap, the storage is cheap, it is really cool. I’m totally in love with it”, but when your application starts to grow, you will probably notice that your CDN (CloudFront) is not as cheap as it was before etc.

Traditional hosting typically charges by longer periods (monthly, semiannually, annually etc).

Scale Resources up or down based on demand (Elastic Architecture)

Elastic Architecture allows you to add or remove resources on demand. If your website needs more resources during the day you can scale up, but if at night it doesn’t need these resources you can easily scale down.

Basically, if you have more than one instance, you should use Auto Scaling. Normal websites don’t have the same traffic at night as during the day. If all of your instances are running 24x7, it probably means that your Cloud Smells.

Traditional hosting is more straight. They usually require contracts to provide resources. You can’t easily add or remove them.

Auto Scaling

Amazon AWS offers Auto Scaling, which allows you to automatically scale up or down your application according your needs.

Steps to use AWS Auto Scaling:

Create a launch configuration. The launch configuration are parameters to launch instances, such as image (AMI), instance type, security group, key pair and user data.
Create an auto scaling group. The auto scaling group defines the auto scaling conditions, minimum and maximum number of instances, available zones, default cool down and load balancer (ELB).
Create a scaling policy. The scaling policy defines how the auto scaling should scale up or down, if it is by size or percent and the cool down.
Create an alarm metric. The alarm metric is the metric used to decide when to increase or decrease the instances. Usually by response time. The metrics are provided by CloudWatch.
Create an alarm request. It is the last step to setup the Auto Scaling. The alarm request defines how to measure the metrics defined by the alarm metric, for example the time and period to evaluate the metric.

You can setup Auto Scaling using Command Line Tools, Java, Ruby etc.

Auto deployable applications

If your application never changes or doesn’t change frequently, you can create an image with your application, but in general it isn’t true, applications usually change frequently.

Although it isn’t obligatory to be auto deployable, I strongly recommend to turn your application able to be deployed by scripts without manual intervention.

For auto deployable applications in the Auto Scaling launch configuration you can define an user data (it is a script) to get a fresh version of your application. If your application is easy to deploy, maybe just a git clone is enough, if your application has several steps to be deployed, you can create a bash script or download a “RPM” etc.

You can also setup your infrastructure in the user data by using Puppet, Chef or Amazon Cloud Formation.

You can also mix the infrastructure and deployment automation, but it usually takes longer to create new instances.

Some advices

Don’t name your instances

You should change your instances as you change your underwear. Lucas Teixeira

I know that is cool to name your instances with hipster names, but avoid it. It only leads you to create non-automated systems and applications. Don’t be attached to your instances, it is a Cloud Smell.

For each deploy of your application, you should create a new and fresh instance.

Logging

An important advice is to use Rsyslog or other similar tool. If you have more than one instance running, you will need a centralized logging system.

Scripting

You can write bash scripts to manage your instances, auto scaling etc using Command Line tools. They are really easy to use, but I recommend to create them with languages that you are strongly familiar with it. In the beginning bash scripts seem to be easy, but as they grow, and they will, they start to be hard to maintain.

I developed with Lucas Teixeira “scripts” in Java to create instances and auto scaling automation. They are a plain implementation, not an abstraction. I recommend them to learn “Auto Scaling guided by Code”. Why in Java? I don’t have any idea, maybe nostalgic feelings. Lucas started it in Java, then I followed him.

Website monitoring. You will become addicted

2012-08-11T00:00:00+00:00

This year (2012) I attended to a ThoughtWorks Radar presentation. The guys from TW talked about radar topics, including Health Check Pages technique, which is really interesting and motived my self to create this post.

Health Check Pages

We have found adding simple health check pages to applications is incredibly useful. This allows people to quickly understand the health of an individual node. We often extend them to add metrics like the number of orders placed, error rates, or similar information. Using simple embedded web servers, even non-web based services can easily expose internal information over HTTP. By using microformats, these web pages can easily be scraped by other monitoring tools to become part of holistic monitoring.

Since then, I started to create dashboards in my websites. They aren’t admins - I also create admins - but these dashboards can be apart of them. They are simple pages listing last orders, messages sent, counters etc.

These dashboards are addictive, I usually reload my browser many times per day to see the changes. Although the information is also available in the admin, it’s much more attractive a page only showing the most important data.

Real User Monitoring (RUM)

RUM is a technique to record user interactions, in our case, in a website.

It is similar to the concept of Health Check Pages mentioned before, maybe the same, but RUM is the buzzword. :)

Are you a hipster? You should use RUM.

I’m working for the biggest crafts marketplace in Latin America, and this means that we have high traffic. It is exciting to see graphics from our website interactions, as we have a huge number of data to feed our graphics.

We are using StatsD and Graphite to monitor our website interactions. We monitor our logins (from Facebook, direct etc), searches, products visualization, orders completion, exceptions thrown etc, we monitor everything interesting for us.

These graphics are very useful. They help us:

check if there is something broken. Once we broke our login with Facebook after a deploy, we quickly realized the ‘login with Facebook’ graphic falling and fixed it really fast. These graphics make us feel more confident to “continuous” deploy.
check the traffic curves during the day.
check if our last e-mail campaign increased the traffic.

…

I strongly recommend this article Measure Anything, Measure Everything.

Make it nicer

It is nice to have an URL where everybody can access these graphics. But…. it is nicer to have a big television showing these graphics in the middle of the office.

We did it, we have a computer, an Apple TV and a television. The computer has Chrome tabs opened for Graphite, Google Analytics Realtime and Hudson (green or red). We also use a Google Chrome extension to automatically switch the tabs in a specific interval.

The Apple TV can be expensive, but it is really useful. We can switch from the computer to an iPad streaming showing the Olympics Games or a presentation etc.

Reinventing the wheel?

Maybe you are thinking… “Why not Google Analytics (Standard and Realtime), New Relic…”, we do use them, but they achieve different purposes… we are talking about simple pages to list our specific metrics in real time.

Final thoughts

If it moves, you can track it. Be creative and you will become addicted.

Using SSH Tunneling on AWS EC2 to receive API callbacks

2012-07-27T00:00:00+00:00

Some APIs use callbacks in their communication process, e.g. payment gateways. They usually use callbacks to notify when a payment status was changed (STARTED, ANALYSING, AUTHORIZED, COMPLETED etc).

But in the development environment our application is under “localhost”, meaning the API providers couldn’t reach our application.

A good and easy way to enable external callbacks to reach our internal application is using SSH Tunneling.

Enabling SSH Tunneling

The steps bellow assume that you are familiar with AWS EC2 and have an EC2 Linux based instance running.

###Security Groups

In AWS Web Console go to Security Group and enable port 8100. This port will be used by callbacks.

In your API Provider Administration or in the API Request message (it depends on the API Provider) - configure ec2-100-10-100-10.compute-1.amazonaws.com:8100/AWESOME-CALLBACK-PATH as your callback url.

ec2-100-10-100-10.compute-1.amazonaws.com is your EC2 instance Public DNS.

###In your EC2 Instance

Open /etc/ssh/sshd_config uncomment the line GatewayPorts or create one if it doesn’t exist and set it to “yes”

# /etc/ssh/sshd_config
GatewayPorts yes

###In your machine “localhost”

Execute

$ ssh -N -R 8100:localhost:3000 -i YOUR_AWS.pem YOUR_USER@ec2-100-10-100-10.compute-1.amazonaws.com

The port 3000 is the local port of your application.

Don’t forget to change YOUR_AWS.pem and YOUR_USER to your specific parameters.

If everything worked as expected, when you open http://ec2-100-10-100-10.compute-1.amazonaws.com:8100, your local application will be invoked.

Refactoring Legacy Code - Reducing coupling

2012-07-19T00:00:00+00:00

I’m working in a Java Legacy Code and facing high coupling and low cohesion, kind of trivial problems in this scenario.

I needed to refactor the code, not only to improve the design, but in this case was firstly to make it unit testable. The design improvements started as a “side effect”.

This post concerns about the baby steps that I used to refactor the code.

Legacy code

public class OrderDAO {
	public boolean delete(int id) {
	// ...
	}
}

public class OrderService {
	public boolean delete(int id) {
		return new OrderDAO().delete(id);
	}
}

public class OrderServiceTest {
	@Test
	public void shouldDeleteAnOrder() {
		OrderService subject = new OrderService();
		assertTrue(subject.delete(1));
	}
}

OrderService is high coupled with OrderDAO
OrderDAO will be created all times that delete is called

It is impossible to unit test it. I can’t mock the OrderDAO because it is initiated within the method.

The test is an integration test, not unit test. To run it, I need to provide a datasource… and I don’t want to.

First refactory

public class OrderService {
	public boolean delete(int id) {
		return getOrderDAO().delete(id);
	}
	protected OrderDAO getOrderDAO() {
		return new OrderDAO();
	}
}

public class OrderServiceTest {
	@Test
	public void shouldDeleteAnOrder() {
		final OrderDAO orderDAO = mock(OrderDAO.class);
		doReturn(true).when(orderDAO).delete(anyInt());
		/*
		 * Anonymous class rocks
		*/
		OrderService subject = new OrderService(){
			protected OrderDAO getOrderDAO(){
				return orderDAO;
			}
		};
		assertTrue(subject.delete(1));
	}
}

Great! It isn’t the state of the art, but at least I can mock the OrderDAO and there isn’t a side effect. I don’t need to change the classes that use OrderService. Its behaviour is still the same.

Mockito has a convenient method called spy, that can be used instead of the Anonymous class, but I don’t feel confortable with the idea of using a test subject from Mockito/CGLIB.

OrderDAO orderDAO = mock(OrderDAO.class);
doReturn(true).when(orderDAO).delete(anyInt());
OrderService subject = spy(OrderService.class);
doReturn(orderDAO).when(subject).getOrderDAO();
assertTrue(subject.delete(1));

Second refactory

public class OrderService {
	private OrderDAO orderDAO;

	public OrderService() {
		orderDAO = new OrderDAO();
	}
	public OrderService(OrderDAO orderDAO) {
		this.orderDAO = orderDAO;
	}
	public boolean delete(int id) {
		return orderDAO.delete(id);
	}
}

public class OrderServiceTest {
	@Test
	public void shouldDeleteAnOrder() {
		final OrderDAO orderDAO = mock(OrderDAO.class);
		doReturn(true).when(orderDAO).delete(anyInt());
		OrderService subject = new OrderService(orderDAO);
		assertTrue(subject.delete(1));
	}
}

A little bit better, still having a strong dependency of OrderDAO, but at least it will be created once.

Third refactory

public interface Persistable {
	public boolean delete(int id);
}

public class OrderDAO implements Persistable {
	public boolean delete(int id) {
        // ...
	}
}

public class OrderService {
	private Persistable orderDAO;

	public OrderService() {
		orderDAO = new OrderDAO();
	}
	public OrderService(Persistable orderDAO) {
		this.orderDAO = orderDAO;
	}
	public boolean delete(int id) {
		return orderDAO.delete(id);
	}
}

public class OrderServiceTest {
	@Test
	public void shouldDeleteAnOrder() {
		final Persistable orderDAO = mock(Persistable.class);
		doReturn(true).when(orderDAO).delete(1);
		OrderService subject = new OrderService(orderDAO);
		assertTrue(subject.delete(1));
	}
}

The strong dependency of OrderDAO is optional. It’s just for backward compatibility.

Next refactory?

I stopped here, not because I think that it is over, but I don’t want to be too pragramatic. I improved it a little and the most important is that I mantained the backward compatibility.

My probable next step could be to add Contexts and Dependency Injection CDI. The motivation to use the Dependency Injection is to encapsulate the object creation, as a class that uses an object doesn’t need to know how to create it. Other point is that DI frameworks have contexts, such as Request, Session and Application, and it reduces unnecessary creations of objects.

I wrote a gist with these steps gist.github.com/3108659.

Mocha and subdirectories

2012-06-22T00:00:00+00:00

So, did you run mocha and your tests under subdirectories of test/ weren’t executed?

Don’t worry, you aren’t alone.

It’s an expected behaviour of mocha.

visionmedia.github.com/mocha/#best-practices

Best practices test/* By default mocha(1) will use the pattern ./test/*.js, so it’s usually a good place to put your tests.

The recommended approach is to use a Makefile (create one if you don’t have it) and add your own test task.

# Makefile
TESTS = $(shell find test -name "*test.js")

test:
  ./node_modules/.bin/mocha $(TESTS) --reporter list

.PHONY: test

Then make test.

Use .gitignore templates!

2012-05-02T00:00:00+00:00

Com o tempo acabamos criando alguns arquivos .gitignore de acordo com o environment que trabalhamos. Geralmente quando eu inicio um novo projeto eu copio o .gitignore de um projeto similar que eu já trabalhei.

$ cp ~/workspace/old_rails_project/.gitignore ~/workspace/new_rails_project

Funciona bem, mas recentemente encontrei o projeto .gitignore templates que ajuda nesse processo, podendo até evitar que arquivos indesejados passem despercebidos nos nossos arquivos .gitignore.

##.gitignore templates

O projeto contém vários templates de arquivos .gitignore por tipo de projeto/framework e globais por sistema operacional e editores.

Java.gitignore

*.class

# Package Files #
*.jar
*.war
*.ear

Os arquivos .gitignore globais ficam separados na pasta Global do projeto.

OSX.gitignore

.DS_Store

# Thumbnails
._*

# Files that might appear on external disk
.Spotlight-V100
.Trashes

###.gitignore global

Uma boa prática se você quiser ignorar arquivos do seu environment, isso quer dizer do seu sistema operacional, editor etc, que é específico para você e não para o projeto é colocá-los no .gitignore global do seu Git.

$ touch ~/.gitignore_global
Adicione suas configurações, arquivos temporários do vim, do OSX etc.
$ git config --global core.excludesfile ~/.gitignore_global

##gemignore

Para facilitar ainda mais a vida, criaram a gem gemignore, que adiciona snippets do .gitignore templates no arquivo .gitignore do diretório atual.

Instalando a gem.

$ gem install gemignore

Adicionando um template.

$ gemignore add Rails

Adicionado um template Global.

$ gemignore add Global/OSX

O comando add dá um append no arquivo .gitignore do diretório atual. Caso não exista exibirá uma mensagem informando que não encontrou o arquivo.

Use Capybara!

2012-03-14T00:00:00+00:00

Aplicações não podem falhar, um usuário não pode clicar em algo e receber um erro. Principalmente em aplicações web abertas. Imaginem uma busca no Google retornando “500 Internal Server Error”.

O Twitter para evitar possíveis erros usava “twitter is over capacity”. Não é excelente, mas é melhor do que retornar um “503 Service Unavailable”.

##Minizando erros

Uma forma para minizar esses são com Testes de aceitação, que também são conhecidos como Testes funcionais ou Testes de caixa-preta, estes testes podem ajudar muito para garantir que sua aplicação tenha o comportamento esperado.

Capybara é um framework de Testes de aceitação para aplicações web. Com ele é possível testar que dado o input A a aplicação deve retornar o output B. Mas precisamente com Capybara se submeto o form de login informando o usuário e senha válidos a aplicação deve me redirecionar para a página de usuário logado.

##Teste no Controller sem Capybara

Com Rails e RSpec é bem fácil para os controllers, porém não testa as views no máximo se elas estão renderizando corretamente se usar o render_views.

O generator padrão do Rails cria automáticamente testes para os controllers.

describe PessoasController do
  describe "GET 'index'" do
    it "returns http success" do
      get 'index'
      response.should be_success
    end
  end
end

Já ajuda bastante. Pelo menos garantirá que não tem nenhum erro no método index. Porém não testa o input e output.

Adicionando mais assertions.

describe PessoasController do
  describe "GET 'index'" do
    it "deve filtrar por nome" do
      pablo = Factory :pessoa, nome: "Pablo"
      Factory :pessoa, nome: "Megan Fox"
      get 'index', nome: "Pablo"
      assigns[:pessoas].should eq [pablo]
      response.should be_success
    end
  end
end

Já melhora um pouco, já testa se o controller adicionou o Array de pessoas no request.

Teste com Capybara

Com o Capybara além de testar o controller, testa a view, inclusive com Javascript. É um pouco diferente do teste acima, pois é um teste caixa-preta, não vai testar se existe algum atributo no request, aliás o request não está nem disponível no contexto do Capybara.

Teste de login usando Capybara.

describe "Login com sucesso", :type => :request do
  it "login com sucesso deve redirecionar para a página novas corridas" do
    password = "123123123"
    user = Factory.create :user, password: password
    visit new_user_session_path
    fill_in "user[email]",                 with: user.email
    fill_in "user[password]",              with: password
    click_button "user_submit"
    current_path.should == corridas_proximas_path
  end
end

describe "Login sem sucesso", :type => :request do
  it "login sem sucesso deve voltar para a página de login" do
    visit new_user_session_path
    fill_in "user[email]",                 with: "nonono"
    fill_in "user[password]",              with: "nonono"
    click_button "user_submit"
    current_path.should == new_user_session_path
  end
end

##Cucumber

Testes de aceitação baseados em ferramentas como o Cucumber (BDD) também são uma alternativa para testar funcionalidades.

Eu particularmente acho mais prático e rápido escrever testes com Capybara do que com o Cucumber, porém se as User Stories já fizeram parte do processo e vierem em um formato que seja fácil para copiar, colar e executar, talvez seja mais interessante usar o Cucumber.

Por que eu troquei o WordPress pelo Jekyll?

2012-03-14T00:00:00+00:00

Eu já estava utilizando o WordPress (WP) desde o meu primeiro post que foi em 22/07/2010. Não tenho muitas críticas ao WP, ele funciona bem. O principal motivo para migrar para o Jekyll foi pela simplicidade e redução custos.

Jekyll

Jekyll é um gerador de blog estático, você cria seus posts em Markdown e ele converte para HTML. É estático, portanto não usa banco de dados ou conteúdo dinâmico.

rake post title="Hello World!"
Creating new post: _posts/2012-03-14-hello-world.md

# _posts/2012-03-14-hello-world.md
---
layout: post
title: "Hello Word"
category:
tags: []
---
Post content.

Ele é muito simples, porém exige um certo conhecimento técnico. Recomendo para pessoas que saibam instalar uma Ruby gem, que conheçam Git e Markdown.

Você não precisa necessariamente conhecer Git, porém se conhecer poderá hospedar no GitHub gratuitamente.

A página jekyllbootstrap.com ensina os passos para hospedar no GitHub.

Zero to Hosted Jekyll Blog in 3 Minutes

Markdown

Usar Markdown facilita muito a vida, é muito simples e prático, dá para editar em qualquer editor de texto. Usar o WYSIWYG do WP, sempre foi muito traumático para mim. O modo preview sempre dá problema, quebra HTML e gera código horrível, ainda mais se usar algum plugin para syntax highlighting.

Com Jekyll basta eu colocar quatro espaços antes do código
que ele gerará um HTML do tipo:
	`<pre><code>...</code></pre>`
Que posso colocar o style (CSS) que eu quiser.

Mais sobre Markdown.

Versionamento

Eu uso o Jekyll com Git, portanto tenho o versionamento das minhas alterações. Se quero restaurar ou comparar as versões de um post é muito simples.

git log
commit fe6d22281b53129b554a26b4645c8bbd340df6fe
Author: Pablo Cantero <pablo@pablocantero.com>
Date:   Wed Mar 14 10:09:13 2012 -0300

   Quebra de linha por css
...

git diff fe6d22281b53129b554a26b4645c8bbd340df6fe

diff --git a/assets/themes/tom/css/screen.css b/assets/themes/tom/css/screen.css
index bc975ca..bfd514d 100644
--- a/assets/themes/tom/css/screen.css
+++ b/assets/themes/tom/css/screen.css
@@ -174,6 +174,7 @@ ul.posts {
    background-color: #eef;
    font-size: 85%;
    padding: 0 .2em;
+    word-break: break-word
  }

    #post pre code {

Migração

Eu segui os passos de migração da documentação oficial, gerei um WordPress export file e importei para o Jekyll.

$ ruby -rubygems -e 'require "jekyll/migrators/wordpressdotcom";Jekyll::WordpressDotCom.process("pablocantero.com.xml")'

Funciona, porém ele importa o conteúdo em HTML. O Jekyll também funciona com HTML, se o arquivo for .md ele interpretará como Markdown, se for .html como HTML.

Porém eu queria Markdown, portanto tive que editar manualmente todos os meus posts para convertê-los.

Redução de custos

Agora eu consigo hospedar gratuitamente no GitHub. No EC2 na região mais barata, com a instância mais barata (on demand) eu gastava aproximadamente $37 por mês.

Claro, não tem comparação uma coisa com a outra, no EC2 eu tinha um servidor, porém para o meu blog o GitHub Pages é mais do que suficiente.

Domínio próprio

Por padrão no GitHub o site/blog ficará disponível em SEU-USUÁRIO.github.com, para utilizar com domínio próprio basta seguir a documentação oficial do GitHub Pages sobre custom domains.

Configurando o Node.js no Amazon EC2

2012-01-04T00:00:00+00:00

Esse post é ~~copiado~~ baseado no post DIY node.js server on Amazon EC2, que foi a melhor referência que encontrei de como configurar um servidor node.js completo em uma instância do EC2, no caso uma instância com Ubuntu (ubuntu-maverick-10.10-i386-server).

Como eu disse estou me baseando com apenas pequenas adaptações no post DIY node.js server on Amazon EC2. Este post me motivou, pois ele funciona, é quase um script, vc pode copiar e colar os trechos de código que funciona. :)

Seleção de instância no EC2

Eu criei uma instância ubuntu-maverick-10.10-i386-server no EC2, porém deverá funcionar com outras versões do Ubuntu e até em outros Linux com pequenas adaptações.

Configuração do ambiente

$ sudo apt-get update
$ sudo apt-get -y upgrade
$ sudo apt-get install rcconf
$ sudo apt-get install build-essential
$ sudo apt-get install libssl-dev
$ sudo apt-get install git-core

Instalação do node.js

O make demora bastante. ;)

$ wget http://nodejs.org/dist/node-latest.tar.gz
$ tar xzf node-latest.tar.gz
$ cd node-v0.6.2
$ ./configure --prefix=/usr
$ make
$ sudo make install

Quando eu escrevi esse post o node-latest era o 0.6.2, talvez a última versão já seja outra, verifique na hora de executar o “cd node-v0.6.2”. Vc também pode instalar baixando pelo git, assim vc poderá escolher a versão que quer instalar.

Instalação do node.js pelo git

$ git clone git://github.com/ry/node.git
$ # git checkout origin/v0.4  #OPCIONAL
$ cd node
$ ./configure --prefix=/usr
$ make
$ sudo make install

Instalação no npm

$ cd ~
$ git clone http://github.com/isaacs/npm.git
$ cd npm
$ sudo make install

Instalação do nginx

sudo apt-get install nginx

Configuração do nginx

sudo vi /etc/nginx/sites-enabled/default
location / {
        proxy_pass      http://127.0.0.1:3000/;
}

location ^(/images|/javascripts|/press|/stylesheets|/templates)$ {
        root  /home/ubuntu/www/public;
        autoindex on;
}

Para o primeiro location verifique se a porta é mesma que você subirá o seu servidor node.js, a porta default é 3000.

O segundo location é para fazer com que o nginix responda pelo o conteúdo estático sem passar pelo servidor node.js.

Integrando com o git

Uma coisa bacana é integrar o seu servidor como o git, transformando-o em um remote do git. Fazendo como o Heroku faz, que ao receber um git push, faz o deploy da aplicação.

Para isso:

$ mkdir ~/www
$ mkdir ~/repo
$ cd ~/repo
$ git init --bare
$ cat > hooks/post-receive

#!/bin/sh
GIT_WORK_TREE=/home/ubuntu/www
export GIT_WORK_TREE
git checkout -f

$ chmod +x hooks/post-receive

Adicionando sua chave pública no servidor

No sua MAQUINA, LOCALHOST.

Troque o amazon-instance-public-dns pelo o public-dns da sua instância.

$ cat ~/.ssh/id_rsa.pub | ssh -i amazon-generated-key.pem ec2-user@amazon-instance-public-dns "cat>> ~/.ssh/authorized_keys"

$ mkdir helloworld
$ cd helloworld
$ git init
$ git remote add ec2 ssh://ubuntu@your.static.ip/home/ubuntu/repo

$ cat > server.js

var http = require('http');
http.createServer(function (req, res) {
  res.writeHead(200, {'Content-Type': 'text/plain'});
  res.end('Hello World\n');
}).listen(3000, "127.0.0.1");
console.log('Server running at http://127.0.0.1:3000/');

$ git add server.js
$ git commit -m 'first'
$ git push ec2 +master:refs/heads/master

Pronto, se tudo funcionou como deveria, você conseguirá acessar pelo navegador http://amazon-instance-public-dns.

Mantendo o seu node.js sempre de pé

Para manter o node.js sempre de pé em caso de reboot ou crashing, estou usando o supervisor, exatamente igual o post que estou ~~copiando~~ me baseando.

$ sudo apt-get install python-setuptools
$ sudo easy_install supervisor
$ curl https://raw.github.com/gist/176149/88d0d68c4af22a7474ad1d011659ea2d27e35b8d/supervisord.sh > supervisord
$ chmod +x supervisord
$ sudo mv supervisord /etc/init.d/supervisord

Marque o supervisor como serviço

sudo rcconf

Configurando o supervisor

$ sudo echo_supervisord_conf > supervisord.conf
$ sudo mv supervisord.conf /etc/supervisord.conf
$ sudo vi /etc/supervisord.conf

Ainda no arquivo supervisord.conf, na seção [supervisord] configure:

[supervisord]
;...
user=ubuntu

Logo acima da seção [program:theprogramname] adicione:

[program:node]
command=node app.js
directory=/home/ubuntu/www
environment=NODE_ENV=production

;[program:theprogramname]

Reload no supervisor.

$ /etc/init.d/supervisord restart

$ supervisorctl reload

Integrando o supervisor com o git

$ vi ~/repo/hooks/post-receive

#!/bin/sh
GIT_WORK_TREE=/home/ubuntu/www
export GIT_WORK_TREE
git checkout -f
sudo supervisorctl restart node

Seguindo os passos acima o seu servidor node.js deverá funcionar direitinho no EC2. Boa sorte!

Como trocar uma tela quebrada no iPhone 3GS

2011-12-06T00:00:00+00:00

Quebrou a tela do seu iPhone? Ihhh…, como consertar? Busquei várias assistências técnicas para o conserto, porém os orçamentos foram à partir de 400 reais para trocar o LCD e tela (digitizer/touch screen). Hein?!

Como tudo começou

Na verdade inicialmente eu não tinha quebrado a tela do meu iPhone, a minha tela tinha apenas um micro risco interno, um defeito de fabricação. Eu por algum motivo (TOC???), resolvi trocá-la. Meu amigo Glauber Rodger tinha me comentado que era bem difícil, trabalhoso etc. Porém eu que sou muito inteligente (leia-se burro), fui influenciado por vários vídeos no youtube e pensei: “Que isso Glauber, é bico”. Resumindo, comprei uma tela (digitizer/touch screen) no eBay e ao tentar tirá-la , quebrei o LCD e frame. É muito difícil, os vídeos fazem parecer muito fácil, mas não é. Não se iluda.

Como faz então?

Por sorte os chinas vendem o kit completo Tela + LCD + Frame, necessitando apenas plugar 3 conectadores.

Mesmo que vc tenha quebrado apenas a Tela ou LCD ou Frame, recomendo o kit completo. Se tentar trocar apenas uma parte você corre o risco de quebrar outras. A diferença de valor entre o kit completo e as partes separadas não justifica a possível emoção.

A maioria dos kits no eBay já acompanham as ferramentas para abrir o iPhone e trocar as partes necessárias. Preste atenção na hora da compra!

Com o kit em mãos a troca é bastante simples:

Desparafusar dois parafusos na parte inferior do iPhone (ficam entre o conector do carregador/cabo de dados)
Puxar a tela usando uma ventosa (tome cuidado com os 3 conectores da parte superior)
Desconectar os 3 conectores da parte superior
Conectar o kit novo
Fechar a tela
Parafusar a tela nova

O conector número 1 exige bastante atenção para encaixá-lo, pois não é só plugar, tem que encaixar em um “furo” bem difícil. Já os outros dois conectores basta plugá-los.

Dedique total atenção para essa troca (nada de tv ligada, celular, papagaio etc).

Assistência Técnica

Eu super recomendo assistência técnica, se você estiver disposto a pagar mais de 400 reais, não perca o seu tempo, mande para uma assistência. No meu caso eu preferi fazer, pois não achava que a relação custo x benefício no meu iPhone valeria a pena.

Qual kit?

No geral os kits são todos iguais, porém tome cuidado, pois quando eu comprei somente a tela (não o kit completo), veio uma tela bem ruim, bem diferente da original. Busque sempre pelas qualificações do item e vendedor.

Kit que eu comprei.

Boa sorte!

Habilitando SSL no BitNami Tomcat Stack

2011-07-11T00:00:00+00:00

Em continuação ao Primeiros passos no Amazon EC2, este post descreve os passos para habilitar SSL no BitNami Tomcat Stack.

##Habilitando SSL

Não vou detalhar muito os passos abaixo, pois esses detalhes podem ser encontrados facilmente na internet. Este é um guia copy&paste para criação de SSL self-signed usando o OpenSSL no BitNami Tomcat Stack. Na verdade esses passos funcionam para Ubuntu e Apache2, não necessariamente só para o Tomcat Stack.

##Criando um certificado self-signed

# Substituindo o usuário corrente (bitnami) para o root.
$ sudo su root

# Instalando o OpenSSL.
$ apt-get install openssl

# Criando o diretório para guardar os certificados.
$ cd ~
$ mkdir sslcert
$ cd sslcert

# Criação das chaves pública e privada.
$ openssl genrsa -des3 -out server.key 1024

# No "Common Name (eg, YOUR name)" preencher com o domínio ou ip que o servidor que será acessado.
$ openssl req -new -key server.key -out server.csr

# O parâmetro "-days 1825", quer dizer que a chave só expirará em 5 anos.
$ openssl x509 -req -days 1825 -in server.csr -signkey server.key -out server.crt

# Criando um chave sem senha, caso contrário o Apache sempre pedirá ao iniciar a senha definida na criação do server.key.
$ cp server.key server.key.secure
$ openssl rsa -in server.key.secure -out server.key

# Colocando permissões somente de leitura para o owner do arquivo e sem permissão para os demais.
$ chmod 400 server.csr
$ chmod 400 server.crt
$ chmod 400 server.key
$ chmod 400 server.key.secure

# Copiando arquivos necessários para o diretório do Apache.
$ mkdir /opt/bitnami/apache2/conf/sslcert
$ cp server.crt  /opt/bitnami/apache2/conf/sslcert
$ cp server.key  /opt/bitnami/apache2/conf/sslcert

##Habilitando SSL no Apache

Descomentar a linha Include conf/extra/httpd-ssl.conf no /opt/bitnami/apache2/conf/httpd.conf.

Alterar as linhas no arquivo /opt/bitnami/apache2/conf/extras/httpd-ssl.conf.

SSLCertificateFile "/opt/bitnami/apache2/conf/server.crt"

Para

SSLCertificateFile "/opt/bitnami/apache2/conf/sslcert/server.crt"

SSLCertificateKeyFile "/opt/bitnami/apache2/conf/server.key"

Para

SSLCertificateKeyFile "/opt/bitnami/apache2/conf/sslcert/server.key"

Basta reiniciar o Apache que o SSL estará pronto para o uso.

apachectl restart

TDC São Paulo 2011: Trilhas Java, TV Digital e Arduino

2011-07-08T00:00:00+00:00

Esse ano fui ao TDC São Paulo 2011, onde assisti às trilhas de Java, TV Digital e Arduino.

Nesse post relato as minhas percepções sobre as trilhas e evento.

TDC São Paulo 2011

A organização do evento foi muito boa, atendeu bem as expectativas. O modelo de trilha é bem interessante, você paga somente pelo o que quer assistir. Cada trilha custava 60 reais, porém consegui um código promocional que vi em um tweet que barateou para 49,80 reais. Além da trilha o preço inclui um kit almoço do Subway (lanche, bebida e biscoito).

Trilha Java

Na trilha Java teve o lançamento mundial do Java 7, que foi apresentado simultaneamente na Califórnia, Londres e São Paulo. Sendo principalmente apresentado na Califórnia, com chamadas para Londres e São Paulo. Incluir o Brasil no lançamento foi um reconhecimento muito importante para a comunidade Java no Brasil. Sinceramente fiquei orgulhoso. Em Londres a sala era pequena, com poucas pessoas e sem animação. No Brasil era um auditório grande, cheio de pessoas e com muita animação.

A Oracle está fortalecendo o marketing da JVM rodando outras linguagens. Um dos grandes lançamentos foi o InvokeDynamic, que beneficiará muita outras linguagens sobre a JVM, principalmente em performance e diminuição de complexidade de código. Usaram como exemplo o JRuby, dizendo que poderiam apagar cerca de 2000 classes utilizando esse novo recurso, pois atualmente eles fazem malabarismos para simular métodos dinâmicos.

Acho muito sábia essa campanha da JVM rodando outras linguagens, pois assim a Oracle poderá continuar forte no mercado, mesmo que não seja com Java.

Java também se beneficiará do InvokeDanymaic, principalmente em substituição ao Reflection. Quase todos os frameworks/projetos atuais em Java utilizam Reflection de alguma forma. O exemplo mais corriqueiro é com Inversão de Controle (IoC).

Outro acontecimento importante que acredito estar totalmente relacionado a manter-se forte no mercado, foi oficializarem o OpenJDK como Reference Implementation (RI). Com o OpenJDK sendo RI, não existirão mais desculpas do tipo “Não funcionou no OpenJDK”, como o caso clássico do programa do IRPF. Se não funcionar no OpenJDK ou programa está mal feito ou a JVM em que ele foi testado está mal feita.

Java teve algumas atualizações estéticas com o Projeto Coin. Embora outras alterações bem significativas como lambda, só virão com o Coin 2 no Java 8.

No evento também foi apresentado o NIO.2.

Fiquei contente com as atualizações na linguagem Java, porém acho que o código está ficando esteticamente um Frankenstein.

No InfoQ tem mais detalhes sobre essas atualizações.

Trilha TV Digital

Na trilha de TV Digital assisti apenas à apresentação “Interatividade na TV Digital - Ginga e Plataformas de Desenvolvimento”. Sinceramente, fiquei chateado, pois vi que ainda existe um abismo para desenvolvedores autônomos. NCL, Lua, Ginga etc, funcionam para emissoras de TV, porém para fazer um programa em casa e publicar ainda é um processo bem complicado. Acredito que a luz no fim do túnel só ocorrerá com sistemas operacionais para TV, como o Google TV, que certamente terá um Apps Marketplace.

Trilha Arduino

A trilha de Arduino foi OK, exatamente isso, OK. Não foi ruim, porém acredito que tenha faltado um caso real, “Usei para fazer tal protótipo, funcionou bem blah blah…”. Não apenas “dá para fazer isso, dá para fazer aquilo”. Comento isso, pois quiseram introduzir o Arduino como algo além de hobby, e infelizmente as palestras só demonstraram hobbies. Claro, a partir desses hobbies podem nascer muitos projetos, porém os apresentados estavam bem “verdes” ainda.

Em resumo, aprendi o que é XBee e conheci o Firmata.

Primeiros passos no Amazon EC2

2011-07-08T00:00:00+00:00

Por que estou migrando para a Amazon?

Há alguns anos utilizo uma maquina virtual (VM) com o CentOS hospedada fora do Brasil, obviamente está fora devido ao custo favorável. Nessa VM estou rodando esse blog, uma aplicação Rails, uma aplicação Java e algumas vezes utilizo para testes diversos. Apesar do ambiente misto com PHP, Ruby e Java, essas aplicações não consomem muito processamento e nem memória.

Além do preço favorável, outro fator que me motivou para iniciar essa migração para a Amazon, foi a facilidade para gerenciar as maquinas virtuais e recursos. Posso subir uma instância para o blog, outra para Rails, outra para Java, facilmente pelo Web Console da Amazon ou por linha de comando ou por API.

Se tudo estivesse bem na minha VM, eu não teria iniciado essa migração. Porém fizeram uma alteração na infraestrutura de onde hospedo minha VM, que deixou o meu Tomcat muito instável. Para resolver essa instabilidade eu teria que aumentar a memória da VM, implicando no aumento da mensalidade, para mim não faz sentido, pois antes funciona “perfeitamente”. Enfim, vamos lá… também não deixa de ser uma oportunidade para aprender um pouco sobre o Amazon EC2.

Esse post é focado no primeiros passos que utilizei no EC2 para migrar minha aplicação Java, que apesar de ser super simples, pouco mais que um Web Service, é uma aplicação bastante importante para o meu cliente. Ela foi o ponta pé inicial para essa migração, pois meu cliente estava sendo bastante afetado com a instabilidade do Tomcat.

Quanto custa?

O EC2 pode ser usado gratuitamente por durante 1 ano (AWS Free Usage Tier). A versão gratuita já é bastante interessante. O poder de processamento dessa versão supera o poder de processamento da minha VM com CentOS.

Após o período gratuito ou caso você opte por algum plano pago, os valores são bem atrativos. Com planos a partir de 0.02 dólares por hora. Com o plano mais barato, caso a instância seja utilizada 24/7, o custo máximo será por volta de 14 dólares mensais. Para maiores detalhes Amazon EC2 Pricing.

Lembrando que mesmo usando a versão gratuita, você terá que cadastrar um cartão de crédito internacional.

Criação da primeira VM

Para iniciar no cloud, você precisa criar uma nova instância de uma VM utilizando uma Amazon Machine Image (AMI). Existem várias imagens disponíveis para Linux e Windows. Imagens pré definidas pela Amazon e outras pela comunidade (Community AMIs). No meu caso escolhi a imagem comunidade bitnami-tomcatstack, AMI ID: ami-0eec1167, que vem com o Ubuntu, Tomcat 6, Java 6, Apache e MySQL. As instruções desse post serão baseadas nesse imagem.

Para criar a instância você utilizará um wizard (next, next … and next) dentro do AWS Management Console. Essa criação possui alguns detalhes que estão comentados abaixo.

Instance tags - Você pode colocar tags na sua instância, “web server”, “database”, “homologação”, “produção”, “queridinho” etc. Esses tags fazem muito sentido para quem possui muitas instâncias, sendo muito fácil para aplicar filtros.

Security Group - É o lugar onde você pode liberar as portas do seu servidor, a versão Default vem com tudo bloqueado. No meu caso criei um Security Group novo e liberei as portas de SSH (22) e HTTP (80).

Key pair name - Serve para criar uma chave pública e privada para conectar (SSH) com a sua instância. Faça o download da chave na hora da criação, pois depois não é possível baixar Key pair via o AWS Management Console.

Endereço da sua instância

O Amazon criará automaticamente um endereço Public DNS para sua instância, que será algo do tipo ec2-11-22-3-444.compute-1.amazonaws.com. Porém se você quiser adicionar um IP, basta ir em Elastic IPs no AWS Management Console, criar um IP e associá-lo a sua instância.

Acessando a sua instância usando SSH

Basta clicar na sua instância com o botão direito e ir na opção Connect. Será exibido a linha de comando para conectar via SSH. Não se esqueça de aplicar as permissões chmod 400 no arquivo .pem, sem essas permissões o SSH não funcionará. O arquivo .pem é o arquivo que foi baixado na criação do seu Key pair.

Use chmod to make sure your key file isn’t publicly viewable, ssh won’t work otherwise: chmod 400 instancia.pem

Lembrando de alterar o usuário “ubuntu” que aparece na linha de comando para se conectar via SSH, pelo usuário bitnami, que é o usuário padrão criado pela imagem que bitnami.

De ssh -i instancia .pem bitnami @ec2-50-16-0-227.compute-1.amazonaws.com Para ssh -i instancia .pem bitnami ec2-50-16-0-227.compute-1.amazonaws.com

Alterando a senha padrão do Tomcat Manager

O usuário e senha padrão para o Tomcat Manager são manager e bitnami respectivamente. Para alterá-los basta acessar o arquivo /opt/bitnami/apache-tomcat/conf/tomcat-users.xml e alterar para usuário e senha mais convenientes.

sudo vi /opt/bitnami/apache-tomcat/conf/tomcat-users.xml

Alterando a senha do root do MySQL

O usuário root do MySQL da instalação padrão do bitnami não possui senha, para defina-la basta executar o comando abaixo.

mysqladmin -u root password NEWPASSWORD

Criando um usuário e um banco de dados no MySQL

Apesar de trivial, a receita de bolo abaixo é bem útil.

mysql –user=root mysql> create database meu-banco; mysql> grant usage on . to meu-user@localhost identified by ‘minha-senha’; # Eu preciso de todos os privilégios para executar DDL e DML mysql> grant all privileges on meu-banco.* to meu-user@localhost;

Fazendo o deploy da sua aplicação

A maneira mais simples de fazer o deploy é diretamente pelo Tomcat Manager. Na minha aplicação o arquivo WAR tem por volta de 10MB. A primeira vez que tentei fazer o deploy através do Tomcat Manager não funcionou, tive que repetir o processo pelo menos duas vezes até funcionar.

Cuidado com o botão Terminate!!!

No AWS Management Console, se você clicar com o botão direito na sua instância, aparecerá a opção Terminate logo acima de Reboot, Stop e Start. Essa opção não é para fazer Stop forçado, essa opção é para apagar a sua instância, você não poderá usá-la novamente. Ela ficará na sua lista de instâncias por algum tempo (no meu caso ficou menos de uma hora), porém logo mais sumirá.

Conclusão

Com os poucos passos acima a minha aplicação Java está funcionando perfeitamente no EC2. Por enquanto essa experiência está sendo muito boa, muito menos restritiva da que foi com o GAE. Restrições que caracterizam umas das grandes diferenças entre IaaS (EC2) e PaaS (GAE).

Algo que não posso deixar de levar em consideração, é que com a hospedagem anterior eu tinha um suporte diferenciado, bastava eu abrir um Support Ticket ou Sales Ticket, que em menos de uma hora eu recebia uma resposta. Na Amazon esse tipo de atendimento só está disponível para as contas com suporte Premium através do AWS Premium Support. Por outro lado, podemos obter muita informação através de fóruns, blogs (como esse que vos fala) e obviamente na própria documentação da Amazon.

RESTful: How to use POST for Asynchronous operations

2011-07-04T00:00:00+00:00

I’m writing this post inspired by the book RESTful Web Services Cookbook. This book has many useful examples on how to use RESTful Web Services. If you are looking for a book on RESTFul I highly recommend this book.

This post is an example of an Asynchronous POST using RESTful. I chose this example, because it covers good principles of RESTful, for example the proper usage of HTTP codes.

Introduction

The Asynchronous POST will be used on this example is to create a new product in an external application “ABCSuite”. This operation needs to be async, because it can take long to complete.

Mapping resources and operations in RESTful is typically done by using nouns as resources and verbs (HTTP) as operations, similar to the technique used in OOP mapping.

Although RESTful hasn’t an official standard for HTTP verbs into operations. We will follow the convention below to operate the resources.

Create = POST
Retrieve = GET
Update = PUT
Delete = DELETE

Create a product

# REQUEST
POST /products HTTP/1.1
Host: www.abcsuite.com
Content-Type: application/json

{
  "id": "1",
  "name": "Awesome Product",
  "price": 1.00
}

# RESPONSE
HTTP/1.1 202 Accepted
Content-Type: application/json
Content-Location: http://www.abcsuite.com/products/tasks/1
Date: Mon, 4 July 2011 17:25:10 GMT

{
  "status": "pending"
  "links": [
     "rel": "self"
     "href": "http://www.abcsuite.com/products/tasks/1"
   ]
}

Content-Type: application/json

The charset wasn’t explicitly specified, because JSON uses UTF-8 by default.

HTTP/1.1 202 Accepted

The response 202 Accepted was used to represent that the operation wasn’t completed yet. The operation was only accepted - “We are working on it. Check it later”.

Checking the production creation status

By using the previous link rel received in the last response, we can check the production creation status.

# REQUEST
GET /products/tasks/1 HTTP/1.1
Host: www.abcsuite.com

# RESPONSE
HTTP/1.1 200 OK
Content-Type: application/json
Content-Location: http://ww.abcsuite.com/products/tasks/1
Date: Mon, 4 July 2011 17:25:10 GMT

{
  "status": "pending"
  "links": [
     "rel": "self"
     "href": "http://ww.abcsuite.com/products/tasks/1"
   ]
}

The response code above was 200 OK, because the operation “Checking the product creation status” was completed.

The server successfully completes the processing

# REQUEST
GET /products/tasks/1 HTTP/1.1
Host: www.abcsuite.com

# RESPONSE
HTTP/1.1 302 See Other
Content-Type: application/json
Location: http://ww.abcsuite.com/products/1
Content-Location: http://ww.abcsuite.com/products/taks/1
Date: Mon, 4 July 2011 17:25:10 GMT

{
  "status": "done"
  "links": [
     "rel": "self"
     "href": "http://ww.abcsuite.com/products/1"
   ]
}

After the server completes the processing, the response code will be 303 See Other and the Content-Location header will contain the url to access the created product.

AntiPattern: Voyeuristic Model/Solution: Follow the Law of Demeter

2011-06-20T00:00:00+00:00

Esse post é um pedacinho do capitulo 1, do livro Rails Antipatterns. Focando no uso do método delegate do Rails, referênciado no tópico Solution: Follow the Law of Demeter.

Antes de iniciar a explicação sobre o delegate, vamos a definição de Antipattern.

In software engineering, an anti-pattern (or antipattern) is a pattern that may be commonly used but is ineffective and/or counterproductive in practice. The term was coined in 1995 by Andrew Koenig, inspired by Gang of Four’s book Design Patterns, which developed the concept of design patterns in the software field. The term was widely popularized three years later by the book AntiPatterns, which extended the use of the term beyond the field of software design and into general social interaction. According to the authors of the latter, there must be at least two key elements present to formally distinguish an actual anti-pattern from a simple bad habit, bad practice, or bad idea:

Some repeated pattern of action, process or structure that initially appears to be beneficial, but ultimately produces more bad consequences than beneficial results, and

A refactored solution exists that is clearly documented, proven in actual practice and repeatable.

Definição de Law of Demeter.

The Law of Demeter (LoD) or Principle of Least Knowledge is a design guideline for developing software, particularly object-oriented programs. In its general form, the LoD is a specific case of loose coupling. The guideline was invented at Northeastern University towards the end of 1987, and can be succinctly summarized in one of the following ways: Each unit should have only limited knowledge about other units: only units “closely” related to the current unit.

Each unit should only talk to its friends; don’t talk to strangers.

Only talk to your immediate friends.

##Follow the Law of Demeter

Uma Invoice tem um Customer que tem um Address. Este é um exemplo clássico de associações em desenvolvimento de software.

##Implementação trivial em Rails

class Address < ActiveRecord::Base
  belongs_to :customer
end

class Customer < ActiveRecord::Base
  has_one :address
  has_many :invoices
end

class Invoice < ActiveRecord::Base
  belongs_to :customer
end

Exemplo de view acessando esses modelos.

<%= @invoice.customer.name %>
<%= @invoice.customer.address.street %>

Em boa parte dos sistemas, essa implementação funcionará perfeitamente. Porém com um pequeno refactoring, aumentaremos muito a capacidade de evolução desse código (extensibility e maintainability).

Se um dia o relacionamento de Invoice com Customer ou de Customer com Address for alterado, poderá implicar na alteração em todas as referências para Customer ou Address a partir de Invoice.

##Implementação trivial de encapsulamento

class Invoice < ActiveRecord::Base
  belongs_to :customer

  def customer_name
    customer.name
  end

  def customer_street
    customer.street
  end
end

class Customer < ActiveRecord::Base
  belongs_to :address

  def street
    address.street
  end
end

Exemplo de view acessando esses modelos.

<%= @invoice.customer_name %>
<%= @invoice.customer_street %>

O exemplo acima resolverá o problema encapsulando as referências de Customer e Address, porém gerará muito código, pois teremos que reescrever todos os getters e setters. Para contornar isso, podemos usar o método delegate do Rails.

##Implementação utilizado o método delegate

class Invoice < ActiveRecord::Base
  belongs_to :customer
  delegate :name,
           :street,
           :to     => :customer,
           :prefix => true
end

class Customer < ActiveRecord::Base
  belongs_to :address
  delegate :street,
           :to     => address,
           :prefix => false
end

Exemplo de view acessando esses modelos.

<%= @invoice.customer_name %>
<%= @invoice.customer_street %>

Utilizando o método delegate os modelos ficaram muito mais enxutos e com grande capacidade evolutiva.

RVM Utilizando arquivos .rvmrc por projeto

2011-06-07T00:00:00+00:00

O rvmrc por projeto é um recurso muito útil do Ruby Version Manager (RVM). Com ele você pode configurar qual rubie e qual gemset o seu projeto utilizará, evitando possíveis conflitos entre projetos.

Para utilizar o rvmrc, basta criar um arquivo .rvmrc na raiz do seu projeto definindo a rubie e gemset serão utilizados.

rvm gemset create hello_world
mkdir hello_world
cd hello_world
echo 'rvm 1.8.7@hello_world' > .rvmrc

Desta forma o RVM automaticamente utilizará o rubie e gemset definidos no arquivos .rvmc. Sensacional!

Além do rvmrc por projeto, você também pode usar um rvmrc por sistema (default) ou por usuário. Por usuário basta criar o rvmrc na raiz do “$HOME/.rvmrc”.

A ordem de precedência do rvmrc é por projeto, por usuário e por último por sistema.

O link abaixo detalha os três tipos de rvmrc.

rvm.beginrescueend.com/workflow/rvmrc/

Adding images to iPhone Simulator

2011-06-07T00:00:00+00:00

This post is based on this thread “Adding images to iPhone Simulator” on Stack Overflow.

The easiest answer which worked for me to add pictures in the Simulator Photo Gallery was:

Drag it to simulator, then Safari opens (or browse to the Image in the internet using Safari);
Click and hold on the image;
When the pop-up appears, choose Save Image and enjoy. ;)

Answer by Thanh-Cong Vo.

The answers suggesting to save the images in “~/Library/Application Support/iPhone Simulator/…”, didn’t work for me.

I created this post specially because I needed to do these steps again, but I forgot how to do it, then I needed to find it again. :(

Equal, equal ou equal, equal, equal

2011-03-11T00:00:00+00:00

É igual, mas é diferente

JavaScript permite comparar a igualdade de valores usando ==, ===, !==, !===. Esses operadores podem ter um comportamento igual em muitos casos, porém possuem uma sutil diferença que pode gerar muita dor de cabeça.

Equal, equal

Os operadores == e != fazem a comparação sem checagem de tipo.

if(1 == 1){
  // Vai passar por aqui
}
if('1' == 1){
  // Vai passar por aqui
}

Equal, equal, equal

Os operadores === e !=== fazem a comparação com a checagem de tipo.

if(1 === 1){
  // Vai passar por aqui
}
if('1' === 1){
  // Não vai passar por aqui
}

Sutil diferença

Nos exemplos acima provavelmente não teremos nenhum problema, porém temos que levar em consideração algumas peculiaridades do JavaScript.

No JavaScript uma string vazia ‘’ e o número 0 são considerados FALSE.

if(''){
  // Não vai passar por aqui
}
if(0){
  // Não vai passar por aqui
}

Portanto se fizermos as seguintes comparações.

if('' == false){
  // Vai passar por aqui
}
if('0' == false){
  // Vai vai passar por aqui
}
if(null == undefined){
  // Vai vai passar por aqui
}

Lembrando que null (sem valor) e undefined (não declarado ou não instanciado) não passam em ifs, mas não são considerados FALSE tanto usando == quanto ===.

if(null){
  // Não vai passar aqui
}
if(undefined){
  // Não vai passar aqui
}
// Mesmo assim não &quot;iguais&quot; a false
if(null == false || null === false){
  // Não vai passar aqui
}
if(undefined == false || undefined === false){
  // Não vai passar aqui
}

Para evitarmos esse tipo de comportamento podemos fazer a comparação com checagem de tipo.

if('' === false){
  // Não vai passar por aqui
}
if('0' === false){
  // Não vai vai passar por aqui
}
if(null === undefined){
  // Não vai vai passar por aqui
}

Conclusão

Segundo Douglas Crockford’s o autor do livro O melhor do JavaScript.

JavaScript has two sets of equality operators: === and !==, and their evil twins == and !=. The good ones work the way you would expect. If the two operands are of the same type and have the same value, then === produces true and !== produces false. The evil twins do the right thing when the operands are of the same type, but if they are of different types, they attempt to coerce the values. the rules by which they do that are complicated and unmemorable

Eu particularmente uso equal equal, pois tive problemas com algum navegador, acredito que alguma versão do IE não reconhece equal equal equal.

Heroku + GitHub, ativar

2011-02-11T00:00:00+00:00

Esse post descreve como utilizar o Heroku e GitHub simultaneamente Quem se lembra do Supergêmeos, ativar?

A utilização simultânea do Heroku e GitHub é dada graças ao Git, pois ele permite trabalhar com mais de um server remoto (remote) por repositório. Para isso, após criar um repositório com o Heroku, basta adicionar o GitHub como remote ou vice-versa.

Heroku + GitHub, ativar

Quando executamos o comando “heroku create”, a gem do Heroku simplesmente adiciona o Heroku como remote.

$ git remote show heroku
* remote heroku
  Fetch URL: git@heroku.com:meu-projeto.git
  Push  URL: git@heroku.com:meu-projeto.git
  HEAD branch: master
  Remote branch:
    master tracked
  Local ref configured for 'git push':
    master pushes to master (up to date)

Para adicionar o remote do GitHub, basta executar o git-remote.

# Adicionando o GitHub.
git remote add github git@github.com:phstc/meu-projeto.git

Na próxima fez que for executar o push basta informar o name do remote desejado.

# Push no Heroku.
git push heroku master
# Push no GitHub.
git push github master

Remote origin

Se você adicionar um remote com name “origin”, você indicará ao Git que ele é o remote default. Com isso podemos omitir o name quando fizermos um push, pois o Git assumirá o “origin” como default.

# Adicionando o GitHub como remote default.
git remote add origin git@github.com:phstc/meu-projeto.git
# Push no GitHub.
git push

Principais referências

Cola rápida para criar Cron Jobs

2011-01-10T00:00:00+00:00

As instruções abaixo são baseados no linux CentOS.

Motivação

A motivação para escrever esse post, foi para criar um Cron para ser executado de hora em hora no Heroku, pois o Add-on Cron do Heroku só é gratuito para uma execução por dia, eu precisava executar de hora em hora.

Para isso criei um Cron que invoca a minha url no Heroku de hora em hora.

#! /bin/sh
wget pablocantero.com/service

Como fazer de graça?

Existem serviços gratuitos na internet para isso, como o www.mywebcron.com, que podem ser uma opção interessante para invocar URLs de tempos em tempos.

Crontab

Para criar um Cron você pode utilizar o programa Crontab.

crontab usage: crontab [-u user] file
 crontab [-u user] [ -e | -l | -r ]
 (default operation is replace, per 1003.2)
 -e  (edit user's crontab)
 -l  (list user's crontab)
 -r  (delete user's crontab)
 -i  (prompt before deleting user's crontab)
 -s  (selinux context)

Editando com o Vi

No CentOS por padrão ao usar o crontab -e, abrirá o Nano, que não estou muito acostumado. Portanto prefiro editar com o Vi, para isso basta abrir diretamente o arquivo Cron do usuário.

O arquivo Cron do usuário fica no caminho /var/spool/cron/, no meu caso o root.

vi /var/spool/cron/root

**Diretórios auxiliares

Qualquer script que esteja nos diretórios abaixo será executado de hora em hora, diariamente, semanalmente ou mensalmente, de acordo com o diretório.

/etc/cron.hourly - De hora em hora
/etc/cron.daily - Diariamente
/etc/cron.weekly - Semanalmente
/etc/cron.monthly - Mensalmente

Essa configuração fica no arquivo /etc/crontab.

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/

# run-parts
21 * * * * root run-parts /etc/cron.hourly
35 1 * * * root run-parts /etc/cron.daily
58 5 * * 0 root run-parts /etc/cron.weekly
23 2 18 * * root run-parts /etc/cron.monthly

Parâmetros para criar um Cron

A configuração de um Cron é feita com o seguinte padrão:

[minutos] [horas] [dias do mês] [mês] [dias da semana] [usuário] [comando]

Sendo:

Minuto: 0-59 Hora: 0-23 Dia do mês: 1-31 Mês: 1-12 Dia da semana: 0-6, onde domingo = 0, segunda = 1 etc

Exemplo de Cron

Para executar um script que recupera o resultado da Mega Sena no site Caixa. Precisamos executar um script Web scraping, das 18h até 22h, toda quarta-feira e sábado. Que é quando ocorre os sorteios da Mega Sena.

Para isso teremos que adicionar a seguinte configuração.

vi /var/spool/cron/root
# No final do arquivo adicionar
59 17,18,19,20,21,22 * * 3,6 /meus_scripts/megasena_web_scraping.sh

O megasena_web_scraping.sh será executado 17:59, 18:59, 19:59, 20:59, 21:59 e 22:50, toda quarta-feira = 3 e sábado = 6

Seguindo o comentário do @nadilsons, também possível gerenciar os intervalos com 17-22, simplificando o Cron acima.

59 17-22 * * 3,6 /meus_scripts/megasena_web_scraping.sh

Lembre-se que é importante definir o parâmetro minuto, pois se deixar com *, o script será executado de minuto em minuto.

Executando em intervalo de minutos

Se somente o parâmetro de minuto estiver configurado, isso não fará que o script seja executado a cada minuto, na verdade ele será executado sempre no minuto configurado no intervalo de hora em hora.

1 * * * * /meus_scripts/script.sh

Portanto o script acima será executado sempre no minuto 1 de hora em hora. Para fazer com que esse script seja executado a cada um minuto, o intervalo de minutos precisa ser configurado da seguintes formas:

0-59 * * * * /meus_scripts/script.sh Ou

*/1 * * * * /meus_scripts/script.sh

Onde */1, indica o intervalo de 1 minuto.

New Gem with Bundler - Sample Rakefile

2011-01-02T00:00:00+00:00

This post is an extension of the Ryan Bates post New Gem with Bundler.

The idea of this post is only to demonstrate a very useful Rakefile to deploy and publish a gem.

If you want a step by step guide about the New Gem with Bundler, I recommend to check out the Ryan Bates Railscasts or ASCIIcasts. :)

The Rakefile demonstrated in this post is based on MongoMapper Rakefile. I used this Rakefile when I created mongomapper_id2, It’s a MongoMapper’s plugin to add an auto incremented id to your MongoMapper’s documents.

Let’s go, show me the code

Change the references of mongomapper_id2 to your gem’s name.

gist.github.com/762965

require 'rubygems'
require 'rake'
require 'rake/testtask'
require File.expand_path('../lib/mongomapper_id2/version', __FILE__)

Rake::TestTask.new(:test) do |test|
  test.libs << 'lib' << 'test'
  test.pattern = 'test/{functional,unit}/**/*_test.rb'
end

namespace :test do
  Rake::TestTask.new(:lint) do |test|
    test.libs << 'lib' << 'test'
    test.pattern = 'test/test_active_model_lint.rb'
  end

  task :all => ['test', 'test:lint']
end

task :default => 'test:all'

desc 'Builds the gem'
task :build do
  sh "gem build mongomapper_id2.gemspec"
end

desc 'Builds and installs the gem'
task :install => :build do
  sh "gem install mongomapper_id2-#{MongomapperId2::VERSION}"
end

desc 'Tags version, pushes to remote, and pushes gem'
task :release => :build do
  sh "git tag v#{MongomapperId2::VERSION}"
  sh "git push origin master"
  sh "git push origin v#{MongomapperId2::VERSION}"
  sh "gem push mongomapper_id2-#{MongomapperId2::VERSION}.gem"
end

The purpose of the available tasks in this Rakefile are quite descriptive.

rake test # to test
rake build # to build
rake install # to install the gem locally
rake release # to release. explained bellow

##rake release

For me, the most interesting task is the rake release. This task creates a tag on GitHub with the version of your gem, push the locally committed files to the master on GitHub and publishes your gem on RubyGems.org. Remember, commit your changes, before run this task.

Usage

Create your gem, run your tests.

rake test

Build and install locally your gem.

rake build
rake install

Test your gem.

# test.rb
require 'my-gem-name'
# code to execute your gem

If everything goes right… Publish your gem.

git commit -a -m 'My commit'
rake release

jQuery Twitter Search Plugin

2010-12-29T00:00:00+00:00

It’s a jQuery plugin only for tweets search. Where you need to implement the layout to display the tweets. Actually, it means that you are free to use your own layout. ;)

Check out on GitHub to see the full documentation github.com/phstc/jquery-twitter.

##Motivation

I worked in a project where I needed to display the last tweets messages containing reference to a website.

I found many jQuery Twitter Plugins, but most of them already worked with searching and displaying the tweets. In the project I mentioned the layout to display the tweets was specific. So I couldn’t use the plugins’ layout.

##What’s the difference

The available plugins on the internet use an ugly syntax to search.

$.twitter.search({
   from: 'pablocantero',
   text: 'hello+world',
   container: 'myDivId'
});

Twitter Search Plugin is DSL based.

var tweets = new Twitter.tweets();
tweets.containing('hello')
   .and('world')
   .from('pablocantero')
   .limit(4)
   .order('recent')
   .all(function(data){
      alert('It’s a customized function to display the tweets');
   });

##Download it

The jQuery Twitter Search Plugin is available on GitHub github.com/phstc/jquery-twitter.

##Example

gist.github.com/758666

##Do you want to improve this JavaScript?

The project is available on github as an open source project github.com/phstc/jquery-twitter.

You’re welcome to make your contributions and send them as a pull request.

Thanks to @rdgr.

isFollowing Bookmarklet - Who is following who?

2010-12-20T00:00:00+00:00

Have you ever wanted to check if a twitter profile is following another twitter profile, this bookmarklet can help you. isFollowing Bookmarklet – it’s a very simple JavaScript created to check if screen name (b) is following screen name (a).

##How to use it?

Click and drag isFollowing to your bookmark bar in the browser;.
Click in isFollowing in your bookmark bar;
Fill the screen name (a);
Fill the screen name (b).

##The JavaScript source code

gist.github.com/744291

##Do you want to improve this JavaScript?

The project is available on github as an open source project gist.github.com/744291.

You’re welcome to make your contributions and send them as a pull request.

Scroll it - A Javascript bookmarklet to automatically scroll the page

2010-12-09T00:00:00+00:00

Have you ever had trouble when trying to play a song in your guitar when reading the chords from a web site? Don’t you always need to stop playing to scroll the page?

Scroll It – it’s a very simple JavaScript created to solve this kind of problem! It makes automatic scrolls in the page in a very comfortable speed.

##How to use it?

Click and drag Scroll it to your bookmark bar in the browser; </del>

Unfortunately I needed to remove the Bookmarklet link. The Markdown compiler didn’t worked with it.

Go to the site that your want to use Scroll it;
Click on Scroll It in your bookmark bar. That’s all.

To stop the automatic scroll, you only need to click again on Scroll it in your bookmark bar. ;)

##The JavaScript source code

javascript:(function(){
	/* @author Pablo Cantero http://pablocantero.com */
	if(window.scrollIt === undefined){
		window.scrollIt = {
			intervalId: null
		};
	}
	function getScrollMaxSize(){
		return document.body.clientHeight;
	};
	function getScrollCurrentSize(){
		return document.documentElement.scrollTop;
	};
	window.scrollIt.initialSize = getScrollCurrentSize();
	window.scrollIt.scrolled = getScrollCurrentSize();
	var scroll = function(){
		window.scrollIt.scrolled += 10;
		window.scrollTo(0, window.scrollIt.scrolled);
		if(window.scrollIt.scrolled &amp;gt;= getScrollMaxSize()){
			window.scrollIt.scrolled = window.scrollIt.initialSize;
		}
	};
	var stop = function(){
		window.clearInterval(window.scrollIt.intervalId);
		window.scrollIt.intervalId = null;
	};
	var start = function(){
		window.scrollIt.intervalId = window.setInterval(scroll, 1000);
	};
	if(window.scrollIt.intervalId != null){
		stop();
	} else {
		start();
	};
})()

##Do you want to improve this JavaScript?

The project is available on github as an open source project.

github.com/phstc/scroll-it

You’re welcome to make your contributions and send them as a pull request.

Thanks to @rdgr.

Anotações TODO, FIXME, OPTIMIZE com Rails usando o rake:notes

2010-11-18T00:00:00+00:00

Comentários do tipo TODO são bastante úteis para deixar pontos de atenção no seu código.

# TODO Inserir validação caso o input seja nulo.
def some_method(input)
end

Algumas IDEs como Eclipse e Netbeans possuem uma view “Tasks”, que exibe estes comentários.

Com Rails a visualização dessas comentários pode ser feita por linha de comando usando rake:notes.

TODO, FIXME, OPTIMIZE

Rails além de comentário do tipo TODO, possui o FIXME e OPTIMIZE.

Para visualizar os comentários:

# Exibe listagem com todos os comentários TODO, FIXME e OPTIMIZE.
rake notes
# Filtra por comentários TODO.
rake notes:todo
# Filtra por comentários FIXME.
rake notes:fixme
# Filtra por comentários OPTIMIZE.
rake notes:optimize

Exemplo real

# app/models/article.rb
class Article < ActiveRecord::Base

 # TODO add named_scopes
 def some_method1
   # ...
 end

 # FIXME method A is broken
 def method_a
   # ...
 end

 # OPTIMIZE improve the code
 def some_method2
   # ...
 end
end

$ rake notes
app/models/article.rb:
  * [4] [TODO] add named_scopes
  * [9] [FIXME] method A is broken
  * [14] [OPTIMIZE] improve the code

Os valores 4, 9 e 14 são as linhas onde estão os respectivos comentários.

CUSTOM

Existe uma opção muito interessante que é o rake notes:custom, que permite filtrar por comentários específicos.

# Filtra por comentários COLL
rake notes:custom ANNOTATION=COOL

Qual usar?

Eu particularmente acho confuso ter várias tipos de anotações. Acho que TODO é bem genérico e atende muito bem como lembrete. Lembretes que devem ser vistos em algum momento, como nas folgas dos projetos e não serem usados apenas para aliviar a consciência.

Principais referências

Configurando o Meta description no WordPress

2010-10-23T00:00:00+00:00

Nem sei mais o quão importante são as tags de Meta description para indexação de conteúdo hoje em dia. Já vi sites bem posicionados que não usavam tags Meta description.

Porém no Webmaster Tools na seção “Google em Diagnostics -> HTML suggestions” o primeiro item e sobre Meta description.

No meu caso todas as páginas estavam com a mesma tag Meta description.

Para resolver esse problema fiz uma pequena alteração no meu template através dos seguintes passos:

Acesse “WordPress Admin -> Aparência -> Editor”.
Selecione o template desejado para fazer a alteração.
Selecione o cabeçalho (header.php) no menu da direita.

Comente o atual Meta description se existir.

<?php
/*
<Meta name="description" content="<?php bloginfo('description'); ?>" />
*/
?>

Insira o código abaixo para gerar o Meta description baseada na página (post, tag, categoria ou página).

<?php
function get_page_meta_description(){
	$custom_field_meta_description = get_post_meta(get_the_ID(), 'meta_description_field', true);
	if($custom_field_meta_description != ''){
		return $custom_field_meta_description;
	} elseif ( is_single() ) {
		return get_the_title();
	} elseif ( is_category() ) {
		return get_single_cat_title();
	/*
	} elseif ( is_tag() ) {
		return get_single_tag_title(); get single tag não está funcionando
	*/
	} elseif ( is_page() ){
		return get_the_title();
	} else {
		return get_bloginfo('description');
	}
}
?>
<meta name="description" content="<?php echo get_page_meta_description(); ?>" />

A opção “meta_description_field” serve para definir uma Meta description especifica através um campo personalizado.

LazyInitializationException? Dá-lhe OpenEntityManagerInViewFilter

2010-10-22T00:00:00+00:00

Quem nunca recebeu o “gratificante” erro LazyInitializationException?

org.hibernate.LazyInitializationException: failed to lazily initialize

Para resolvê-lo basta adicionar o filtro OpenEntityManagerInViewFilter no web.xml, que manterá o JPA EntityManager aberto por todo o request permitindo o lazy loading a partir da view.

<!-- web.xml -->
<filter>
    <filter-name>Spring OpenEntityManagerInViewFilter</filter-name>
    <filter-class>org.springframework.orm.jpa.support.OpenEntityManagerInViewFilter</filter-class>
    <init-param>
        <param-name>singleSession</param-name>
        <param-value>true</param-value>
    </init-param>
</filter>
<filter-mapping>
    <filter-name>Spring OpenEntityManagerInViewFilter</filter-name>
    <url-pattern>/*</url-pattern>
</filter-mapping>

GitHub - Múltiplos forks para o mesmo repositório

2010-10-20T00:00:00+00:00

No GitHub não é possível fazer vários forks de um mesmo projeto.

github.com/user/projetoa
github.com/user/projetoa(2)
github.com/user/projetoa(3)

Uma forma de simular isso é com branches.

##Motivação

Fiz um fork de um projeto onde fiz muitas alterações, algumas eram interessantes para um pull request e outras eram interessantes só para mim.

Pensei em fazer um segundo fork e subir as alterações para o pull request nesse novo fork. Porém isso não é possível.

##Solução

Para solucionar criei um novo branch “original-nome-do-projeto” no meu fork com HEAD do projeto original.

$ cd workspace/gesture-translate/gtranslate
$ git remote add upstream http://github.com/bpierre/gtranslate.git
$ git fetch upstream
$ git branch original-gtranslate upstream/master
$ git checkout original-gtranslate

Fiz as alterações no branch para enviar como pull request.

$ git commit -a -m 'Mudanças relevantes para o projeto original';
$ git push origin original-gtranslate

Na página do GitHub mudei do branch master para o branch original-gtranslate.

Fiz um pull request das mudanças feitas no branch original-gtranslate.

Essa solução foi baseada em um comentário do support staff do GitHub.

GAE - Primeiras impressões - Envio de e-mail

2010-10-03T00:00:00+00:00

Esse post foi baseado em um e-mail que eu enviei para uma lista de e-mail que faço parte, graças a esse e-mail que eu me motivei para criar esse blog, mas só agora depois de vários posts que resolvi publica-lo Meus primeiros instantes com o GAE foram emocionantes, eu estava ali com um PaaS na mão, com o poder de aumentar recursos da minha plataforma com apenas alguns cliques e um cartão de crédito :D Lembrando que ao adicionar recursos na plataforma do GAE, vc adiciona um pagar até... Se você adicionar 10 dólares de CPU hour, não quer dizer que vai pagar 10 dólares, e sim, que pagará até no máximo 10 dólares, somente se o recurso for consumido. Sendo que as quotas são renovadas diariamente. Fantástico, né?! Google Plugin for Eclipse Para os primeiros passos com o GAE, o Google Plugin for Eclipse é altamente recomendado, ele é uma forma rápida e fácil de criar projetos, testar localmente e fazer deploys em produção Meu primeiro projeto Depois de uma serie de projetos de brincadeirinha prova de conceito, Hello World, CRUD Básico etc. Achei um amigo que tinha uma necessidade de enviar Clipping Diário de Notícias, que consistia em um cadastro de de contatos e envio de e-mail diário com um pdf em anexo (upload via BlobStore) Péssima idéia O GAE não é recomendado para sistemas de envio de e-mail em massa devido algumas restrições da plataforma, como quantidade de e-mail por minuto, tamanho de anexo no e-mails etc. Mas só fui descobrir após experimentar Restrição do Sender O GAE tem algumas restrições para o remetente do e-mail, que precisa ser um e-mail de um dos administradores da aplicação ou o usuário corrente logado. Se você tentar enviar um e-mail pelo GAE com um remetente do tipo contato@suaempresa.com.br, noreply@suaempresa.com.br, clipping@suaempresa.com.br etc. Esses e-mails deverão ser os mesmos usados pelo usuário corrente logado ou estarem cadastrados como administradores da aplicação. Em nenhuma das situação é comum ter um contato@suaempresa.com.br, como usuário logado ou admintrador, né?! Descrição do sender na Low-level API para envio de e-mail http://code.google.com/appengine/docs/java/javadoc/com/google/appengine/api/mail/MailService.Message.html#setSender%28java.lang.String%29

Sender must correspond to the valid email address of one of the admins for this application, or to the email address of the currently logged-in user. Sender is really the From: field of the email.

Na hora que li isso, pensei: vou usar a API do Java Mail apontando para o meu servidor SMTP, assim tenho total controle sobre o envio de e-mail

http://code.google.com/appengine/docs/java/mail/usingjavamail.html

An app cannot use the JavaMail interface to connect to other mail services for sending or receiving email messages. SMTP configuration added to the Transport or Session is ignored.

Para mandar e-mail pelo GAE você só pode usar o serviço de envio de e-mail do GAE. Isso não impede de enviar e-mail usado outros serviços por outros meios Web Services, REST, requisição http etc, e esses outros meios delegarem para outros serviços de envio de e-mail Lembrando que se cadastrar contato@suaempresa.com.br como adminstrador, esse e-mail terá privilégios de acessar a administração do GAE e inclusive adicionar recursos ($$$) na plataforma Restrição de envio de e-mails por minuto Na conta free do GAE, vc tem uma restrição de 1 e-mail (leia-se um destinatário) por minuto, quando vc ativa a versão paga, muda para 5200, tudo aumenta, processamento etc, mas sem custo, o custo só acontece depois que vc excede o que ganhou a mais, só por habilitar a opção paga Acoplamento com GAE É quase inevitável não acoplar seu sistema com o GAE, devido uma serie Not supported APIs do GAE, e a facilidade para usar alguns recursos do GAE usando bibliotecas do Google. Migrar uma aplicação do GAE para outro container ou application server, muito provavelmente será uma tarefa árdua Ambiente de desenvolvimento vs Produção Talvez isso já esteja melhor, mas quando eu testei com Google Plugin for Eclipse, funcionar em desenvolvimento não garante que funcionará em produção. Mais de uma vez, testei em desenvolvimento, estava funcionando, quando eu fazia o deploy em produção não funcionava Datastore Indexes Um coisa bem legal é o Datastore Index que pode ser configurada para ser gerada automaticamente em desenvolvimento. Habilitando a opção datastore-indexes autoGenerate="true" no datastore-indexes.xml [xml] <datastore-indexes autoGenerate="true"> [/xml] Conforme vc for usando suas entidades no seu ambiente de desenvolvimento, ele vai automaticamente criando indexes para suas entidades com base na utilização. Muito bom!

O lado ruim e que as vezes o GAE fica horas para gerar os indexes em produção, e só após a geração desses indexes as entidades ficam disponíveis

BigTable Com o BigTable estou usando JDO (achei que os tutorias do GAE incentivam mais para usar JDO que JPA). Devido o modelo não relacional do BigTable, perdi um pouco das facilidades do ORM MailModel tem uma lista ContactModel Como ContactModel não é filho de MailModel (owned relationship), para fazer esse relacionamento tive que fazer [java] List<Long> contactsId; [/java]

ContactModel é uma unowned, ele tem uma PrimaryKey Long e não uma Key (com.google.appengine.api.datastore.Key). Para mais detalhes http://code.google.com/appengine/docs/java/datastore/dataclasses.html Portanto no meu Service, após fazer o load de qualquer MailModel, tenho que carregar os ContactModel manualmente com base nos contactsId (tchau lazy load, olá eager load?!) Conclusões Apesar de eu talvez ter enfatizado um lado restritivo do GAE, ainda é uma ótima plataforma, claro, com algumas restrições. Tem que levar em consideração o que você quer desenvolver, para um sistema de envio de e-mail não é bom, mas para outras coisas, pode ser No post GAE + Eclipse + Maven, demonstro como usar o GAE diretamente com Maven que pode ser mais produtivo posteriormente que com somente o Google Plugin for Eclipse Spring + GAE Para usar o Spring MVC com o GAE tem algumas restrições de bibliotecas, baixar o archetype do Spring MVC não funcionará diretamente. Criei um projeto http://github.com/phstc/spring-gae no github, com uma aplicação com Maven + Google Plugin for Eclipse + Spring MVC 3 pronta para uso! :D

Upload com Spring MVC

2010-09-29T00:00:00+00:00

Esse post é um tutorial passo a passo para fazer upload com Spring MVC.

Os passos desdes posts foram feitos com o projeto template “Spring MVC Project” do SpringSource Tool Suite, a versão do Spring MVC utilizada foi a 3.0.1.RELEASE.

Primeiro passo

Adicionar as dependências commons-fileupload e commons-io no pom.xml.

<properties>
  <commons-fileupload.version>1.2.1</commons-fileupload.version>
  <commons-io.version>1.4</commons-io.version>
</properties>
<dependency>
  <groupId>commons-fileupload</groupId>
  <artifactId>commons-fileupload</artifactId>
  <version>${commons-fileupload.version}</version>
</dependency>
<dependency>
  <groupId>commons-io</groupId>
  <artifactId>commons-io</artifactId>
  <version>${commons-io.version}</version>
</dependency>

Segundo passo

Adicionar o CommonsMultipartResolver no mvc-config.xml. Graças a ele será possível fazer o cast (MultipartHttpServletRequest) request

<bean id="multipartResolver"
  class="org.springframework.web.multipart.commons.CommonsMultipartResolver">
  <!-- one of the properties available; the maximum file size in bytes -->
  <property name="maxUploadSize" value="1000000" />
</bean>

Terceiro passo

Criar o formulário multipart/form-data para upload.

<form action="/meu-projeto/upload" method="post" enctype="multipart/form-data">
  <p>
    <label for="file">Arquivo para fazer upload</label>
    <input
    type="file" name="file" />
    <input type="submit" name="submit"
    value="Upload" />
  </p>
</form>

Quarto é último passo

Criar a action de upload.

@RequestMapping(value = "upload", method = RequestMethod.POST)
public String upload(HttpServletRequest request) {
  MultipartHttpServletRequest multipartRequest = (MultipartHttpServletRequest) request;
  MultipartFile multipartFile = multipartRequest.getFile("file");
  return "redirect:upload-success";
}

Ler excel com Java usando o JExcelApi

2010-09-29T00:00:00+00:00

Esse post é uma continuação do post Upload com Spring MVC, pois além do upload eu precisava ler o Excel e adicionar as informações no Banco de Dados.

Para ler Excel estou usando o JExcelApi. Outra opção seria o Apache POI, que é mais popular.

Primeiro passo

Adicionar a dependência JExcelApi no pom.xml.

<properties>
  <jexcelapi.version>2.6</jexcelapi.version>
</properties>
<dependency>
  <groupId>net.sourceforge.jexcelapi</groupId>
  <artifactId>jxl</artifactId>
  <version>${jexcelapi.version}</version>
</dependency>

Segundo passo

Escrever o código para ler o Excel. Estou usando a action de upload do artigo Upload com Spring MVC.

@RequestMapping(value = "upload", method = RequestMethod.POST)
public String upload(HttpServletRequest request) throws BiffException, IOException {
  MultipartHttpServletRequest multipartRequest = (MultipartHttpServletRequest) request;
  MultipartFile multipartFile = multipartRequest.getFile("file");
  Workbook workbook = Workbook
  	.getWorkbook(multipartFile.getInputStream());

  Sheet sheet = workbook.getSheet("Nome da planilha");

  for (int i = 0; i < sheet.getRows(); i++) {
  	for(int j = 0; j < sheet.getColumns(); j++){
  		Cell celulaJ = sheet.getCell(j, i);
  		System.out
  			.println("Conteúdo da célula " + j + ": " + celularJ.getContents());
  	}
  }

  return "redirect:upload-success";
}

Principais referências

oficinadanet.com.br/artigo/java/lendo_planilhas_excel_com_java

Programando na Espanha

2010-09-15T00:00:00+00:00

Pensando em ir para trabalhar na Espanha como programador? Nesse post conto um pouco da minha experiência trabalhando por um ano como programador Java na Espanha.

Onde procurar emprego

Em comparação com o Brasil, eu diria que Madrid está para São Paulo e Barcelona para o Rio de Janeiro, em quantidade de ofertas x salário. Claro, há vagas em outras cidades, como Valência, Bilbau etc, porém geralmente a relação ofertas x salário é inferior.

Para buscar vagas, usei principalmente dois sites: Tecnoemploe e InfoJobs, que são parecidos com o APinfo.

O Tecnoempleo foi o site que eu mais gostei e onde encontrei meu primeiro emprego.

Crise?

Por mais que a crise tenha sido muito divulgada pela mídia, o mercado está aquecido, principalmente nas grandes capitais. Eu consegui meu primeiro emprego duas semanas após a minha chegada na Espanha.

Idioma

Em tecnologia geralmente usamos muitos termos em inglês. No Brasil, tentamos falar em inglês, pelo menos os que são fáceis para falarmos. Já na Espanha é muito comum falar da forma que se lê, portanto Oracle eles vão falar O-r-a-c-l-e e não ˈorəkl.

Na minha primeira entrevista na Espanha, meu Espanhol não era dos melhores, a entrevista pareceu uma nuvem de tags: JEE, TDD, Hudson, CI, Spring, jQuery etc, mas deu certo, consegui meu primeiro emprego.

Escrevi esse post com algumas dicas para se preparar para entrevistas, recomendo a leitura.

Vantagem competitiva?

Acredito que no geral brasileiros tenham alguma vantagem na relação idade vs experiência. Geralmente no Brasil temos que trabalhar para pagar a faculdade, e em tecnologia, é muito comum já iniciar com um trabalho na área, que soma na experiência.

Na Espanha, assim com em muitos outros países na Europa, é comum fazer faculdade, e só depois buscar trabalho. Eu cheguei na Espanha com 27 anos, com 8 anos de experiência como programador, lá é comum pessoas com a mesma idade iniciando a carreira.

Qualidade vida

Eu achei a qualidade vida muito boa. Eu ficava muito contente em poder voltar para casa de madrugada me guiando pelo GPS do celular, sem medo de ser abordado por um assaltante.

Viajar na Europa é muito fácil, dá para encontrar passagens bem baratas, fazer um bate-volta para outro país é viável.

Serviços que demandam mão de obra, geralmente são mais caros. Tínhamos uma pessoa para limpar o apartamento (dividido com dois Espanhóis), pagávamos por hora, 2 horas por semana, a horista na Espanha, seria a diarista no Brasil.

Visto

Eu tenho dupla cidadania, meu pai é Espanhol. Portanto não tive barreiras legais para trabalhar. Estar legal no país é muito importante, pois não contratam mão de obra qualificada sem visto.

Formas de contratação

Na Espanha quase 100% das ofertas de trabalho são “CLT”, ou seja, registrado. Poucas pessoas trabalham como “Pessoa Jurídica”.

Salário

Nos sites de vagas, alguns anunciantes colocam a faixa salarial, com alguma busca básica dá para ter uma noção dos salários atualizados. O valor informado geralmente é o total anual bruto, sendo que esse valor pode ser dividido em 12, 13 e até 14 vezes.

Proporcionalmente mesmo fazendo a conversão de Euro para Real, os salários no Brasil costumam ser melhores, porém essa conta não é tão exata quando se compara a qualidade e custo de vida.

JavaScript para notificar se um site for alterado

2010-09-15T00:00:00+00:00

Inspirado em uma thread de um grupo de e-mail que participo, onde aguardávamos ansiosamente a abertura das inscrições para o Google Developer Day 2010 (F5, F5, F5 …). Criei um Bookmarklet para notificar quando um site for alterado.

##Como usar

Clique e arraste Notificar Alterações até a barra de favoritos do navegador;
Acesse o site que você deseja ser notificado;
Clique no link “Notificar Alterações” na barra de favoritos.

Pronto! Toda vez que o site for alterado, o Bookmarklet disparará um alert notificando que houve alterações.

##Código JavaScript

gist.github.com/751586

Relógio – tacômetro, taquímetro, tachometer, tachymeter?!?!

2010-09-14T00:00:00+00:00

Atualização do post 21/03/2012

Segundo o comentário comment-341334916, no caso do relógio Orient CEM65001B citado no post, o nome correto é apenas contador de minutos. Portanto esse post é sobre contador de minutos.

–

~~Esse é o meu primeiro post sobre assuntos gerais, no caso sobre tacômetro, também conhecido por taquímetro. Sendo que em muitos relógios estão em inglês, portanto tachometer ou tachymeter.~~

~~Segunda a definição na Wikipédia.~~

~~O tacômetro, também conhecido como taquímetro, é um instrumento de medição do número de rotações (geralmente por minuto, RPM) de um motor. Pode ser chamado também de conta-giros.~~

A pouco tempo voltei a me interessar por relógios, nada demais, só para usá-los como acessório mesmo. Parei de usar relógios anos atrás, por usar mais o celular para ver as horas do que no relógio que estava no meu pulso.

Eu queria um relógio barato e que fosse versátil, esporte e clássico ao mesmo tempo. Encontrei o relógio Orient CEM65001B no site askmen, aparentemente ideal para o que eu queria.

Orient CEM65001M

Cost: $190

What if you’re looking for an everyday watch with an automatic movement and a classic, sporty design? You can do no better than this dive-inspired Orient. It features a solid Japanese automatic movement, a Rolex Submariner-esque design and it’s rated to 200 meters.

O modelo citado no askmen não é o CEM65001M (versão laranja) e sim CEM65001B (versão preta).

Comprei o relógio no eBay, chegou em menos de 2 semanas e não fui tributado./

Assim que o relógio chegou eu fiquei na dúvida “para que serve essa roda preta com números?”.

Essa roda serve para proteger o relógio e para marcação de tempo (contador de minutos) de uma forma bem simples e super inteligente. Projetada para mergulhadores controlarem o tempo que estão debaixo da água, por conta do tubo de oxigênio que tem limitação de tempo.

Usando o contador de minutos

Geralmente o contador de minutos tem um símbolo inicial como um triângulo, que na figura abaixo está acima da marcação de 12h, esse triângulo é o ponto zero do contador de minutos.

Para usá-lo basta girar o triângulo até a marcação de minutos (49m) da hora atual, no caso 5h49m.

Após 30 minutos veremos que ponteiro de minutos estará apontando para o número 30, que quer dizer que se passarem 30 minutos, desde do ajuste anterior que apontava para 5h49.

Para onde o ponteiro de minutos apontar, será o tempo em minutos desde que giramos o triângulo.

Rodinha dura para girar?

Não estranhe se a roda for dura para girar ou que só gire para um lado, pois é propositalmente feito assim, para que nenhum esbarrão consiga movê-la indevidamente.

jQuery Plugin - Javascript for java.util.Date.toString() format

2010-09-04T00:00:00+00:00

Please have a look at jquery-dateFormat on GitHub for the plugin’s documentation.

Spring MVC 3 + MongoDB - Parte 2

2010-09-03T00:00:00+00:00

Em continuação ao Spring MVC 3 + MongoDB - Parte 1, vou me basear na utilização do DbFactoryBean do post Plain Simple MongoDB Spring Integration, com algumas observações adicionais.

Baixando o MongoDB

O MongoDB usado para escrever esse post foi OS X 64-bit - Versão 1.6.2, disponível na páginas de downloads do MongoDB.

Baixei e salvei no meu workspace.

$ /Users/pablo/workspace/mongodb-osx-x86_64-1.6.2/

Driver para o MongoDB

Eu não achei, mas também não procurei muito um repositório Maven para o driver do MongoDB, portanto eu simplesmente baixei o mongo-2.1.jar e salvei no diretório WEB-INF/lib.

mkdir workspace/spring-mongodb/src/main/webapp/WEB-INF/lib
cd workspace/spring-mongodb/src/main/webapp/WEB-INF/lib
wget http://github.com/downloads/mongodb/mongo-java-driver/mongo-2.1.jar

Após baixar e atualizar F5 o projeto no Eclipse.

Adicionando o mongo-2.1.jar no Build Path

Botão direito no projeto -> Propriedades -> Java Build Path -> Libraries -> Add JARs…

Configurando app-config.xml

Para configurar o app-config.xml, basta adicionar as seguintes linhas.

<bean id="propertiesPlacholder"
 class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer"
 lazy-init="false">
 <property name="location" value="classpath:/resources/app-config.properties" />
 </bean>

 <context:property-placeholder location="classpath:db.properties" />
 <bean id="mongo">
 <constructor-arg value="${db.host}" />
 <constructor-arg value="${db.port}" />
 </bean>
 <bean id="db">
 <property name="mongo" ref="mongo" />
 <property name="name" value="${app.db.name}" />
 </bean>

#app-config.properties

db.host=localhost
#porta default
db.port=27017
app.db.name=spring-mongodb-app

No post PropertyPlaceholderConfigurer – Usando properties nas configurações do Spring tem mais informações sobre Spring e arquivos properties.

Classe DbFactory

package com.cantero.spring_mongodb.dao;

import org.springframework.beans.factory.FactoryBean;
import org.springframework.beans.factory.annotation.Required;
import org.springframework.util.Assert;

import com.mongodb.DB;
import com.mongodb.Mongo;

public class DbFactoryBean implements FactoryBean<DB> {

 private Mongo mongo;
 private String name;

 @Override
 public DB getObject() throws Exception {
 Assert.notNull(mongo);
 Assert.notNull(name);
 return mongo.getDB(name);
 }

 @Override
 public Class<?> getObjectType() {
 return DB.class;
 }

 @Override
 public boolean isSingleton() {
 return true;
 }

 @Required
 public void setMongo(Mongo mongo) {
 this.mongo = mongo;
 }

 @Required
 public void setName(String name) {
 this.name = name;
 }

}

Relembrando Factory

Factory Method e Abstract Factory são listados no GoF como patterns creacionais, que lidam com a instanciação de objetos.

Factory Method provê uma classe de decisão, na qual retorna uma das muitas possíveis subclasses de uma classe base abstrata, dependendo do dado fornecido.

CarroAbstract carro = CarroFactory.get("Vectra");

Abstract Factory provê uma interface para se criar e retornar uma de muitas famílias de objetos relacionados.

FabricaAbstract fabrica = AbstractFabricaFactory.getInstance("Chevrolet");
CarroAbstract carro = fabrica.get("Vectra");

Singleton/Prototype

O FactoryBean pode ser Spring Singleton (uma única instância para todas as requisições) ou Spring Prototype (uma nova instancia para cada requisição), lembrando que apesar do nome, são implementações essecialmente iguais, mas implementadas de forma diferente do que os respectivos patterns no GoF.

Singleton é o escopo padrão para criação de Beans no Spring, que pode ser alterado na declaração do Bean.

Voltando… BaseDAOImpl

<bean id="baseDAOImpl" class="com.cantero.spring_mongodb.dao.BaseDAOImpl">
 <property name="db" ref="dbFactory"/>
</bean>

#BaseDAOImpl.java

package com.cantero.spring_mongodb.dao;

import com.mongodb.DB;

public class BaseDAOImpl implements IBaseDAO {

 //private Logger logger = org.slf4j.LoggerFactory
 //        .getLogger(BaseDAOImpl.class);

 protected DB db;

 public void setDb(DB db) {
 this.db = db;
 }

 protected DB getDb() {
 return db;
 }
}

Utilizado o BaseDAOImpl nos Services

package com.cantero.spring_mongodb.service;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import com.cantero.spring_mongodb.dao.IBaseDAO;

@Service
public class PessoaServiceImpl implements IPessoaService {

 @Autowired
 IBaseDAO baseDAO;

}

No Controller

package com.cantero.spring_mongodb.controller;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import com.cantero.spring_mongodb.service.IPessoaService;

@Controller
public class PessoaController {

 @Autowired
 IPessoaService pessoaService;

}

Iniciando o MongoDB

A primeira vez que for iniciar o MongoDB lembre-se de criar o diretório /data/db

$ mkdir /data/db
$ cd workspace/mongodb-osx-x86_64-1.6.2/bin/
$ ./mongod

Continuará…

Spring MVC 3 + MongoDB - Parte 1

2010-09-03T00:00:00+00:00

Aproveitando o momento que está em alta o NoSQL, resolvi criar esse artigo para testar na prática a utilização de um banco de dados não relacional A idéia desse artigo é fazer um projeto do ZERO com Spring MVC 3 + MongoDB A primeira que ouvi falar do movimento NoSQL foi através do CouchDB, mas na época eu fiz pouco caso Só por curiosidade, a primeira edição do http://en.wikipedia.org/wiki/NoSQL foi em 13/Agosto/2009, é algo bem recente Este post ficará dividido em duas parte Parte 1) Criação de um projeto com Spring MVC 3 Parte 2) Configuração do MongoDB Para criar o projeto com Spring MVC vou utilizar o SpringSource Tool Suite (versão 2.3.2.RELEASE), citado no post SpringSource Tools Suite – E não é que é bom O SpringSource Tools Suite facilita todo o processo de criação de uma arquitetura inicial com Spring MVC Criação do Projeto Para criar um novo projeto File -> New -> Other ... Selecione o Wizard SpringSource Tool Suite -> Spring Template Project Selecione o template Spring MVC Project Configurações básicas do projeto Voilà - Projecto criado Junto com o SpringSource Tools Suite vem o SpringSource Cloud Foundry v1.0 (para o cloudfoundry) e SpringSource tc Server v6.0 (tomcat customizado), a parte eu instalei o Tomcat 6 Para adicionar sua aplicação no Tomcat basta botão direito sobre o Tomcat Add and Remove... -> Selecionar o projeto (spring-mongodb) -> Add -> Finish Após iniciar o Tomcat (botão direito sobre o Tomcat -> Start) e acessar http://localhost:8080/spring-mongodb no navegador Voilà (2) BUG

org.springframework.web.servlet.PageNotFound - No mapping found for HTTP request with URI [/spring-mongodb/app/styles/site.css] in DispatcherServlet with name 'Spring MVC Dispatcher Servlet'

O Spring MVC Project vem por padrão com 3 pastas: images, scripts e styles Só que se você tentar inserir um recursos dessas pastas, como o include css abaixo welcome.jsp [html] <%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c" %> <%@ page session="false" %> <html> <head> <title>Welcome</title> <link rel="stylesheet" type="text/css" href="/spring-mongodb/styles/site.css" /> </head> <body> <h1> Congratulations! You're running Spring! </h1> </body> </html> [/html] Retornará o org.springframework.web.servlet.PageNotFound, pois o Spring tentará resolver o site.css como uma url de Controller/Action Para resolver isso basta alterar o urlrewrite.xml [xml] <?xml version="1.0" encoding="utf-8"?> <!DOCTYPE urlrewrite PUBLIC "-//tuckey.org//DTD UrlRewrite 3.0//EN" "http://tuckey.org/res/dtds/urlrewrite3.0.dtd"> <urlrewrite default-match-type="wildcard"> <rule> <from>/</from> <to>/app/welcome</to> </rule> <rule> <from>/scripts/**</from> <to>/scripts/$1</to> </rule> <rule> <from>/styles/**</from> <to>/styles/$1</to> </rule> <rule> <from>/images/**</from> <to>/images/$1</to> </rule> <rule> <from>/**</from> <to>/app/$1</to> </rule> <outbound-rule> <from>/app/**</from> <to>/$1</to> </outbound-rule> </urlrewrite> [/xml] Essa foi a solução que eu postei no stackoverflow e forum.springsource Habilitando o uso de REST no Spring MVC 3 web.xml [xml] <filter> <filter-name>httpMethodFilter</filter-name> <filter-class>org.springframework.web.filter.HiddenHttpMethodFilter</filter-class> </filter> <filter-mapping> <filter-name>httpMethodFilter</filter-name> <servlet-name>Spring MVC Dispatcher Servlet</servlet-name> </filter-mapping> [/xml]

Property files com PropertyPlaceholderConfigurer

2010-09-03T00:00:00+00:00

Os arquivos de propriedades são muito úteis para configurar variáveis de ambiente, parâmetros de inicialização etc. Quem nunca usou um .properties?!

Esse post é um guia rápido de utilização do Spring PropertyPlaceholderConfigurer.

Criando um properties

Utilizei a seguinte estrutura src/resources/app-config.properties.

# WS Config
ws.baseAddress=http://127.0.0.1:9801/
# DB Config
db.url=jdbc:mysql://localhost:3306/db
db.username=username
db.password=password
db.driverClass=com.mysql.jdbc.Driver

Configurando o app-config.xml

<bean id="propertiesPlacholder" class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer" lazy-init="false">
	<property name="location" value="classpath:/resources/app-config.properties" />
</bean>
<bean>
	<property name="baseAddress" value="${ws.baseAddress}" />
</bean>
<!-- DataSource SQL Server -->
<bean id="dataSource" destroy-method="close" scope="singleton">
	<property name="driverClassName" value="#{db.driverClass}" />
	<property name="url" value="${db.url}" />
	<property name="username" value="${db.username}" />
	<property name="password" value="${db.password}" />
</bean>

O app-config.xml é o nome do arquivo de configuração do Spring, que pode mudar de acordo com o seu ambiente.

Exemplo de configuração do app-config.xml.

<servlet>
	<servlet-name>Spring MVC Dispatcher Servlet</servlet-name>
	<servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
	<init-param>
		<param-name>contextConfigLocation</param-name>
		<param-value>/WEB-INF/spring/app-config.xml</param-value>
	</init-param>
	<load-on-startup>1</load-on-startup>
</servlet>

Utilizando múltiplos properties

Caso sua aplicação utilize múltiplos properties, basta adicioná-los na declaração do bean PropertyPlaceholderConfigurer.

<bean id="propertiesPlacholder" class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer" lazy-init="false">
	<property name="locations">
		<list>
			<value>classpath:/resources/app-config-db.properties</value>
			<value>classpath:/resources/app-config-ws.properties</value>
		</list>
	</property>
</bean>

Principais referências

O que são Trackbacks e Pingbacks?

2010-09-02T00:00:00+00:00

No WordPress, trackbacks e pingbacks são formas de notificar um outro blog WordPress quando você faz um link para ele.

Dado Blog A e Blog B:

Blog B faz um post com um link para um post do Blog A. O Blog A vai receber uma notificação:

Hey, Blog B está comentando o seu post em um post dele, você aceita colocar o link do post do Blog B no seu post?

Se o Blog A aceitar, o Blog A vai ter um link de volta para o Blog B, ou seja, ambos os sites vão referenciar um ao outro.

Essa referência mútua é positiva, pois no post do Blog A terá o link do post do Blog B, que pode agregar ao conteúdo do post do Blog A. Além de positivo para o conteúdo, pode ser bom para SEO, dado que aumentará as referências para ambos blogs.

Trackbacks

Para fazer um trackback basta adicionar a URL do post que você está referenciando como trackback no seu post WordPress.

Trackback é uma forma mais ultrapassada de referenciar posts, o WordPress recomenda pingbacks ao invés de trackbacks.

Pingbacks

Pingbacks são parecidos com os trackbacks, só que não precisam de inserção manual. Ao salvar um post o WordPress identificará automaticamente os links de outros blogs e enviará as solicitações de pingback.

Habilitado por padrão

Por padrão trackbacks e pingbacks vêem habilitados, mas podem ser desabilitados na inclusão ou alteração do post.

Aprovação

Trackbacks e pingbacks de blogs externos precisam de aprovação, portanto só serão exibidos se o blog referenciado aprovar a solicitação.

Já trackbacks e pingbacks de um blog para o si próprio são automaticamente aprovados, porém podem ser rejeitados posteriormente.

SEO

Trackbacks e pingbacks ajudam na otimização de buscas SEO, dado que aumentam os links para o seu blog, e consequentemente o seu posicionamento.

Tag Files - E não é que é bom

2010-09-02T00:00:00+00:00

Tag Files são uma forma rápida de encapsular conteúdos em páginas JSP. Elas são muito “mais fáceis” de implementar que uma tag library, mesmo que seja uma javax.servlet.jsp.tagext.SimpleTagSupport.

Como disse um grande amigo meu:

Tag File é um JSP com mais poderes

Vou utilizar um exemplo real, que eu precisava exibir a data de sincronização de um sistema legado com um web services, inicialmente eu estava exibindo a data da última sincronização, sempre que sincronizava eu atribuía um new Date para no atributo lastSync. O problema é o timezone do servidor era diferente do que o do cliente. Para resolver o problema optei para exibir a diferença em minutos, horas e dias da última sincronização.

Tag File DateDiff

Para armazenar as Tag Files eu criei o seguinte diretório WEB-INF/tags/, sendo que qualquer arquivo .tag, que for salvo nesse diretório será uma nova Tag File.

WEB-INF/tags/dateDiff.tag

<%@ tag import="java.util.Date" body-content="empty"%>
<%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c"%>
<%@ attribute name="date1" required="true" rtexprvalue="true" type="java.util.Date"%>
<%@ attribute name="date2" required="false" rtexprvalue="true" type="java.util.Date"%>
<%
Date date1 = (Date) jspContext.getAttribute("date1");
Date date2 = (Date) jspContext.getAttribute("date2");
if (date2 == null) {
date2 = new Date();
}
int diffMinutes = (int) ((date2.getTime() - date1.getTime()) / 1000) / 60;
int diffHours = diffMinutes / 60;
int diffDays = diffHours / 24;
String dateDiffMsg = "";
if (diffMinutes < 60) {
dateDiffMsg = diffMinutes + " minutos";
} else if (diffHours < 24) {
dateDiffMsg = diffHours + " horas";
} else {
dateDiffMsg = diffDays + " dias";
}
jspContext.setAttribute("dateDiffMsg", dateDiffMsg);
%>
${dateDiffMsg}

(discussões a parte sobre utilizar scriptlets ou não)

Para utilizar a Tag File dateDiff.tag

Todos os .tag salvos em WEB-INF/tags podem ser acessados como métodos após a inclusão da diretiva taglib.

<%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c"%>
<%@ taglib prefix="fn" uri="http://java.sun.com/jsp/jstl/functions"%>
<%@ taglib tagdir="/WEB-INF/tags" prefix="h" %>
<html>
<head>
...
<table id="box-table-a">
<thead>
<tr>
<th>Name</th>
<th>Full Name</th>
<th>Quantity On Hand</th>
<th>Quantity On SalesOrder</th>
<th>Quantity On Order</th>
<th>Última Sincronização</th>
</thead>
<tfoot>
<tr>
<td colspan="5">Total de registros</td>
<td>${fn:length(requestScope.itemInventoryRetList)}</td>
</tr>
</tfoot>
<tbody>
<c:forEach items="${requestScope.itemInventoryRetList}"
var="itemInventoryRet">
<tr>
<td>${itemInventoryRet.name}</td>
<td>${itemInventoryRet.fullName}</td>
<td>${itemInventoryRet.quantityOnHand}</td>
<td>${itemInventoryRet.quantityOnSalesOrder}</td>
<td>${itemInventoryRet.quantityOnOrder}</td>
<td>
<!-- Nossa Tag File em ação -->
<h:dateDiff date1="${itemInventoryRet.lastQuickBooksSync}"/>
</td>
</tr>
</c:forEach>
</tbody>
</table>
...

Criação de Virtual Hosts: MAMP + Apache + Hosts

2010-09-01T00:00:00+00:00

O acrônimo MAMP é um programa free para o Mac OSX que instala e configura automáticamente o Apache, MySQL, PHP e phpMyAdmin.

__M__ac OSX
__A__pache
__M__ySQL
__P__HP

Virtual Hosts

Primeiro passo é configurar o arquivos hosts para resolver nomes como projeto1.local, projeto2.local etc como 127.0.0.1.

$ sudo vi /private/etc/hosts##
# Host Database
#
# localhost is used to configure the loopback interface
# when the system is booting.  Do not change this entry.
##
127.0.0.1 localhost
255.255.255.255 broadcasthost
::1 localhost
fe80::1%lo0 localhost
127.0.0.1 projeto1.local
127.0.0.1 projeto2.local
# ...

Lembrando que para salvar e sair do vi o comando é ESC + “:” + wq!.

Feito isso o MAC irá resolver projeto1.local como 127.0.0.1.

Para adicionar o Virtual Host basta adicionar no /Applications/MAMP/conf/apache/httpd.conf as entradas abaixo.

NameVirtualHost *

<VirtualHost *>
 DocumentRoot "/Applications/MAMP/htdocs"
 ServerName localhost
</VirtualHost>

<VirtualHost *>
 DocumentRoot "/Users/pablo/workspace/projeto1"
 ServerName projeto1
</VirtualHost>

<VirtualHost *>
 DocumentRoot "/Users/pablo/workspace/projeto2"
 ServerName projeto2
</VirtualHost>

Pronto! Agora basta acessar projeto1.local.

Principais referências

Publicando um web service JAX-WS + Spring MVC 3

2010-08-28T00:00:00+00:00

Em continuação aos posts Guia prático do QuickBooks Web Connector com Java e SpringSource Tools Suite – E não é que é bom, vou apresentar uma forma fácil de integrar os Web Services gerados com o wsimport com o Spring MVC 3, criando um projeto do ZERO, utilizando o template “Spring MVC Project” do SpringSource Tools Suite.

##Primeiro passo - Criando um projeto Spring MVC

File -> New -> Other … -> SpringSource Tools Suite -> Spring Template Project -> Spring MVC Project

##Segundo passo - Criando um Web Services com wsimport

Para criar o Web Service basta acessar o diretório src/main/java e executar o wsimport, conforme o post Guia prático do QuickBooks Web Connector com Java.

cd /Users/pablo/workspace/JavaQuickBooksWebConnector/src/
wsimport http://developer.intuit.com/uploadedFiles/Support/QBWebConnectorSvc.wsdl -s . -p com.cantero.quickbooks.ws

##Terceiro passo - Criando uma classe de implementação

File -> New -> Class

Vamos criar uma nova classe para implementar a interface QBWebConnectorSvcSoap criada anteriormente pelo wsimport. Lembre-se de atualizar (F5) o Eclipse após o wsimport, para ele carregar as classes e interfaces recém geradas pelo wsimport por fora do Eclipse.

Após criada a classe basta adicionar as anotações JAX-WS.

package com.cantero.teste_ws.ws;

import javax.jws.WebService;

@WebService(serviceName = "QBWebConnectorSvcSoapImpl",
 endpointInterface = "com.cantero.teste_ws.ws.QBWebConnectorSvcSoap")
public class QBWebConnectorSvcSoapImpl implements QBWebConnectorSvcSoap {
  // ...
}

##Quarto passo - Publicando o Web Service

Adicionando as definições do Web Service gerado no arquivo app-config.xml gerado pelo template Spring MVC Project.

<bean>
 <property name="baseAddress" value="http://192.168.0.137:9801/" />
</bean>

<bean id="QBWebConnectorSvcSoapImpl"
 class="com.cantero.teste_ws.ws.QBWebConnectorSvcSoapImpl" />

##Quinta passo - Acessando seu Web Service

Se tudo deu certo após iniciar o seu servidor seu Web Service estará disponível na url abaixo.

192.168.0.137:9801/QBWebConnectorSvcSoapImpl?wsdl

##Considereções

Existem outras formas para integrar Web Services com Spring, algumas delas estão disponíveis na própria documentação do Spring, que foi da onde eu me baseie para criar esse post.

A integração com SimpleJaxWsServiceExporter é semelhante ao EndPoint.publish disponível no Java SE.

public class Main {
 public static void main(String[] args) {
 Endpoint.publish("http://192.168.0.137:9801/QBWebConnectorSvcSoapImpl",
 new QBWebConnectorSvcSoapImpl());
 }
}

Fiz um exemplo com o EndPoint.publish no post Guia prático do QuickBooks Web Connector com Java.

Tem uma thread no forum do SpringSource que questiona se utilizar o SimpleJaxWsServiceExporter pode acarretar em algum problema performance.

##Principais referências

static.springsource.org/spring/docs/3.0.x/spring-framework-reference/html/remoting.html#remoting-web-services-jaxws-export-standalone

SpringSource Tools Suite

2010-08-27T00:00:00+00:00

SpringSource Tools Suite é mais uma IDE baseada no Eclipse, mas não é por ser mais uma que não vale a pena. Pelo contrário, é uma ótima IDE, principalmente para quem trabalha com o família Spring-*, FACILITA MUITO!

E o melhor agora é FREE.

Preencher o cadastro e pronto!

O Wizard de New Project do Eclipse File -> New -> Other... tem várias opções para criação de projetos.

Escolhendo Spring Template Project.

Escolhendo Spring MVC Project, ele já cria um projeto utilizando maven archetype AppFuse com Spring MVC 3, toda a estrutura do projeto é montada com Maven Capabilities, TDD etc.

Criando uma aplicação no Heroku

2010-08-21T00:00:00+00:00

Breve introdução

Heroku é um cloud PaaS, muito fácil para utilizar em projetos Ruby e agora com o novo stack o Cedar, também é possível utilizá-lo com outras linguagens e plataformas.

A idéia de um PaaS é de abstrair a complexidade de um sysadmin, toda a parte de hardware e configuração do servidor não fica sobe a responsabilidade de quem desenvolve, fica por conta de quem provê o serviço.

O que precisa para funcionar?

Ruby on Rails instalado
Git instalado
Ler o Getting Started with Heroku
Ter uma conta no Heroku
Ter o Heroku toolbelt ou a gem Heroku
Configurar as chaves ssh: Mac, Windows, Linux

Criando uma aplicação básica

rails myapp
cd myapp
git init
git add .
git commit -a -m 'first commit'
heroku create myapp
git push heroku master

Configurando gems

Se a sua aplicação usar gems, basta configurar um arquivo .gems ou Gemfile que o Heroku se encarregará de instalar as gems.

touch .gems
git add .gems
git commit -a -m "Adding .gems"
git push heroku master
cat .gems
rails -v 2.3.5
geokit -v 1.5.0

Para executar os migrates

heroku rake db:migrate

GAE + Eclipse + Maven

2010-08-20T00:00:00+00:00

Esse é um tutorial para demonstrar como utilizar o GAE, com Maven (maven-gae-plugin) no Eclipse.

O código fonte do guia está disponível no GitHub.

Meu setup

Mac OSX 10.6.4 x86_64
Java version: 1.6.0_20
Eclipse JEE Helios - Mac OS X
Apache Maven 2.2.0

Criação da aplicação com um archetype

matilde:workspace pablo$ mvn archetype:generate -DarchetypeGroupId=net.kindleit -DarchetypeArtifactId=gae-archetype-jsp -DarchetypeVersion=0.6.0 -DgroupId=com.cantero.testapp_cantero -DartifactId=testapp-cantero -DarchetypeRepository=http://maven-gae-plugin.googlecode.com/svn/repository
[INFO] Scanning for projects...
[INFO] Searching repository for plugin with prefix: 'archetype'.
[INFO] ------------------------------------------------------------------------
[INFO] Building Maven Default Project
[INFO]    task-segment: [archetype:generate] (aggregator-style)
[INFO] ------------------------------------------------------------------------
[INFO] Preparing archetype:generate
[INFO] No goals needed for project - skipping
[INFO] [archetype:generate {execution: default-cli}]
[INFO] Generating project in Interactive mode
[INFO] Archetype defined by properties
[INFO] Using property: groupId = com.cantero.testapp_cantero
[INFO] Using property: artifactId = testapp_cantero
Define value for property 'version': 1.0-SNAPSHOT:
[INFO] Using property: package = com.cantero.testapp_cantero
[INFO] Using property: package = com.cantero.testapp_cantero
Define value for property 'gaeApplicationName': : testapp-cantero
[INFO] Using property: gaeApplicationVersion = 0
Define value for property 'gaePluginVersion': : 0.6.0
[INFO] Using property: gaeVersion = 1.3.5
Confirm properties configuration:
groupId: com.cantero.testapp_cantero
artifactId: testapp_cantero
version: 1.0-SNAPSHOT
package: com.cantero.testapp_cantero
package: com.cantero.testapp_cantero
gaeApplicationName: testapp_cantero
gaeApplicationVersion: 0
gaePluginVersion: 0.6.0
gaeVersion: 1.3.5
Y: Y
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESSFUL
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 1 minute 56 seconds
[INFO] Finished at: Thu Aug 19 20:25:20 BRT 2010
[INFO] Final Memory: 16M/81M
[INFO] ------------------------------------------------------------------------

O nome quer for informado no gaeApplicationName, deve ser um nome válido de aplicação no GAE, ele será posteriormente usado no deploy.

Para o gaePluginVersion foi utilizada a versão 0.6.0. As versões estão disponíveis no repositório.

Adicionando Eclipse capabilities

``bash mvn eclipse:eclipse

matilde:workspace pablo$ cd testapp-cantero/ matilde:testapp-cantero pablo$ mvn eclipse:eclipse [INFO] Scanning for projects… [INFO] ———————————————————————— [ERROR] FATAL ERROR [INFO] ———————————————————————— [INFO] Error building POM (may not be this project’s POM).

Project ID: com.cantero.testapp_cantero:testapp-cantero POM Location: /Users/pablo/workspace/testapp-cantero/pom.xml

Reason: Resolving expression: ‘${name}’: Detected the following recursive expression cycle: [name] for project com.cantero.testapp_cantero:testapp_cantero at /Users/pablo/workspace/testapp-cantero/pom.xml

Caso aparece esse erro, bastar alterar o pom.xml do projeto

```xml
<name>testapp-cantero</name>
<description>Aplicação teste GAE + Eclipse + Maven</description>

Voltando a executar mvn eclipse:eclipse deve retornar BUILD SUCCESSFUL.

Importando o projeto para o Eclipse

Para importar o projeto para o Eclipse, bastar ir em File -> Import -> Existing Projects into Workspace -> [selecionar o diretório do projeto] e importar.

Quando eu importei o projeto para o Eclipse, tinha algumas classes padrões criadas pelo archetype, mas elas estavam com packages errados, bastou corrigir os packages e os imports que o projeto ficou sem erros.

Não esquecendo também de corrigir o caminho do IndexServlet no web.xml para o package selecionado.

<servlet>
  <servlet-name>IndexServlet</servlet-name>
  <servlet-class>com.cantero.testapp_cantero.web.IndexServlet</servlet-class>
</servlet>

Primeiro deploy no GAE

Na primeira vez é necessário alterar o código do pom.xml

De:

<gae.version>1.3.5</gae.version>

Para:

<gae.version>1.3.1</gae.version>

A versão 1.3.5 não está disponível (até a data desse post no repositório oficial do maven)

Para o primeiro deploy é necessário executar:

$ mvn gae:unpack
$ mvn gae:deploy

Se tudo deu certo, sua aplicação estará disponível no GAE.

Guia prático do QuickBooks Web Connector com Java

2010-08-17T00:00:00+00:00

O QuickBooks Web Connector é uma ótima alternativa para fazer integrações com o QuickBooks, pois com QBWC não é necessário utilizar os componentes COM+, que limitam a escolha da tecnologia para ser utilizado na integração.

O código fonte do guia está disponível no GitHub:

github.com/phstc/JavaQuickBooksWebConnector.

Vantagens do QuickBooks Web Connector

A comunicação com o seu servidor e realizada através de Web services, dessa forma não é necessário atrelar sua aplicação com componentes COM+ (windows).
Os Web services podem ser desenvolvidos em qualquer linguagem e em qualquer plataforma, desde de que tenha suporte para Web services.
O QBWC pode ser configurado para invocar seu servidor de tempos em tempos, portanto não é necessário que o usuário faça uma intervenção manual, tendo que abrir um aplicativo, clicar em sincronizar etc. Basta configurar o QBWC para invocar o Web services no intervalo de tempo desejado.
É mais fácil para criar aplicações genéricas (SaaS), pois a cada requisição do QBWC, além de usuário e senha, ele envia identificação da aplicação, portanto um Web services pode atender a diversos clientes.

Ambiente

Para desenvolver a integração com Java, estou usando:

Eclipse
QuickBooks Enterprise Edition 10.0
QuickBooks Web Connector 2.0.0.139

Primeiro passo - Criação do arquivo QWC

O arquivo QWC é o arquivo de configuração do seu Web services no QBWC.

<?xml version="1.0"?>
<QBWCXML>
  <AppName>WCWebService1</AppName>
  <AppID></AppID>
  <AppURL>http://localhost/WCWebService/WCWebService.asmx</AppURL>
  <AppDescription>A short description for WCWebService1</AppDescription>
  <AppSupport>http://developer.intuit.com</AppSupport>
  <UserName>iqbal1</UserName>
  <OwnerID>{57F3B9B1-86F1-4fcc-B1EE-566DE1813D20}</OwnerID>
  <FileID>{90A44FB5-33D9-4815-AC85-BC87A7E7D1EB}</FileID>
  <QBType>QBFS</QBType>
  <Scheduler>
    <RunEveryNMinutes>2</RunEveryNMinutes>
  </Scheduler>
</QBWCXML>

Segundo passo - wsimport QBWebConnectorSvc.wsdl

Para construir um Web services a partir do WSDL será utilizado o wsimport, que gerará o Web Services JAX-WS compatível.

O WSDL para o Web Services está disponível na url developer.intuit.com/uploadedFiles/Support/QBWebConnectorSvc.wsdl.

Para iniciar criei um projeto Java Básico com o Eclipse “File -> New -> Java Project -> JavaQuickBooksWebConnector”.

cd /Users/pablo/workspace/JavaQuickBooksWebConnector/src/

wsimport http://developer.intuit.com/uploadedFiles/Support/QBWebConnectorSvc.wsdl -s . -p com.cantero.quickbooks.ws

Parâmetros

-s para especificar o diretório onde será gerando o código fonte
-p para especificar o package

Terceiro passo - Criando uma classe de implementação

A definição dos métodos exigidos pela interface QBWebConnectorSvcSoap estão definidos no QuickBooks Web Connector Programmer’s Guide.

A linguagem para requisições do QBWC é qbXML.

Classe de implementação

package com.cantero.quickbooks.ws;

import java.util.ArrayList;

import javax.jws.WebService;

/*
* http://developer.intuit.com/qbsdk-current/doc/pdf/qbwc_proguide.pdf
*/
@WebService(endpointInterface = "com.cantero.ws.client.QBWebConnectorSvcSoap")
public class ItemQueryRqSoapImpl implements QBWebConnectorSvcSoap {

  @Override
  public ArrayOfString authenticate(String strUserName, String strPassword) {
    ArrayOfString arr = new ArrayOfString();
    arr.string = new ArrayList<String>();
    arr.string.add("The first element is a token for the web connector’s session");
    arr.string.add(""); //To use the currently open company, specify an empty string
    return arr;
  }

  @Override
  public String closeConnection(String ticket) {
    // TODO Auto-generated method stub
    return null;
  }

  @Override
  public String connectionError(String ticket, String hresult, String message) {
    // TODO Auto-generated method stub
    return null;
  }

  @Override
  public String getLastError(String ticket) {
    // TODO Auto-generated method stub
    return null;
  }

  /*
  * A positive integer less than 100 represents the percentage of work completed. A value of 1 means one percent complete, a value of 100 means 100 percent complete--there is no more work. A negative value means an error has occurred and the Web Connector responds to this with a getLastError call. The negative value could be used as a custom error code.
  */
  @Override
  public int receiveResponseXML(String ticket, String response,
  String hresult, String message) {
    // a value of 100 means 100 percent complete--there is no more work
    return 100;
  }

  @Override
  public String sendRequestXML(String ticket, String strHCPResponse,
  String strCompanyFileName, String qbXMLCountry, int qbXMLMajorVers,
  int qbXMLMinorVers) {
    // Example qbXML to Query for an Item
    // http://www.consolibyte.com/wiki/doku.php/quickbooks_qbxml_itemquery
    String query = "<?xml version=\"1.0\" encoding=\"utf-8\"?><?qbxml version=\"7.0\"?><QBXML><QBXMLMsgsRq onError=\"stopOnError\"><ItemQueryRq requestID=\"SXRlbVF1ZXJ5fDEyMA==\"><OwnerID>0</OwnerID></ItemQueryRq></QBXMLMsgsRq></QBXML>";
    return query;
  }
}

A instrução <OwnerID>0</OwnerID> é utilizada para que o QuickBooks retorne os Custom Fields. Na versão QuickBooks Enterprise Edition 10, pode ser inserido mais de 5 custom fields, mas até o momento só é possível recuperar os 5 primeiros utilizando qbXML.

Quarto passo - Importando o QWC no QBWC

Basta ir ao QuickBooks Web Connector “Add an application -> Selecionar o QWC -> Autorizar acesso no QuickBooks”.

Quinto passo - Testando o Web services

package com.cantero.quickbooks.ws;

import javax.xml.ws.Endpoint;

public class Main {
  public static void main(String[] args) {
    Endpoint.publish("http://192.168.0.137:54321/ItemQueryRqSoapImpl",
    new ItemQueryRqSoapImpl());
  }
}

Para executar o Main diretamente pelo Eclipse basta ir em “Run As -> Java Application, Debug As -> Java Application”.

Se tudo deu certo a url http://192.168.0.137:54321/ItemQueryRqSoapImpl?wsdl deverá exibir o seu wsdl.

Principais referências

Usando ActiveRecordStore nas Rails Sessions

2010-08-12T00:00:00+00:00

A sessão padrão do Rails é o Cookie Store, que tem um limite de 4K, sendo usada tipicamente usada para armazenar ids de objetos persistidos na base de dados ou pequenas informações.

Caso você receba um ActionController::Session::CookieStore::CookieOverflow como o abaixo, você pode tentar o ActiveRecordStore ao invés do Cookie Store.

/!\ FAILSAFE /!\ Thu Jul 29 21:23:39 -0300 2010
 Status: 500 Internal Server Error
 ActionController::Session::CookieStore::CookieOverflow
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/gems/1.8/gems/actionpack-2.3.5/lib/action_controller/session/cookie_store.rb:102:in `call'

(eu só consegui resolver esse problema removendo os cookies do browser, reiniciar o servidor não resolveu para mim.)

##ActiveRecordStore

O ActiveRecordStore é mais lento que o Cookie Store, porém seu tamanho só é limitado pela base dados.

Para usar o ActiveRecordStore basta adicionar a seguinte linha no environment.rb.

 config.action_controller.session_store = :active_record_store

Criar as tabelas para armazenar a sessão.

rake db:sessions:create

Esse é um exemplo básico para usar o ActiveRecordStore, na documentação oficial HowtoChangeSessionStore tem outras opções de configuração, assim como outras opções de persistência para a sessão.

Polymorphic associations com Rails

2010-08-12T00:00:00+00:00

Polymorphic associations

Se você precisa de um modelo genérico, por exemplo Address, que será associado com User, Customer, Store etc, polymorphic associations pode ser uma boa opcão.

Passo 1 - Criar o modelo

script/generate model Address addressable_type:string addressable_id:integer name:string street1:string street1_number:string street2:string zip_code:string city:string state:string country:string

rake db:migrate

Passo 2: Adicionar belongs_to no address.rb

belongs_to :addressable, :polymorphic => true

Passo 3: Adicionar o has_many nos models que utilizaram Address

# customer.rb
class Customer < ActiveRecord::Base
has_many :addresses, :as => :addressable, :dependent => :destroy

# user.rb
class User < ActiveRecord::Base
has_many :addresses, :as => :addressable, :dependent => :destroy

# store.rb
class Store < ActiveRecord::Base
has_many :addresses, :as => :addressable, :dependent => :destroy

Principais referências

Criação de urls amigáveis com Rails

2010-08-07T00:00:00+00:00

Atualização do post 18/03/2012

Para implementar urls amigáveis recomendo a gem FriendlyId. Ryan Bates fez um screencast bem ditático sobre a gem, recomendo!

–

Para quem usa Rails a partir da versão 2.2 é muito fácil criar urls amigáveis utilizando ActiveSupport::Inflector.parameterize.

ActiveSupport::Inflector.parameterize "Criação de url amigáveis Rails"
>> criacao-de-url-amigaveis-rails

O parameterize é um método adicionado diretamente na classe String.

class Product < ActiveRecord::Base
    def to_param
        "#{id}-#{name.parameterize}"
    end
end

Product.create(:name => "Produto Amigável") # Product#1
product_path(product_1) # /products/1-produto-amigavel
Product.find("1-produto-amigavel") # Product#1

ActiveSupport::Inflector

A classe Inflector tem muitos outros métodos que valem a pena serem conferidos.

Breve definição sobre EJB 3

2010-08-05T00:00:00+00:00

EJB 3 classifica os beans em três tipos fundamentais, baseados no que eles fazem:

Session beans
Message driven beans
Entity beans

Session beans

São beans com o propósito de realizar alguma operação de negócio específica, como consultar o histórico de crédito de um cliente.

Pode ser tanto com estado ou sem estado. Um session bean com estado é bean típico para um carrinho de compras, onde os itens são adicionados no carrinho passo a passo, por isso o bean precisa manter o estado. Já um session bean sem estado é um bean geralmente usado para operações como um consultar o histórico de crédito de um cliente, ou seja, para operações que não precisam guardar estado.

Um session bean pode ser executado local, remoto por RMI ou por Web Services. Sendo que somente os session beans sem estado, podem ser expostos como Web Services.

Um session bean não sobrevive a queda ou parada temporário do servidor.

Os sessions beans necessitam de um EJB container para serem executados.

Message driven beans

Assim como os session beans, seu propósito é para realizar operações de negócio. A diferença e que as operação não recebem resposta automática, são executadas de forma assíncrona.

Os MDBs são invocados através de mensagens enviadas ao servidor de mensagens como IBM WebSphere MQ, SonicMQ, Oracle Advanced Queueing e TIBCO.

Um exemplo comum de sua utilização é para operações que podem ser lentas e que não necessitem de resposta automática. Desde de um simples envio de email a integrações entre sistemas.

Os MDBs necessitam de um EJB container para serem executados.

Entity beans

Os entities beans são os beans mais conhecidos e mais utilizados, são as conhecidas entitdades JPA.

JPA é uma especificação de ORM, onde as implementações mais conhecidas são pelos frameworks Hibernate e Oracle TopLink.

Entity bean é a forma que EJB 3 controla a persistência de dados, definindo o padrão para:

Criação de metadados, mapeamento de entidades para tabelas do modelo relacional
API EntityManager, API para realização de CRUD (create, retrieve, update e delete)
Java Persistence Query Language (JPQL), linguagem parece com o SQL ANSI para pesquisa de dados persistidos

Os entities beans não necessitam de um container EJB para serem executados.

Utilizando o Rails form select

2010-07-26T00:00:00+00:00

Pesquisei bastante na internet, até achar uma thread demonstrando como utilizar o form select com um array de objetos.

Geralmente meus selects são populados com arrays do ActiveRecord.

@users = User.all
<% form_for @user, :html => { :method => :post } do |f| %>
 <%= f.select :user_id, @users %>

Desta forma o select imprimirá com o to_s de cada objeto do array, para exibir o key (id) e value (descrição), basta utilizar o método collect, que é uma maneira fácil e rápida para esse propósito.

<% form_for @user, :html => { :method => :post } do |f| %>
 <%= f.select :user_id, @users.collect { |user| [user.name, user.id] } %>

Outras maneiras para para usar form select

Com um array simples:

<%= f.select :estados, ['SP', 'PA', 'RJ'] %>

Com um array com arrays:

<%= f.select :estados, [['São Paulo', 'SP'], ['Pará', 'PA'], ['Rio de Janeiro', 'RJ']] %>

Principais referências

Documentação oficial

CentOS start Mongrel no boot

2010-07-25T00:00:00+00:00

Este post detalha os passos para iniciar, parar ou reiniciar uma aplicação Rails no CentOS.

Primeiro passo - Criando um script bash

Esse arquivo deve ser criado ou ter um link simbólico em /etc/init.d/ror.

Permissões para no arquivo:

chmod 754 /etc/init.d/ror

7 - Dono do arquivo tem todas permissões sobre o arquivo (leitura, execução e gravação)
5 - O grupo poder ler e executar
4 - Outros podem ler

Script bash

#!/bin/bash
#
# ror
#
# chkconfig: 2345 82 82
# description: ror

function start_rails(){
 echo "Starting app/current";
 cd "/home/user/rails_apps/app/current";
 mongrel_rails start -e production -p 12006 -d;
}

function stop_rails(){
 echo "Stopping app/current";
 cd "/home/user/rails_apps/app/current";
 mongrel_rails stop;
}

case "$1" in
 start)
   start_rails;
   ;;
 stop)
   stop_rails;
   ;;
 restart)
   stop_rails;
   start_rails;
   ;;
esac

Segundo passo - Adicionando o script bash como serviço

chkconfig --add ror
chkconfig --list ror
ror 0:off 1:off 2:on 3:on 4:on 5:on 6:off

Principais referências

Guia rápido de configuração do Capistrano com o GitHub

2010-07-23T00:00:00+00:00

Esse é um guia rápido de configuração do Capistrano com o GitHub.

~~Os passos desses post foram utilizados no projeto click-anywhere-to-leave-a-message.com, disponível para download no GitHub.~~

Após logado no GitHub, no seu dashboard aparecerá seus repositórios e um botão para criar um novo repositório.

Após criado o repositório, o GitHub mostrará as instruções para o seu primeiro commit.

 cd click-anywhere-to-leave-a-message.com
 git init
 touch README
 git add README
 git commit -m 'first commit'
 git remote add origin git@github.com:phstc/click-anywhere-to-leave-a-message.com.git
 git push origin master

.gitignore

Para não compartilhar alguns arquivos no repositório, como credenciais do banco de dados, logs, arquivos temporários etc, basta criar um arquivo .gitignore na raiz do projeto.

cat .gitignore
.DS_Store
*~
*.swp
tmp/*
log/*
backup/*
config/database.yml
Capfile
config/deploy.rb
db/*.sqlite3
mkmf.log
db/schema.rb

Instalando e adicionando o Capistrano

cd click-anywhere-to-leave-a-message.com
gem install capistrano
capify .

Configurando o deploy.rb

Após adicionar o Capistrano, bastará configurar o arquivo deploy.rb.

set :application, 'sua aplicacao'
set :user, 'seu usuario ssh'
set :password, 'sua senha shh'
set :domain, 'seu dominio'
set :mongrel_port, 'sua porta'
set :mongrel_nodes, "4"
set :rails_env,     "production"
set :server_hostname, 'seu hostname'
set :git_account, 'seu usuario do github'
set :scm_passphrase,  Proc.new { Capistrano::CLI.password_prompt('sua senha') }
role :web, 'seu dominio'
role :app, 'seu dominio'
role :db, 'seu dominio', :primary => true
default_run_options[:pty] = true
set :repository,  "git@github.com:#{git_account}/#{application}.git"
set :scm, "git"
set :user, user
ssh_options[:forward_agent] = true
set :branch, "master"
set :deploy_via, :checkout
set :git_shallow_clone, 1
set :git_enable_submodules, 1
set :use_sudo, false
set :deploy_to, "/home/#{user}/rails_apps/#{application}"

Adicionado sua public key no GitHub

Se aparecerem problemas como Permission denied (publickey).

servers: ["click-anywhere-to-leave-a-message.com"]
 [click-anywhere-to-leave-a-message.com] executing command
 ** [click-anywhere-to-leave-a-message.com :: out] Permission denied (publickey).
 ** [click-anywhere-to-leave-a-message.com :: out] fatal: The remote end hung up unexpectedly

Você deverá seguir o tutorial do próprio GitHub: linux, mac e windows para configurar sua chave pública.

Fazendo o deploy com o Capistrano

Para fazer o deploy basta executar a instrução cap deploy.

cd click-anywhere-to-leave-a-message.com
cap deploy

Se não aparecer nenhum erro (será???), seu Capistrano estará funcionando perfeitamente, no meu caso apareceu o seguinte erro:

current/script/process/reaper: No such file or directory

Para corrigi-lo eu tive que adicionar as tasks de start, stop e restart no deploy.rb.

namespace :deploy do
 task :start, :roles => :app do
 run "cd #{current_path} && mongrel_rails start -e production -p #{mongrel_port} -d"
 end
 task :restart, :roles => :app do
 run "cd #{current_path} && mongrel_rails restart"
 end
 task :stop, :roles => :app do
 run "cd #{current_path} && mongrel_rails stop"
 end
end

Criando link simbólico para arquivos não compartilhados no repositório

Meu database.yml e outros arquivos estão somente no servidor e não no repositório, portanto sempre após o deploy com o Capistrano eu crio um link simbólico para esses arquivos.

after "deploy:finalize_update", "deploy:symlink2"
#...
namespace :deploy do
#...
desc "Make symlink for config files"
 task :symlink2 do
 run "ln -nsf /home/#{user}/rails_apps/#{application}/database.yml #{release_path}/config/database.yml"
 end
end

Diretório log

O Capistrano cria automáticamente um link simbólico para o diretório de log do projeto apontando para /home/#{user}/rails_apps/#{application}/shared/log. Como ele não cria automáticamente o diretório só o link simbólico, precisamos cria-lo manualmente.

mkdir /home/#{user}/rails_apps/#{application}/shared/
mkdir /home/#{user}/rails_apps/#{application}/shared/log

Principais referências

Guia para integrar o RCov com o Cucumber

2010-07-23T00:00:00+00:00

Esse post é um guia rápido para integrar o RCov com o Cucumber. O RCov é uma ferramenta para gerar relatórios de cobertura de testes.

Instalação do RCov

gem install rcov

Integrando o RCov com o Cucumber

Para integrá-los basta modificar a task cucumber:ok no arquivo cucumber.rake adicionando as instruções abaixo delimitadas por #Inicio RCov e #Fim RCov.

# cucumber.rake
Cucumber::Rake::Task.new({:ok => 'db:test:prepare'}, 'Run features that should pass') do |t|
 t.binary = vendored_cucumber_bin # If nil, the gem's binary is used.
 t.fork = true # You may get faster startup if you set this to false
 t.profile = 'default'
 #Início RCov - CODE COVERAGE
 t.rcov = true
 t.rcov_opts = %w{--rails --exclude osx\/objc,gems\/,spec\/,features\/ --aggregate coverage.data}
 t.rcov_opts << %[-o "coverage"]
 #Fim RCov - CODE COVERAGE
end

Caso você não queira que seja gerada a cobertura de testes todas as vezes que executar os testes, basta criar uma nova task específica para geração da cobertura de testes.

Cucumber::Rake::Task.new(:rcov) do |t|
 t.rcov = true
 t.rcov_opts = %w{--rails --exclude osx\/objc,gems\/,spec\/,features\/ --aggregate coverage.data}
 t.rcov_opts << %[-o "coverage"]
end

Para executá-la.

rake cucumber:rcov

Sugestão para o .gitignore

Para ignorar os arquivos gerados pelo RCov, basta adicionar as linhas abaixo no arquivo .gitignore.

coverage/*
coverage.data

Principais referências

SEO - Redirect 301 vs 302

2010-07-22T00:00:00+00:00

Uma das primeiras preocupações com o blog foi como fazer o redirect de http://pablocantero.com para http://pablocantero.com/blog e ao mesmo tempo ser indexado corretamente.

Não tenho conteúdo em http://pablocantero.com, mas algum dia eu posso colocar algo, portanto quero que os motores de busca indexem http://pablocantero.com e http://pablocantero.com/blog.

Depois de uma busca no Google, encontrei vários comentários não muito conclusivos, onde acabei assumindo a seguinte definição:

301 - Redirect permanente

Redirect 301: http://pablocantero.com para http://pablocantero.com/blog.
Redirect 301: http://pablocantero.com para http://outrosite.com.

Em ambos os casos o motor de busca indexará somente as páginas targets http://pablocantero.com/blog e http://outrosite.com.

302 - Redirect temporário no mesmo domínio

Redirect 302: http://pablocantero.com para http://pablocantero.com/blog.

O motor de busca indexará pagina source http://pablocantero.com.

302 - Redirect temporário para outro domínio

Redirect 302: http://pablocantero.com para http://outrosite.com.

O motor de busca indexará a página target http://outrosite.com.

No meu caso estou usando o 302, pois quero que tanto http://pablocantero.com e http://pablocantero.com/blog sejam indexados. Também acredito que seja o mais correto para o meu caso uso segundo a especificação RFC 2616.

The requested resource resides temporarily under a different URI. Since the redirection might be altered on occasion, the client SHOULD continue to use the Request-URI for future requests.

Cuidado com o Meta refresh

Segundo o Google e W3C não é recomendado usar o redirect usando Meta refresh

This meta tag sends the user to a new URL after a certain amount of time, and is sometimes used as a simple form of redirection. However, it is not supported by all browsers and can be confusing to the user. The W3C recommends that this tag not be used. We recommend using a server-side 301 redirect instead.

Redirect 301 Server-side PHP

<?php
Header("HTTP/1.1 301 Moved Permanently");
header("Location: http://pablocantero.com/blog");
exit();
?>

Redirect 302 Server-side PHP

<?php
header("Location: http://pablocantero.com/blog");
exit();
?>

Principais referências

Matt Cutts - SEO advice: discussing 302 redirects. Segundo esse blog ele é o “the search engine super master genius at google”.
How the Yahoo! Web Crawler Handles Redirects.
Meta tags - Google Webmaster Tools Help.
Ferramenta para checar o tipo de redirect que está sendo utilizando.

Guia rápido de configuração do Cucumber

2010-07-22T00:00:00+00:00

~~Os passos desses post foram utilizados no projeto click-anywhere-to-leave-a-message.com, disponível para download no GitHub.~~

Cucumber é um framework de Behavior Driven Development (BDD), que permite a criação de testes automatizados por comportamento usando uma linguagem mais natural chamada Gherkin.

Cucumber lets software development teams describe how software should behave in plain text. The text is written in a business-readable domain-specific language and serves as documentation, automated tests and development-aid - all rolled into one format.

A instalação do Cucumber deve ser seguida pela url oficial do projeto Cucumber Ruby on Rails.

Adicionando o Cucumber em um projeto Rails

Para começar vamos criar um projeto Rails e adicionar Cucumber.

rails click-anyware-to-leave-a-message
cd click-anyware-to-leave-a-message
script/generate cucumber

Para testar se o Cucumber foi instalado corretamente.

rake cucumber

Descrevendo uma funcionalidade

Após adicionar o Cucumber será criado o diretório features na raiz do projeto. O Cucumber busca pelo pattern meu-projeto/features/\\*.feature para executar as features.

A primeira feature será a messages.feature, que descreverá as funcionalidades do “scaffold” de mensagens do projeto.

Feature: Manage Messages
In order to create a new message
As an author
I want to create and manage messages

Scenario: List messages
Given that I have created a message "Olá, essa é a minha primeira mensagem" at position "0", "0"
When I go to the homepage
And I should see "Olá, essa é a minha primeira mensagem" at position "0", "0"

When I go to the homepage

Caso você mude o path the homepage e o teste pare de funcionar, verifique o arquivo features/support/paths.rb, pois é lá onde estão definidos os paths.

Ao executar pela primeira vez os testes o Cucumber retornará:

rake cucumber
1 scenario (1 undefined)
3 steps (2 skipped, 1 undefined)
0m0.109s

You can implement step definitions for undefined steps with these snippets:

Given /^that I have created a message "([^\"]*)" at position "([^\"]*)", "([^\"]*)"$/ do |arg1, arg2, arg3|
 pending # express the regexp above with the code you wish you had
end

Informando que eu tenho que criar o passo:

Given that I have created a message "Olá, essa é a minha primeira mensagem.

Criação do passo

Para que o passo funcione, você pode adicioná-lo diretamente no arquivo features/step_definitions/web_steps.rb ou criar um novo arquivo de step definitions específico.

# features/step_definitions/messages_steps.rb
Given /^that I have created a message "([^\"]*)" at position "([^\"]*)", "([^\"]*)"$/ do |msg, top, left|
 Message.create!(
 :message => msg,
 :author => 'session_id',
 :ip => '127.0.0.1',
 :left => left,
 :top => top,
 :status => Message::SAVED_BY_THE_USER)
end

Pablo Cantero

Using Ruby and Amazon SQS FIFO Queues

Shoryuken

FIFO Queues

Message Group ID

Message Deduplication ID

Getting started

Create a FIFO Queue

Create a worker

Send messages

Start Shoryuken

Sequential processing per group

How about multiple processes and other clients?

Using FIFO Queues for rate limiting

Should I use FIFO Queues?

If you want to reject duplicated messages sent within a 5 minutes interval.

If you want to control the order that the messages are received.

If you want to control the order, but you want to receive duplicates.

If you don’t care about the order and duplicates.

If you plan to make more than 300 transactions per second.

If you want per-message delays

Test emails with automated testing tools

Say Hello to PutsBox

Getting started

JSON representation

Capybara example

Don't disqualify yourself

GitHub

Make a good first impression

Not so proud of some of your code?

Make a song of your profile

Engage users

Why so many forks?

Linkedin

Be brief

Relevant links

Don’t be a default avatar person

View profile as

Before the interview

Compatibility matching

Be organized

Research the company

Research your interviewers

During the interview

Remote interviews

Rejection notice

What can I do better?

Final thoughts

Sidekiq (Redis) vs Shoryuken (AWS SQS)

Resque > Sidekiq > Shoryuken

Perfomance

Pricing

Shoryuken

Sidekiq

From Sidekiq to Shoryuken

Conclusion

SQS to the rescue

Getting your hands dirty

Auto retrying errors

Dead Letter Queues

Delaying a message perform_in

Sending a message with extended delay

Receiving a message with extended delay

1 million != 1 million

SNS to SQS

Trouble in Paradise

Introducing Shoryuken

Conclusion

Play Rock-paper-scissors with Slack and PutsReq

Fork Rock-paper-scissors webhook

Add Rock-paper-scissors Outgoing webhook

Play it

More?

Say Hello World to Wombat using PutsReq

Easy distributed locks using Redis

Quick and Dirty: Simple Ruby Profiler

Why ActiveRecord callbacks suck?

Violating the Single Responsibility Principle (SRP)

Slow down your tests

Sum up

Delaying a message `perform_in`