Hadoop: O guía definitivo te ajuda a aproveitar todo o poder dos seus dados. Ideal para processar grandes datasets, o framework Apache Hadoop é uma implementação open source do framework MapReduce que o Google usou para construir seu império.

O livro demosntra como usar o Hadoop para construir sistemas distribuidos confiáveis e escaláveis: Programadores vão encontrar detalhes de como analisar grandes volumes de dados e administradores vão aprender como configurar e rodar clusters Hadoop. O livro se estende para componentes importantes do ecossistema como Hive, Pig e Zookeper.

Em minha opinião este é o livro mais completo sobre o assunto já publicado. Tom White é um dos maiores especialistas em Hadoop da atualidade e consegue neste livro passar não apenas conhecimentos teóricos mas também muitas informações de como usar o Hadoop em aplicações reais.

E você tem alguma recomendação de livros ?

Serão dois dias intensos com 12 palestras e 6 Lightning Talks.

Alguns palestrantes internacionais de destaque:

• Alistair Jones, Software Engineer da Neo Technology – empresa responsável pelo Neo4j
• Frank Weigel, Diretor de produtos da Couchbase – empresa responsável pelo desenvolvimento dos populares CouchDB e Membase)
• Benjamin Coverston, Diretor de Operaçōes da Datastax – empresa responsável pelo Apache Cassandra
• Mathias Stearn, Sr. Software Engineer da 10gen – empresa responsável pelo MongoDB

Outros palestrantes importantes também estarão presentes no evento, confira a lista aqui. A grade preliminar já está disponível no site do evento.

O noSQL Brasil será nos dias 21 e 22 de Outubro no Hotel Braston em São Paulo -Rua Martins Fontes, 330 – Consolação.

Os preços promocionais são válidos até o dia 30 de Setembro, então corra para fazer a suainscrição.

É muito comum recebermos pedidos de bibliografia sobre NoSQL. Resolvemos então compilar uma lista completa de livros sobre nosql para te ajudar em suas pesquisas. Muitos livros ainda estão para serem lançados então é bom ficar de olho nas datas de lançamento de cada um.

MongoDB

MongoDB: The Definitive Guide

Scaling MongoDB

The Definitive Guide to MongoDB: The NoSQL Database for Cloud and Desktop Computing

Cassandra

Cassandra: The Definitive Guide

CouchDB

Beginning CouchDB

CouchDB: The Definitive Guide: Time to Relax

Writing and Querying MapReduce Views in CouchDB

Ainda sendo produzidos :

Redis: The Definitive Guide: Data modeling, caching, and messaging

HBase: The Definitive Guide

Document Design for MongoDB

MongoDB in Action

Scaling CouchDB

Professional NoSQL

Modelar o desempenho de um sistema não é simples, mas também não é uma metodologia impossível de ser utilizada. É necessário monitorar, coletar, sintetizar, analisar, otimizar e representar os sistemas com um visão que foge completamente do empirismo.

O objetivo principal da modelagem de desempenho é aproveitar ao máximo do investimento de infra-estrutura de TI, focando na melhoria continua do desempenho dos sistemas. Muitos profissionais acreditam que uma simples otimização de um código fonte do software é sempre a solução para esses casos, outros acreditam que a solução sempre é a troca excessiva dos dispositivos de hardware, ambas as soluções podem ser consideradas na maioria das vezes como soluções paliativas.

A solução está no ambiente do sistema computacional

A verdade é que essas e outras soluções paliativas surgem pela falta de uma visão mais ampla das coisas. É necessário elevar o nível de abstração para entender que as raízes dos problemas de desempenho nem sempre estão relacionadas há um ponto focal básico como o código fonte e sim há um ambiente do sistema computacional como todo. Esse ambiente basicamente pode ser divido em dois: ambiente de usuários e o ambiente de hardware propriamente dito.

O ambiente de usuários é formado por pessoas ou outros sistemas que são capazes de gerar carga de trabalho através das requisições, transações ou processos do software utilizado. O ambiente de hardware é formado pelo conjunto de dispositivos que processam a carga de trabalho gerada pelo ambiente de usuários. O parâmetro utilizado para avaliar a capacidade de um sistema é a análise do nível de serviço prestado pelo mesmo.

Existem várias técnicas que são utilizadas para modelagem e análise do desempenho de um ambiente do sistema computacional, como por exemplo, o modelo de regressão linear. No mercado de trabalho, o profissional que possui conhecimento dessas técnicas é extremamente valorizado, principalmente em grandes companhias que investem uma enorme fatia de seu orçamento em infra-estrutura de hardware, como no caso dos mainframes.

Conclusão

A idéia desse post  foi passar uma visão simplificada da modelagem de desempenho, caso solicitem via comentário, eu posso entrar em mais detalhes de como isso é aplicado no mercado e também em detalhes das técnicas envolvidas para aplicação da mesma.

O Firesheep é um programa que permite o “seqüestro” de sessões em diversos sites, entre eles Facebook e Twitter. Isso significa que se um usuário acessar sua conta no Facebook em uma rede wireless aberta (normalmente redes públicas), o atacante consegue “seqüestrar” sua sessão e acessar sua conta.

O programa é uma extensão para o navegador Firefox e atualmente pode rodar no Windows e no Mac. O objetivo do projeto é forçar que sites como Twitter e Facebook melhorem sua segurança, porém está sendo usado por diversos “I-wanna-be” hackers para roubar as contas de muitos usuários leigos.

Firesheep funcionando (em inglês):

Como se proteger?

ForceTLS

Com a extensão ForceTLS para o Firefox, é possível configurar sites onde é obrigatório o acesso via HTTPS. Acessando o Facebook com HTTPS, faz com que toda a troca de informações seja criptografada. Desta forma o Firesheep não consegue “entender” e nem utilizar sua sessão.

Primeiro instale o ForceTLS no Firefox e após isso configure os sites que devem ser acessados somente com HTTPS.

BlackSheep

Outra opção para se proteger do Firesheep é o BlackSheep também é uma extensão para o Firefox e serve para detectar o Firesheep. Pode ser considerado como um “anti-Firesheep”.

Esta extensão consegue perceber quando o Firesheep tenta seqüestrar a sessão e nesse momento envia um login (na verdade um cookie) falso que engana o Firesheep. Ele avisa o usuário do ataque, informa o IP do atacante e sugere que seja realizado logoff nos sites.

O BlackSheep reaproveitou boa parte do código do Firesheep. Por isso não é possível utilizar ambos (BlackSheep e Firesheep) ao mesmo tempo.

Um vídeo (em inglês) do BlackSheep funcionando:

Caso conheçam soluções para outros navegadores, informem nos comentários.

Empresas como a 23andme estão em uma nova corrida do Genoma. O desafio agora é desvendar os segredos do genoma de cada indivíduo para poder prever futuros problemas de saúde um dos primeiros passos para uma medicina personalizada. O 23andme não realiza um sequenciamento completo do genoma, mas foca em partes importantes que podem revelar doenças. O serviço tem uma infraestrutura computacional intensiva e um dos seus maiores investidores é o Google.

Mas que relação existe entre o Projeto Genoma Humano e o Hadoop ? Muitos dos custos iniciais de sequenciar inicialmente o Genoma eram custos computacionais e estes custos cairam significativamente ao longo dos anos. A facilidade de usar ferramentas Big Data como o Hadoop vai permitir que um número muito maior de descobertas sejam feitas explorando os dados gerados pelo sequenciamento de DNA. Quem nunca parou para pensar que nossos smartphones de hoje são tão poderosos quanto os nossos desktops de antigamente ? O barateamento do poder computacional vai provocar impactos muito maiores do que video games mais poderosos e computadores menores.

Segundo estimativas do National Human Genome Research Institute o custo total de sequenciar o genoma humano vai cair para $1000 até 2014 e segundo alguns especialistas pode chegar até $100. Este barateamento vai gerar uma explosão no volume de dados relacionados ao genoma e muitas oportunidades.

Estamos sempre falando de Big Data aqui, mas um erro muito comum que é pensar em Big Data apenas como dados de redes sociais e na web. Esta tendência está apenas começando e vamos ver muitas aplicações que vão além do mundo da web.

Nesta palestra interessante do Deepak Singh vemos como aplicar o Hadoop na Bioinformática.

Hadoop for Bioinfomatics – Deepak Singh from Cloudera on Vimeo.

O evento é uma oportunidade para os novos empreendedores conhecerem a mais recente tecnologia de Computação nas Nuvens (Cloud Computing) da Microsoft: Windows Azure.

Será um momento oportuno para as Startups avaliarem a possibilidade de incorporar as tecnologias de Computação nas nuvens em seus projetos, aumentando o seu diferencial competitivo de mercado.

O BizsparkCamp será seguido de mais duas etapas, Hands on Labs (imersão em laboratório), as empresas interessadas poderão testar os novos aplicativos tecnológicos e Provas de Conceito, análise do cenário das startups para aplicação dos recursos tecnológicos.

DATA:
O evento principal acontece no dia 21 de outubro das 18h00 às 22h30

LOCAL:
Centro de Inovação Microsoft (MIC BH), localizado na PUC Minas unidade São Gabriel

ENDEREÇO:
Rua Walter Ianni, 255 – Bairro São Gabriel

As inscrições devem ser realizadas até o dia 20 de outubro (hoje) pelo site:
http://www.micbh.com.br

Os slides e um resumo da palestra serão publicados aqui no Escalabilidade. A ideia é ser uma introdução geral a cloud computing não se limitando a nenhuma tecnologia em especial. Quais assuntos vocês consideram que são essenciais para este tipo de discussão ?

Uma maneira de entendermos a complexidade envolvida é visualizar a evolução de grandes projetos open source. Os logs de controle de versão são uma mina de ouro de informações para começarmos a entender as interações entre os desenvolvedores envolvidos e os projetos.

Code Swarm é um projeto open source para gerar visualizações de projetos de software pela análise dos logs de controle de versão. veja alguns exemplos:

code_swarm – Apache from Michael Ogawa on Vimeo.

code_swarm – Python from Michael Ogawa on Vimeo.

O code_swarm é compatível com os seguintes controle de versão:

Subversion
CVS
Git
Mercurial
Perforce
VSS
Starteam
Wikiswarm
Darcs

O código está disponível em http://code.google.com/p/codeswarm/

NoSQL é escalável

Uma das grandes promessas dos bancos NOSQL consiste em dizer que eles são mais escaláveis que os bancos de dados relacionais. O problema com esta mensagem que é vendida por algumas empresas é que ela não é inteiramente verdade. Dizer que seu sistema escala sozinho é vender um sonho. Ele pode até ser mais fácil de escalar se comparado a outras soluções mas ainda sim exigira algum esforço para escalar.

Não precisamos de DBAs

No mundo dos bancos relacionais a figura do DBA sempre está presente. Com sistemas que tem particularidades para cada vendor os DBAs ficam a cargo de instalar, configurar e manter cada banco de dados em suas particularidades. Muita gente diz que quando se trabalha com NoSQL não precisamos de DBAs. Acredito que talvez não no sentido tradicional, mas ainda vamos precisar de alguém responsável por lidar com o banco e com o acesso aos dados. Esta função pode vir a se tornar parte do trabalho de um desenvolvedor ou se tornar a função full time de alguém no seu time que pode ser até um DBA com conhecimentos em NoSQL. Em aplicações reais em produção muito provavelmente será necessário misturar bancos relacionais e não relacionais, possuir alguém que navegue facilmente nos dois mundos em seu time é uma grande vantagem.

NoSQL é mais econômico

Meia verdade. Muitos vendors de NoSQL afirmam que suas soluções vão baratear o custo dos seus clientes. Em parte sim, em algumas situções o custo em usar um banco de dados relacional pode ser proibitivo devido a escala ou a licenças envolvidas. Existem muitos casos entretanto que uma solução relacional atende perfeitamente todas as necessidades do cliente e ainda sim pode ser considerada barata. Bancos de dados open source como MySQL e PosgreSQL são usados sem problemas por um grande número de aplicações com sucesso.

Conclusão

Se você está começando agora com o NoSQL, cuidado para não cair em armadilhas. Sempre interaja com a comunidade, converse com outros desenvolvedores sobre suas experiências reais com NoSQL e não se esqueça de deixar suas dúvidas nos comentários. Se você já possui alguma experiência, quais outros mitos você vê com relação ao NoSQL ?

Para milhares de empresas, o seu crescimento no mercado pode ser medido através do aumento da quantidade de usuários de seus sistemas web. Como essas empresas podem ter garantias que os seus sistemas suportam esse aumento significativo de usuários tão desejado por elas?

Imaginem o caso de uma empresa que para conseguir um aumento em sua carta de clientes realiza um investimento em uma campanha de marketing milionária. Basicamente, nessa campanha os produtos seriam vendidos com descontos de 80% caso as compras fossem realizadas no horário de 03h as 04h da madrugada de um determinado dia. Quais seriam os impactos para essa empresa se o sistema não suportar o aumento de carga proporcionado pela campanha e ficasse fora do ar?

Solução eficiente para o problema

A verdade é que existem várias formas de analisar a capacidade de um sistema manter a sua disponibilidade e desempenho esperado, frente a um aumento significativo de sua carga de usuários, ou seja, analisar sua escalabilidade. Uma das formas seria a realização de testes de desempenho e é esse o tema que será abordado neste post.

O teste de desempenho é um processo de emulação das atividades realizadas no sistema e é capaz de:

• Determinar a quantidade de usuários que o sistema suporta;
• Determinar o tempo de resposta do sistema;
• Auxiliar na otimização da configuração do sistema;
• Verificar o desempenho do sistema em diferentes plataformas (Hardware e Software);
• Identificar o comportamento do sistema caso sofra um grande aumento inesperado da carga de usuários;

Tipos de testes de desempenho

Os quatro tipos de testes de desempenho mais utilizados são descritos a seguir:

• Carga: Seu objetivo é validar os tempos de respostas dos processos de negócios e transações críticas em relação ao que foi especificado nos requisitos suplementares do sistema. 
• Volume: Seu objetivo é determinar o throughput de um processo especifico. O termo Throughput possui diversas definições, nesse caso é o número máximo de transações solicitadas ao sistema por uma unidade de tempo. 
• Stress: Seu objetivo é determinar sobre que carga o sistema pode falhar e como ele pode falhar. 
• Longevitude: Seu objetivo é identificar os problemas de desempenho que possam aparecer após o sistema ter sido submetido a um longo período de carga elevada.

A única saída é a automatização

Fazer uma simulação de 1 mil, 10 mil ou 450 mil usuários acessando ao mesmo tempo uma determinada funcionalidade de um sistema somente é factível através da automatização. Existem várias soluções de automatização no mercado para esse segmento, entretanto abaixo estão duas dicas para serem utilizadas durante a definição do modelo de uso dessas soluções: 

• Existem diversos tipos de usuários: Os testes automatizados devem ser realizados simulando todos os tipos de usuários possíveis. Um exemplo de modelagem de usuários é:
  • 50 % dos usuários acessam apenas a home Page;
  • 30% dos usuários navegam por todas as paginas, colocam alguns produtos no carrinho de compra, porém não efetivam as compras;
  • 15% dos usuários navegam em algumas páginas, colocam alguns produtos no carrinho de compra e efetivam algumas compras;
  • 5% dos usuários acessam diretamente a página do produto e efetiva a sua compra; 
• É extremamente recomendado realizar apenas uma variação por vez nas variáveis utilizadas para execução dos testes (carga de usuários, configurações do sistema, base de dados, hardware, entre outros) para comparações e identificações confiáveis dos impactos da mudança.

Conclusão

Para fechar esse post, concluímos que uma das formas eficientes para validar a escalabilidade de seu sistema é o teste de desempenho. Facilmente podemos identificar também que é necessário realizar uma capacitação em toda metodologia que envolve a execução desse tipo de teste automatizado. Para quem deseja conhecer a solução líder de mercado desse segmento, que é comercializada para pequenas, médias e grandes empresas, acesse o site do IBM Rational Performance Tester: http://www-01.ibm.com/software/rational/offerings/quality/performance.html