Tecnologia, comunicações, e outros assuntos

Brincando nas núvens com o SimpleDB da Amazon

2009-10-18T16:10:00.000-02:00

Dias atrás apresentei o serviço S3 da Amazon e como ele serve como uma boa ferramenta de backup usando o S3Fox.

Agora vou apresentar como brincar com o SimpleDB da Amazon que nada mais é que um banco de dados distribuído rodando na Internet.

Como faz muito tempo que não brinco com php, vou usar o php com uma biblioteca de acesso aos serviços da Amazon chamado de Tarzan.

Feito o download, basta configurar no diretório de trabalho suas permissões de acesso ao serviço da Amazon (variáveis AWS_KEY e AWS_SECRET_KEY, as mesmas usadas para o S3Fox). Não esquecer que o serviço SimpleDB precisa ser assinado na Amazon antes de poder usá-lo.

Teste simples para ver os domínios (equivalentes a tabelas no caso de SQL):

$ php -r 'require_once "tarzan.class.php";$sdb = new AmazonSDB();print_r($sdb->list_domains()->body->ListDomainsResult);'

O resultado no caso de não existir nenhum domínio seria:

SimpleXMLElement Object

(

)

Seguindo as documentações do SimpleDB do Tarzan, toda a API do SimpleDB está disponível. Vamos criar um domínio novo:

$ php -r 'require_once "tarzan.class.php";$sdb = new AmazonSDB();print_r($sdb->create_domain("dominio1"));'

$ php -r 'require_once "tarzan.class.php";$sdb = new AmazonSDB(); print_r($sdb->list_domains()->body->ListDomainsResult);'

O resultado do último comando mostra:

SimpleXMLElement Object
(
[DomainName] => dominio1
)

Legal! O dominio1 apareceu. Colocando dados de Santa Catarina, São Paulo e Ceará:

$ php -r 'require_once "tarzan.class.php";$sdb = new AmazonSDB();print_r($sdb->put_attributes("dominio1", "Santa Catarina", Array("capital"=>"Florianopolis", "populacao"=>"0005866568")));'

$ php -r 'require_once "tarzan.class.php";$sdb = new AmazonSDB();print_r($sdb->put_attributes("dominio1", "Sao Paulo",Array("capital"=>"Sao Paulo","populacao"=>"0040442795")));'

$ php -r 'require_once "tarzan.class.php"; $sdb = new AmazonSDB(); print_r($sdb->put_attributes("dominio1","Ceara", Array("capital"=>"Fortaleza","populacao"=>"0008097276")));'

Aí, com uma pesquisa simples do tipo SQL dá para procurar estados com mais de 10 milhões de habitantes:

$ php -r 'require_once "tarzan.class.php"; $sdb = new AmazonSDB();print_r($sdb->select("select populacao from dominio1 where populacao>\"0010000000\"")->body->SelectResult);

O que reporta o estado esperado e sua população:

SimpleXMLElement Object
(
    [Item] => SimpleXMLElement Object
        (
            [Name] => Sao Paulo
            [Attribute] => SimpleXMLElement Object
                (
                    [Name] => populacao
                    [Value] => 0040442795
                )
        )

)

Ágiles2009 em Florianópolis deu um banho

2009-10-10T01:20:00.001-03:00

Uau! A Conferência Latino-Americana de Sobre Metodologias Ágeis Ágiles2009 foi muito melhor do que eu esperava. Várias apresentações muito interessantes e uma oportunidade de ouro de conhecer as pessoas da região que realmente se importam com desenvolvimento de software.

Brian Marick começou com um keynote interessante discutindo como a esposa dele, que é veterinária, ensina a prática para os estudantes. Ele explicou sobre a metodologia de documentação SOAP (Subjective Objective, Assessment and Plan) para acompanhamento dos animais e como é difícil transferir a noção subjetiva para estes estudantes. Brian argumentou que os desenvolvedores de software precisam se espelhar nas experiências de transferência da habilidade de outras profissões.

Alisson Vale matou a pau tentando passar uma quantidade absurda de informação em 45 minutos explicando Kanban desde o começo. É incrível que mesmo assim tenha conseguido deixar todos bem embasados nesta reinterpretação do Lean que é o Kanban.

Thomas Looy fez uma apresentação espetacular mostrando num exemplo prático o efeito de não respeitar o TOC (teoria das restrições) e trabalhar com acúmulo de WIPs por tentar maximizar um desempenho local. É basicamente o segredo do Lean: otimização local gera desperdício, e deixar pessoas ociosas as vezes é mais econômico que fabricar estoque de trabalho inacabado.

Thomas ainda disse umas 10 vezes: "é essencial a gestão visual". Todos tem que ter como ver o Kanban. O Kanban é que vai mostrar os WIPs e as ineficiências.

Alexandre Magno e Manoel Pimentel fizeram um bate-bola sobre as dificuldades das implantações de Scrum e XP. Comentaram bastante da dificuldade de mudar a cultura da empresa e do mercado para aceitar os preceitos e deu para ver que a dificuldade de mudar as organizações é um problema muito sério que está gerando frustrações aos consultores e desenvolvedores em geral.

O Keynote do final de quinta foi de Roy Singham transformando a causa dos agilistas numa cruzada moral que mudará o mundo e o transformará num mundo melhor, onde a lógica do capitalismo e do controle cartesiano das organizações estarão mais sobre controle. Meteu pau nas montadoras de carros americanas e disse para espelharmos na Toyota para prepararmos a nossa revolução.

A paixão de Ray é contagiante por causa da paixão que ele transpira... Tão contagiante que por pouco não saí marchando para enviar meu currículo para a ThoughtWorks no instante final que ele anunciou a montagem do escritório em Porto Alegre. :-) Adorei o cara...

Um caso interessante disso foi a apresentação do Tiago Garcez discutindo as diversas concessões para tentar viabilizar o desenvolvimento ágil da parte de TI da Belgian Post que, mesmo depois de um período de relativo sucesso, uma mudança de diretoria parece querer a volta do Waterfall e da ilusão de controle. A frustração é evidente...

Para contrabalançar, David Hussman deu uma palestra excepcional destruindo os dogmas que estão se enraizando na comunidade de desenvolvimento ágil e a preocupação de viabilizar o processo de mudança. Insistiu bastante que a ortodoxia não deveria ter espaço e que a mudança tem que ter foco nas pessoas, sejam os desenvolvedores ou seus gestores.

David falou bastante da construção do "groove" que pode caber na sua empresa: olhar de longe e perceber o que o grupo tá precisando para ser mais ágil e ajudar o grupo nesta mudança escolhendo um ou outro item por vez que provoque o maior retorno possível ao grupo em pouco tempo.

A metáfora do "groove" é poderosa e ele compara com a construção de um ambiente para que uma banda consiga compor e tocar num ambiente confortável e acolhedor para a banda. E como ele tocou numa banda por cerca de 10 anos, pode falar com propriedade sobre a semelhança destas situações.

O painel final fechou a conferência de forma muito legal. Marick, Larsen, Hussman, Singham, Kerievsky e Samuel Crescêncio discutiram sobre a experiência da conferência aqui na América do Sul e da oportunidade que temos para participar desta experiência mundial da briga pelo Lean e Ágil. Reclamaram que o Ricardo Semler é uma referência lá fora por causa do livro "Maverick" e que é considerado um agilista corporativo e que nós aqui no brasil quase não damos valor.

Discutiram um monte novamente sobre a dificuldade de mudança das organizações, levando o Brian Marick a mandar todo mundo se liberar da escravidão e montar empresas de 12 pessoas escrevendo aplicações hospedadas de RubyOnRails... Caí na gargalhada com todo mundo lá... :-)

Parece que o Ágiles2010 vai ser em Perú em Lima... Pô, é longe... Mas quem sabe... :-)

Backups na núvem com S3 da Amazon

2009-10-04T22:10:00.000-03:00

E agora? Como guardar aquelas 5.000 fotos que você guardou nestes últimos 10 anos de fotografia digital?

Existe uma quantidade enorme de serviços de backup na Internet hoje em dia, como Mozy, DropBox, Carbonite ou JungleDisk, mas eu já sou mais do gosto de mexer diretamente com os arquivos e não ficar tão refém dos serviços prestados por um software instalado no micro.

S3 é um serviço da Amazon de armazenamento robusto de arquivos sem limite de quantidade e com replicação pelo menos tripla. É muito mais segurança do que qualquer backup que você deve estar aprontando de dentro de sua casa hoje. E o preço é bem em conta, gasto algo como $1,50 dólares por mês para manter os meus 10GB de fotos lá.

E usando o S3Fox, que é uma extensão para Firefox, o serviço de download, upload e sincronização ficam bem simples, praticamente a um click do mouse.

O que você precisa para poder usar este serviço?

criar uma conta no Amazon Web Services;
contratar o serviço S3;
instalar o S3Fox;
cadastrar no S3Fox as credenciais do S3 (Your Account/Security Credentials no site da Amazon).

A partir daí, é como transferir arquivos para um servidor como se fazia com o FTP, e curtir a tranquilidade de ter suas valiosas memórias seguras na nuvem da Internet.

Backbone de fibra é também bem público

2009-05-25T11:26:00.003-03:00

Nos EUA, o congresso está propondo que todas as novas estradas que receberem dinheiro do governo tenham incluido um duto de fibra "escura" de acesso aberto e com espaço para acomodar várias prestadoras de serviço.

Vodafone da Nova Zelândia também está sugerindo uma parceria de todas as operadoras para contribuir numa parceria público-privada que gerencie uma empresa de fibra "escura" de acesso aberto.

Será que veremos uma consolidação do conceito de backbone de fibra "escura" como bem público?

Custos para fazer chegar a fibra até sua casa

2008-12-05T08:58:00.002-02:00

Quanto custa construir a última milha (até a sua casa) em fibra?

GigaOM está discutindo este custo, estimando algo entre $500 até $5.000 dólares dependendo da região onde está sendo instalada e se a construção é feita num lote ou individual.

Os comentários argumentam que valores na ordem de $5.000 dólares estão superestimados, pois são valores passados pelas operadoras atuais, e que tem interesse em valorizar seus investimentos feitos nesta área.

O artigo comenta também sobre o assunto de considerar a conectividade como um serviço público equivalente a água, esgoto e energia elétrica, e que a municipalidade deveria trabalhar para organizar a construção mais eficiente e econômica para a prestação deste serviço. Particularmente se o serviço for privado, é responsabilidade do poder público regular a qualidade e as condições de competitividade.

Conteúdo digital e banda larga

2008-11-17T09:31:00.004-02:00

O que acontece quando a banda de acesso do usuário de Internet atinge valores de 50Mbps e 100Mbps e qualquer conteúdo digital, seja vídeo ou música, fica disponível rapidamente sem quase nenhum esforço?

Basta ver o que está acontecendo na Coréia do Sul. A Warner está anunciando que está priorizando a distribuição de vídeos de forma on-line em vez do tradicional DVD.

Pelo jeito o futuro vai ser esse... Caminharemos para um mundo onde toda a mídia consumida deixará de usar artefatos físicos para transporte e/ou caracterizar o direito de consumo da mídia.

Sobre a crise americana...

2008-10-12T21:05:00.001-03:00

Muitos especialistas discutem sobre a razão deste descontrole do mercado.
Veja a opinião deste ídolo de toda uma geração:

Tráfego de Internet local está evitando os EUA

2008-09-15T11:54:00.002-03:00

Enfim as negociações e a montagem da infra-estrutura local de troca de tráfego de Internet aqui no Brasil estão começando a dar resultados.

Este processo está sendo lento, principalmente na América Latina, mas pelo menos está acelerando nos últimos anos. Hoje cerca de 70% do tráfego de Internet da América Latina ainda passa pelo backbone com os eixos dos EUA e da Europa, enquanto a Europa já está com quase 80% do seu tráfego sendo feito intra-rede.

Esta tendência é inevitável, pois as redes tendem a evoluir para acomodar de forma mais eficiente o tráfego presente, apesar de estar caminhando um pouco lento aqui no sul da América.

Agora os especialistas em inteligência dos EUA, principalmente os militares, estão preocupados. Como o tráfego mundial está deixando de usar os EUA como passagem, não vai ficar tão fácil interceptar as comunicações para captura de informações como era antes...

Barco na Lagoa da Conceição - Florianópolis

2008-09-13T14:29:00.002-03:00

Aprendendo a fotografar... Ficou boa esta...

Lembrete...

2008-09-11T15:33:00.004-03:00

Fazer isto vale a pena?
Que impacto gerei?
Vai fazer diferença no longo prazo?
Que relacionamentos criei?
Independentemente de onde você vive, em qualquer coisa que você faça, você tem uma obrigação a cumprir.
[Fonte: Seth Godin]

Mercado de DVDs acabando na Coréia do Sul

2008-09-05T09:06:00.002-03:00

O que acontece quando a Internet tem banda suficiente para troca on-line de mídia? O mercado de distribuição de mídia em plástico vai para o saco!

A NewTeeVee está discutindo o impacto que o broadband de altíssima velocidade disponível na Coréia do Sul no mercado de DVDs. Basicamente está acontecendo com DVDs lá o que a gente já viu acontecer com CDs aqui no Brasil: as gravadoras desistem do mercado!

Pelo jeito, da mesma forma que a evolução da distribuição de músicas caminhou de CDs para MP3s em iPods e servidores na Internet, os DVDs também vão caminhar para os seus equivalentes...

Cassandra: bigtable/dynamo em código aberto do facebook

2008-07-21T11:19:00.002-03:00

Algumas semanas atrás o Facebook liberou sem chamar muita atenção sua implementação de uma base de dados robusta e replicada inspirada do BigTable do Google e utilizando conceitos de distribuição de dados do Dynamo da Amazon.

É um código feito em Java de cerca de 40 mil linhas que parece implementar um núcleo funcional mas sem todas as liberdades que existem nos sistemas da Google e da Amazon.

Foi implementado recentemente por uma equipe pequena interna a Facebook como uma alternativa mais simples que a plataforma Hadoop que já está sendo usada a algum tempo no Facebook.

O código está no Google Code e existe uma apresentação sobre o projeto discutindo alguns detalhes internos.

Um guia curto para dominar o mundo...

2008-07-17T11:17:00.002-03:00

Você quer ser uma peça do tabuleiro ou você quer jogar o jogo da sua vida?

Este pequeno e-book é muito interessante porque levanta as perguntas mais importantes da vida de todos:

O que você realmente quer desta vida?
O que você pode oferecer ao mundo que ninguém mais pode?

Com estas perguntas você é levado a analisar e questionar seu comportamento com a vida e imaginar como seria enfrentar as forças de conformação da sociedade, sair da mediocridade e realizar o que o universo realmente espera de você: mudar o mundo.

O bacana é que na prática maximizar os objetivos de resultados para si e para o mundo não é contraditório. Na realidade o sucesso de um só é possível pelo sustento do sucesso do outro.

Sair da mediocridade é difícil mas você deve a você e ao mundo pelo menos tentar começar. O que você fará hoje para começar a tomar o mundo?

Consistência eventual de dados no eBay

2008-07-08T14:25:00.003-03:00

A revista Queue da ACM publicou na edição maio/junho de 2008 um artigo chamado "ACID vs. BASE" de Dan Pritchett (eBay) falando do conceito de consistência eventual em armazenamento escalável de dados.

É uma ótima introdução dos conceitos de gerenciamento de dados distribuídos aonde a consistência perfeita "ACID" é abandonada para permitir níveis de performance e escalabilidade que são impossíveis de atingir numa plataforma monolítica.

Já fiz vários comentários sobre o conceito de dados distribuídos, o interessante é como que todos os grandes serviços na Internet (Google, Amazon, eBay, etc) só conseguiram atingir o público mundial abandonando a segurança da consistência tão defendida pelos fornecedores convencionais de banco de dados comerciais.

Na prática, quando os dados passam a ser divididos em milhares de servidores separados para conseguir a performance, a consistência "global" acaba sendo impossível de ser atingida.

Megadata, nova tendência para os banco de dados

2008-06-13T11:34:00.002-03:00

Interessante este artigo de Joe Gregorio onde ele expõe uma tendência de crescimento do uso de quantidades absurdas de dados, exigências de robustez, facilidade para alteração constante da forma da representação dos dados e buscas praticamente instantâneas neste universo.

Os servidores de banco de dados comerciais já não dão conta desta demanda a vários anos. A Google, a Amazon, o eBay (leia isso!), e muitos outros já aprenderam na prática que vários conceitos aprendidos no passado de depender de uma caixa preta (banco de dados) para implementar garantias transacionais e integridade referencial não é mais viável.

Joe Gregorio tenta formular o conceito do Megadata:

dados distribuidos em múltiplas máquinas, em vez de centralizado num servidor gigante;
Joinless, sem joins e sem integridade referencial, pelo menos não no local de armazenamento;
De-normalizado, para evitar os joins;
Sem transações. Se as transações numa máquina separada já é cara, transações distribuidas em servidores torna isso completamente inviável pela perda de performance.

Ele termina argumentando que estas necessidades começaram em algumas grandes empresas de atuação global pela Internet, mas que logo caminharão para muitas outras aplicações, onde processamento e armazenamento massivo de baixo custo possam contruir novas oportunidades.

O banco de dados da Google

2008-06-13T11:17:00.008-03:00

Falei sobre o armazenamento, administração de alterações e servidores de processamento nas plataformas do Google e da Amazon. Agora resta saber como se utilizar destas ferramentas para construir abstrações mais convencionais de base de dados.

No caso do Google, a principal ferramenta hoje é o BigTable. O BigTable é uma aplicação distribuída que opera sobre o Google File System (GFS) e implementa tabelas 3D genéricas, cujos vetores são linha, coluna e tempo. Todo o mapeamento é feito String para String, ou seja, as chaves linha, coluna e tempo são string e o condeúdo dos campos são também strings.

As tabelas são obrigadoriamente ordenadas por linha, dentro da linha por coluna, e então por tempo, e são quebradas em unidades menores de tamanhos típicos de 200MB chamadas "tablets" para mapear melhor com o GFS. As "tablets" sempre contém linhas inteiras, ou seja, a fronteira da linha é usada para quebrar os "tablets".

Então os "tablets" ficam sendo os motores de armazenamento de dados e alterações, onde um "log" em disco e uma versão em memória das alterações do "log" são usadas para registrar e preservar as alterações recentes, e tabelas chamadas "SSTables" contém mapas mais antigos de <linha,coluna,tempo> para <dado>.

Uma aplicação em batch faz compilações dos "logs" para novas "SSTables" constantemente, e outra mais esporádica agrupa as "SSTables" em uma única "SSTable" para reclamar o espaço em disco dos elementos que foram retirados ("Garbage Collection").

Para quem tiver interesse, existe uma apresentação sobre o BigTable feita pelo Jeff Dean da Google na Universidade de Washington no Google Video.

O BigTable não possui interface SQL, não é uma base relacional e nem transacional, implementando apenas garantias de alterações atômicas ao nível de linha. Entretanto, com os devidos cuidados, esta é a base para aplicações gigantescas oferecidas pelo Google, como o Google Earth (70TB de dados), Google Analytics (200TB de dados) e a base de buscas do Google (800TB de dados).

Já a Amazon não fala muito como implementa suas aplicações, apenas que utiliza exatamente a mesma infraestrutura de serviços web sendo oferecida hoje (S3, EC2 e SQS).

Existe um artigo bastante interessante de Pat Helland (ex-funcionário da Amazon) onde ele comenta sobre como implementar aplicações massivas e distribuídas em centenas de computadores.

Ele argumenta que para distribuir aplicações, é necessário separar os "estados" em entidades ("entities"). Entidades seriam uma coleção de dados com uma única chave para sua localização. Exemplos: uma Ordem de Compra (chave OrderId) , um Ítem em Estoque (ItemId), etc.

Então para considerar uma aplicação "escalável", você não pode assumir que transações atômicas sejam possíveis envolvendo mais de uma entidade. O artigo apresenta o conceito de operações canceláveis (tentativas de operações) como a única forma de manter consistência em ambientes distribuídos.

O interessante é que de certa forma tanto a Amazon como a Google chegaram em conceitos semelhantes, o que a Google chama de "linha" numa tabela BigTable acaba sendo uma entidade da Amazon.

Processamento seguro dos dados na Amazon e na Google

2008-06-09T12:02:00.000-03:00

Já comentei sobre como grandes volumes de dados são armazenados de forma segura pela Amazon e pela Google. Também comentei como o processamento ocorre nos servidores destas empresas.

Agora temos que analisar como as interações com os sistemas são robustas a ponto de que nenhuma transação seja perdida mesmo com falhas nos servidores dos respectivos datacenters.

Os serviços S3 da Amazon e o GFS da Google são mecanismos para preservação de estado robustas, mas que não oferecem meios para alteração dos dados armazenados. Então como as transações são armazenadas de forma segura?

No caso da Google a solução é bastante interessante: utilizar do mecanismo de append em fim de arquivo como uma forma de implementar uma fila FIFO de transações. Ou seja, um "change log".

Como isto funcionaria?

Por exemplo, digamos que tenhamos um arquivo com uma base de informações grandes. Então uma transação é efetuada provocando a alteração lógica de algum elemento. Esta transação é então armazenada como uma alteração no final de um arquivo separado de "log de alteração".

Logicamente isto implica que toda consulta agora precisaria consultar a base original e consultar os "logs de alteração" para verificar o valor correto, mas se o "log" não for muito grande não há grandes problemas.

Para o "log" não crescer sem parar, uma operação em background pode construir num novo arquivo uma segunda base atual com as alterações do "log", ou um novo arquivo com a base original completa contendo também os dados não alterados. O paper do GFS comenta sobre este mecanismo.

Já a Amazon disponibilizou um outro serviço web chamado Amazon Simple Queue Service (Amazon SQS) que implementa filas robustas específicas para o fim de registrar ações, com custos de $0,10 centavos de dólar por 1.000 mensagens para quem desejar desenvolver aplicações sobre este serviço.

O modo de uso acaba sendo semelhante ao implementado pelo Google, onde algum processo em background gerencia estas alterações armazenadas nas filas para construções de novas bases atualizadas.

A solução SQS da Amazon acaba sendo uma abstração mais avançada e específica para o registro de eventos e ações.

Computação sob demanda da Amazon: EC2

2008-06-06T12:03:00.002-03:00

Além do serviço S3 de storage, a Amazon também oferece o serviço Elastic Computing Cloud (EC2) para o provimento de servidores virtuais onde aplicações podem ficar ativas para oferecer serviços pela Internet.

Segundo a Amazon, o servidor virtual se comporta como um computador x86 de 1,7Ghz, com 1,75GB de RAM, 160GB de disco local, e 250Mb/s de banda de rede.

O EC2 funciona assim: você primeiro precisa de um AMI (Amazon Machine Images) que é basicamente uma imagem de um disco contendo o sistema operacional e que deve estar armazenado no S3.

Já existem vários AMIs públicos que podem ser usados para testes ou como base para a construção do seu próprio AMI.

Com o AMI definido, você requisita a iniciação de uma instância através de um web service autenticado que responde o IP que o servidor virtual vai ser encontrado em alguns minutos.

Após passados estes minutos, o servidor está pronto para usar e pode ser acessado por ssh, pela web, ou qualquer outro protocolo implementado em aplicações instaladas no AMI.

Não há nenhuma garantia quanto a permanência da instância. O servidor pode sair de operação por problemas de hardware por exemplo e perder todos os dados armazenados no disco local e na RAM. Portanto a Amazon recomenda implementar persistência ou no S3 ou replicada em várias instâncias de servidores virtuais EC2.

Não há necessidade de acordar nenhum tipo de período de uso e de quantidade de instâncias com a Amazon (dentro dos limites práticos para a Amazon), e você paga apenas $0,10 centavos de dólar por hora-instância consumidos. Uma instância pode ser desativada da mesma maneira que foi iniciada: através de outro web service.

A Google provavelmente implementa mecanismos parecidos para distribuir suas atividades computacionais, entretanto seu mecanismo não é de conhecimento público. De conhecimento público existe o modelo de programação MapReduce que é usado para implementar comutação distribuída e robusta. Com esta abstração, um escalonador de tarefas é capaz de distribuir processamento entre grande quantidades de servidores e garantir sua conclusão.

O interessante deste serviço é que a Amazon disponibilizou, a qualquer empreendedor motivado, uma solução de baixo custo para processamento sob demanda. Solução esta que permite construção de clusters massivos de usos temporários, sem a necessidade de nenhum investimento de hardware ou de infraestrutura de suporte de TI.

Ninguém precisa ficar com inveja da Google.

Storage na Amazon e na Google

2008-06-03T15:02:00.003-03:00

Como é que a Amazon e a Google armazenam suas absurdas demandas de persistência de informação?

Se você acha que é com grandes storages fiberchannel em RAID5, RAID6 ou RAID10 e instalações gigantescas de bancos de dados comerciais você estaria completamente enganado.

Tanto uma como a outra desenvolveu seus próprios mecanismos de armazenamento de informação em servidores convencionais usando simples discos ATAs.

A idéia é utilizar muitas máquinas com dados espalhados e com cópias redundandes em vários lugares, normalmente 3 cópias independentes.

A Amazon utiliza do serviço S3 internamente para implementar seus mecanismos de redundância. Este serviço permite o armazenamento e a recuperação de arquivos de até 2GB em uma estrutura de diretório, a remoção dos mesmos e a listagem destes diretórios.

Internamente o S3 implementa tudo o que é necessário para garantir a preservação dos dados e a acessibilidade dos mesmos. Os arquivos são copiados automaticamente para vários datacenters da Amazon.

O interessante deste serviço S3 é que a Amazon oferece este serviço para qualquer pessoa que tenha interesse de desenvolver aplicações com dados seguros por preços muito baixos: $0,15 centavos de dólar por GB armazenado, $0,10 por GB enviado à Amazon, até $0,18 por GB recebido da Amazon, e mais $0,01 por 1.000 envios ou listagens e $0,01 por 10.000 recebimentos.

Este é o caso da SmugMug, que se utiliza da estrutura da S3 para armazenar mais de 100 TB de fotos dos clientes deles.

Já a Google se utiliza da tecnologia do Google File System, que implementa de forma semelhante um mecanismo robusto de armazenamento dos dados.

A Google não oferece acesso por terceiros a este sistema, mas seu funcionamento é documentado neste paper.

O Google File System (GFS) implementa um mecanismo de quebrar os arquivos a serem preservados em chunks de 64MB por default, chunks estes que são replicados em 3 servidores ou mais.

As leituras são distribuidas entre as cópias permitindo multiplicar o throughput, já as escritas são feitas em seqüência entre os servidores e sempre na mesma ordem para que situações de corrida não façam as cópias ficarem diferentes. As escritas só são confirmadas para a aplicação se todas as cópias estão com o dado gravado corretamente.

Tanto a solução da Google como da Amazon não implementam mecanismos esperados em sistemas de arquivos convencionais, como a alteração no meio de um arquivo já gravado. A solução da Google entretanto permite a leitura a partir de um endereço aleatório e pelo menos anexar dados no final de arquivos previamente guardados.

E como é possível usar isso para substituir um banco de dados convencional?

Não é simples, mas com esta base funcional as duas empresas implementaram abstrações, tipo o BigTable (paper) do Google, que permitem hoje fazer ambas as empresas operar os seus negócios em escalas impensáveis para bancos convencionais.

Integração fixo-móvel para voz e dados na Vodafone Italia

2008-05-27T14:11:00.004-03:00

Vodafone Italia está anunciando o oferecimento de uma solução de integração Fixo-Móvel para voz e dados.

É um roteador com Wi-Fi, Ethernet e FXS para uso interno e ADSL2+ e 3G para conexão à operadora.

O adaptador 3g é um adaptador USB que fica conectado a uma porta USB do gateway, e que pode ser desacoplado para permitir acesso a Internet móvel a um notebook.

Um ponto interessante é que dentro da sua residência o chaveamento entre ADSL2+ e 3G é automático, permitindo que a operadora provisione serviço antes mesmo que o ADSL2+ esteja instalado na casa do cliente.

É uma solução interessante que permite que a operadora atenda a conectividade fixa e móvel num serviço único, e que promove uma fidelização do cliente para voz e dados.

O equipamento, segundo Dean Bubley, foi desenvolvido em conjunto com a Huawei.

92% do tráfego de dados 3G vem de PCs na Finlândia

2008-05-23T14:04:00.004-03:00

Esta informação é bastante surpreendente...

O 3G nasceu com o objetivo de oferecer comunicação multimídia de alta velocidade para terminais telefônicos inteligentes.

Mas o que acabou acontecendo praticamente de imediato? Virou mecanismo de acesso fixo e/ou nômade de acesso simples a Internet!

Dean Bubley comenta aqui sobre a apresentação que discute como está sendo usado o 3G na Finlândia, aonde num dos slides (slide 17) observa-se que 92% do uso da rede veio dos PCs no ano de 2007.

Será que terminais como o futuro iPhone 3G da Apple serão capazes de significantemente afetarem como o 3G será usado? Parece improvável...

Atualização: Brough também está analisando este dado, e ele argumenta que isto prova que 3G está sendo usado como "dump pipe" (cano burro) e que investimentos de IMS são de retorno duvidosos, no mínimo.

Wi-Fi Mesh para cidades não dá certo

2008-05-14T12:10:00.002-03:00

Vários relatos estão dando conta que cidades pioneiras em instalação de redes Mesh Wi-Fi estão desistindo de suas redes.

A tecnologia Wi-Fi se está mostrando inviável pela dificuldade de cobertura interna e em andares altos, exigindo em geral o uso de gateways externos às edificações.

Além disso a dificuldade de rentabilizar a rede e o desinteresse das operadoras convencionais em estimular esta tecnologia contribuíram para que estas iniciativas acabassem em descrédito.

Nômades Digitais e A Nova Força de Trabalho

2008-05-11T21:05:00.002-03:00

A revista "The Economist" publicou um artigo interessante sobre o processo de mudança que está em curso nos ambientes de trabalho das pessoas e seus novos modos de vida.

O ponto chave é que o trabalho até recentemente estava ligado diretamente a um espaço físico, como por exemplo o local aonde seu telefone ou fax, sua máquina de escrever, os arquivos ou mesmo outras ferramentas de trabalho estavam localizados.

Dada a esta limitação, os locais de trabalho foram desenhados para otimizar o uso funcional do espaço. Pessoas com atividades afins tinham que trabalhar em um espaço específico desenhado especificamente para a atividade fim.

O computador está mudando tudo. Hoje qualquer trabalho intelectual pode, em grande parte, ser executado a partir de um computador.

Nos últimos 10 anos isto já estava ficando claro, e os computadores passaram a ser colocados nos espaços funcionais desenhados no passado. Como os computadores eram grandes e precisavam de alimentação e conectividade, basicamente o computador foi colocado exatamente na escrivaninha de trabalho dos profissionais.

Nos últimos anos o computador ganhou alforria... Notebooks se tornaram cada vez mais leves, baratos e poderosos, e a conectividade está literalmente "no ar" através do Wi-Fi e, mais recentemente, através da tecnologia 3G dos celulares.

Para que agora manter os ambientes de trabalho organizado pelas atividades funcionais? E por que o trabalho tem que ser executado sempre no mesmo local? Se nós observarmos, em grande parte por causa do celular e do e-mail já passamos grande parte do nosso tempo do trabalho longe de nossas mesas normais de trabalho.

Estas mesas vazias mostram a ineficiência do uso do espaço no modelo antigo. Tanto que várias empresas visionárias já estão montando espaços multifuncionais, misturando estímulo a criatividade através de obras de arte, alimentação frugal disponível de forma livre e sofás organizados em círculos para o estímulo ao trabalho social multidisciplinar.

O artigo comenta também sobre as mudanças que estão acontecendo também com as cidades, onde as separações centro/subúrbio começam a desaparecer e espaços sociais de trabalho e lazer surgem nas imediações das residências.

Será que uma utopia aonde os escritórios dilbertianos não existem mais poderá se tornar uma realidade?

Brough: propriedade coletiva da rede de distribuição ótica

2008-04-16T12:18:00.002-03:00

Foi disponibilizada a apresentação de Brough na eComm2008 sobre sua proposta de política de construção de uma rede de fibra escura de uso coletivo como a melhor maneira de oferecer conectividade a sociedade.

Computadores Ultraportáveis: a nova fronteira

2008-04-09T15:17:00.003-03:00

Até agora estávamos brigando entre a interface e a performance limitada dos telefones celulares e o preço, o tamanho e baterias dos notebooks para as atividades de processamento de documentos e acesso a Internet.

Entramos agora na nova fronteira, que é exatamente este espaço entre o seu celular e o seu notebook ou desktop.

Como conseguir um dispositivo de baixo consumo, leve, pequeno o suficiente para carregar no lugar de uma agenda de papel?

A ASUS inaugurou o mercado com seu produto eeePC, um subnotebook de 900g baseado num Celerom da Intel, com memória flash de 4GB e sem disco rígido, com WiFi e bateria de mais de 3 horas. Preço de $350 dólares nos EUA e algo acima de R$1.100,00 aqui no Brasil.

A tela é limitada, apenas 7" e resolução de 800x600 e que obriga a rotação horizontal da tela em muitos sites na Internet. Como alternativa, um - reduz a fonte da página para algo quase impossível de ler. Além disso o teclado também é minúsculo, tornando impossível a digitação rápida sem catar-milho.

Aceitando estas limitações, você tem um equipamento extremamente portável com microfone e câmera de vídeo embutida para fazer as conferências de vídeo pelo Skype, acessar os documentos do GoogleDocs ou internamente pelo OpenOffice, e acessar o Firefox para acessar sua caixa de e-mail do GMail.

Este é apenas o prenúncio deste mercado, pois a Intel está prevendo lançar em junho seu processador Atom de baixo consumo e alta performance e ainda compatível com os PCs convencionais.

Saindo dos PCs, ainda existirão outros concorrentes correndo com arquiteturas diferentes, como o Qualcomm Snapdragon e processadores da VIA e da Freescale.

Comprei um eeePC azul bebê algumas semanas atrás e posso dizer que seu tamanho impressiona qualquer um. É um equipamento razoável para edição rápida de documentos e acesso a Internet que está operacional em 15 segundos.

Você pode carregar para qualquer lugar sem sofrimento e sem grandes riscos, já que você não vai poder mesmo usar ele como repositório central de suas mídias ou como equipamento principal de trabalho...