Redes Neurais Artificiais

Simulação do comportamento humano: estamos no caminho certo?

2011-11-23T13:03:00.001-02:00

A computação serve de auxílio obrigatório para os estudos mais modernos de áreas distintas do conhecimento, principalmente nos que estão relacionados com comportamentos fisiológicos e psicológicos dos seres humanos. Cria-se simuladores para tudo. Há programas que simulam o modo de falar, de ouvir e de pensar dos homo sapiens sapiens mas toda simulação, por mais avançada que seja, deixa a desejar.

Há alguns meses, o supercomputador da IBM (o Watson) se tornou manchete de vários jornais, especialmente nos Estados Unidos, por ter vencido um jogo de Jeopardy contra outros jogadores humanos em um canal de televisão. A causa para esta fama foi a capacidade do computador de entender as palavras ditas pelo apresentador, interpretá-las e encontrar soluções quase sempre corretas. Fascinante o poder de simulação que a máquina possui, mas, por mais otimista que você seja, há de convir comigo que falta muito para se igualar ao modo de pensar de um ser humano.

É relativamente fácil desenvolver programas que realizaem otimização de rotas, identificação de idiomas, reconhecimento de voz e imagens porque estas tarefas são de certa forma agrupáveis (ainda que em grupos não tão delimitados). O grande desafio da Inteligência Artificial sempre foi criar computadores que pensem de fato como pensamos, que sejam subjetivos, que emitam opinião crítica sobre o que estão fazendo. Criar computadores que entendam o que estão fazendo, o porquê de estarem fazendo aquilo e que questionem seus próprios métodos é a meta de muitos cientistas e o sonho de escritores de ficção científica. Simular emoções, sentimentos, sensações seriam apenas uma descoberta no meio do caminho.

Mas, para alcançarmos esse nível de tecnologia precisaríamos aprender mais sobre o nosso próprio comportamento, descobrir como pensamos e sentimos e aprender a simular tudo isto em um ambiente virtual. Para isto, é preciso analisar a mente humana, conhecê-la, interpretá-la e só então partir para a modelagem. Os pesquisadores de Inteligência Artificial que tem estes objetivos deveriam então caminhar de braços dados com a neurociência, aprender com todos os seus estudos e "lixar" o modelo computacional atual. Concordo com o que pesquisador Marcelo Masson Maroldi diz em seu artigo Computação e Cognição:

Ademais, parece, em princípio, que a inteliência artificial parece se preocupar mais com os aspectos formais e tecnológicos para seu desenvolvimento do que com a absorção de elementos teóricos a seus modelos. A robótica, em especial, almejando reproduzir rapidamente em máquinas comportamento similar ao do ser humano, acaba por se esquecer da análise fundamental dos mecanismos cognitivos a serem replicados nestes objetos. Mais especificamente, a robótica e mesmo a IA como um todo, por vezes chegam a minimizar alguns estudos envolvidos no desenvolvimento de funções cognitivas, ora atribuindo menor valor ao estudo da filosofia da mente, da neurociência e da biotecnologia, ora ignorando completamente a psicologia e estudos correlatos.

Claro que há iniciativas inovadores, diferentes (como exemplo, novamente a IBM) mas ainda há muito o que aprender com a filosofia, a psicologia e a neurociência sobre a mente humana e que não pode ser descartado ou ignorado. É preciso conhecer mais para modelar melhor ao invés de esperar que o modelo evolua conforme as necessidades vão surgindo.

Cursos online gratuitos em Stanford

2011-08-23T13:42:00.000-03:00

Já tem um tempo que Stanford, uma das mais renomadas universidades do mundo na área de computação, disponibiliza disciplinas de seus cursos online. Existe um site Stanford Engineering Everywhere contendo várias disciplinas de cursos de engenharia (desde transformada de Fourier até Programação para iPhone). Mas neste outono (hemisfério norte) decidiram fazer algo de diferente: vão disponibilizar cursos online junto com as aulas presenciais e aqueles que se matricularem pela internet poderão fazer inclusive os mesmos testes fornecidos em sala de aula e ainda receberão um "feedback" da sua performance. Não, não tem certificado.

Segue abaixo a relação dos cursos disponíveis, as aulas começam em outubro:

É sem dúvida uma excelente oportunidade de aprendizado.

IBM e Computação Cognitiva

2011-08-22T13:38:00.000-03:00

A IBM anunciou na semana passada o lançamento de uma série de chips "neurosinápticos", elaborados com a capacidade de simular o cérebro humano nas habilidades cognitivas, de ação e percepção. O projeto é apelidado de SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics) e tem dois protótipos que estão sendo testados.

De acordo com a IBM, os novos chips não serão programados da forma que tradicionalmente é feita, com linguagens de programação estruturada, orientada a objetos e etc. Os sistemas cognitivos aprendem com a experiência, encontram correlações, criam hipóteses, se lembram das respostas dadas e aprende com elas. Para alcançar este objetivo a multinacional investiu pesado em nanotecnologia, neurociência, supercomputação e claro, computação cognitiva.

Bom, estes conceitos de computadores adaptativos e evolucionários não são recentes, se olhássemos apenas por este prisma pensaríamos que a IBM só quer fazer mais um pouco de buzz marketing. Mas algo chama a atenção no SyNAPSE como é explicado no anúncio do projeto à imprensa:

O objetivo do SyNAPSE é criar um sistema que não apenas analise informações complexas de múltiplas modalidades de sensores de uma vez, mas também que se reconecte sozinho enquanto interage com o seu ambiente - tudo isto rivalizando com um cérebro compacto e baixo uso de energia.

Mas, além da economia e da possibilidade de resolver problemas de forma dinâmica, os computadores cognitivos podem mudar o paradigma da arquitetura de computadores utilizadas atualmente: a de von Neumann. Nesta arquitetura, temos basicamente uma unidade Memória, uma Unidade Lógica Aritmética e uma Unidade de Controle, o processamento é feito a partir das instruções de programas transcritos para a memória, a lógica de programação é aplicada e há uma saída correspondente à entrada e ao processamento.

Ilustração representando a "Arquitetura de von Neumann". Fonte: Wikipedia

O "problema" desta arquitetura é que as estruturas são fixas (a ULA não muda a não ser que você faça um upgrade do seu processador), o processamento é sempre feito a partir das instruções, e uma vez que as instruções e os dados de entrada são os mesmos, a saída tem que ser a mesma. Esta arquitetura serve e muito ao nível de computação que temos hoje, só que não é tão eficiente quando se deseja que as máquinas "compreendam" o meio onde estão inseridas e tomem ações de maior eficácia levando em conta termos mais subjetivos.

Se quisermos, por exemplo, prever um tsunami e se tivermos informações como temperatura, pressão, peso de onda, acústica e agitação do mar, podemos chamar algum oceanógrafo e pedir pra ele analisar se os dados coletados contem indícios de uma possível catástrofe. Mas, se não tivermos um oceanógrafo por perto? Usando computação cognitiva (ainda que em computadores com a arquitetura atual) podemos fornecer as informações e, com base no histórico e nos estudos científicos conhecidos, a própria máquina emita um alerta caso as condições sejam semelhantes à de um tsunami.

Ainda pode parecer que a iniciativa de criar estes chips não seja tão inovadora, já que podemos construir tudo isto com redes neurais usando a arquitetura atual. Mas o grande ponto aqui é que os próprios chips já são redes neurais, são circuitos formados por sinapses, neurônios e axônios artificiais, baseados principalmente no funcionamento do cérebro biológico. Os chips da IBM possuem 256 neurônios com algo em torno de 300 mil sinapses mas já deixou claro que querem fazer muito mais, o objetivo a longo prazo é construir uma rede com 10 bilhões de neurônios e 100 trilhões de sinapses, se aproximando dos nossos 100 bilhões de neurônios e 500 trilhões de sinapses. É ousado mas, promissor.

O vídeo abaixo explica um pouco mais sobre o hardware usado nos chips do projeto SyNAPSE:

OCR e Javascript - Resolvendo Captchas do Megaupload

2011-08-09T13:53:00.002-03:00

OCR é um acrônimo para o inglês Optical Character Recognition, uma tecnologia para reconhecer caracteres a partir de um arquivo de imagem, ou mapa de bits. Através do OCR é possível digitalizar uma folha de texto impresso e obter um arquivo de texto editável [Wikipedia].

Na verdade, não precisa ser necessariamente de um arquivo de imagem, OCR é também muito utilizado em dispositivos portáteis (tablets, celulares, PDAs etc.). Nos EUA, a tecnologia OCR é também utilizada pelos serviços postais, o software faz a leitura dos zip codes (correspondente ao nosso CEP) e redirecionada para um lugar apropriado para a entrega. Um uso desta tecnologia anunciado recentemente será feito em São Paulo, de acordo com o Olhar Digital, 500 câmeras de alta resolução serão instaladas nas rodovias da cidade e terão a função de identificar carros roubados ou que estejam com documentos irregulares, o OCR fará a leitura das placas dos carros e irá cruzar informações com um banco de dados. Fascinante!

Mas, há uma aplicação bastante peculiar que pode ser usada na internet: usar algoritmos de OCR para resolver captchas. O script que realiza esta façanha foi escrito por Shaun Friedle e está disponível para uso com a extensão GraseMonkey, apelidado de Megaupload auto-fill captcha greasemonkey script justamente por ter sido criado para resolver os captchas que existiam no Megaupload.

Um captcha qualquer

Mas como funciona isto? A primeira coisa que o algoritmo faz é a leitura da imagem, neste exemplo em particular, o autor do script utilizou a API do ainda-não-finalizado HTML5, particularmente a propriedade getImageData para extrair os dados da imagem e convertê-la em um array de pixels na escala de cinza. É o que a função abaixo faz:

function convert_grey(image_data){
  for (var x = 0; x < image_data.width; x++){
    for (var y = 0; y < image_data.height; y++){
      var i = x*4+y*4*image_data.width;
      var luma = Math.floor(image_data.data[i] * 299/1000 +
        image_data.data[i+1] * 587/1000 +
        image_data.data[i+2] * 114/1000);
      image_data.data[i] = luma;
      image_data.data[i+1] = luma;
      image_data.data[i+2] = luma;
      image_data.data[i+3] = 255;
    }
  }
}

Destaco esta função apenas para se ter uma noção geral de como é feita a conversão de cada bloco de pixel. Este script funciona apenas para os captchas do Megaupload, visto que eles possuem sempre a mesma fonte, apenas mudando as cores de cada letra. Aproveitando-se disso, agora é possível separar os três caracteres a partir de um filtro de cores:

filter(image_data[0], 105);
filter(image_data[1], 120);
filter(image_data[2], 135);

Os números 105, 120 e 135 indicam o número correspondente na escala de cinza que as letras possuem (a escala é de 0 a 255). A função filter pode ser conferida abaixo:

function filter(image_data, colour){
  for (var x = 0; x < image_data.width; x++){
    for (var y = 0; y < image_data.height; y++){
      var i = x*4+y*4*image_data.width;
      // Turn all the pixels of the certain colour to white
      if (image_data.data[i] == colour) {
        image_data.data[i] = 255;
        image_data.data[i+1] = 255;
        image_data.data[i+2] = 255;
      
      // Everything else to black
      } else {
        image_data.data[i] = 0;
        image_data.data[i+1] = 0;
        image_data.data[i+2] = 0;
      }
    }
  }
}

Após fazer a filtragem das letras, é preciso fazer alguns ajustes antes de aplicar a imagem à rede neural. Como o script é muito extenso, não o reproduzo aqui, mas basicamente os passos são: remover ruídos existentes e por último a imagem é cortada em um bloco 20x25, levando em conta as posições dos pixels da letra (o captcha não aparece com o mesmo alinhamento, as letras podem estar com um pouco de rotação ou desalinhadas verticalmente). Após alguns outros ajustes geniais do autor,a matriz final contém apenas blocos contendo ou a cor branca ou a cor preta, o que já deixa claro que este array multidimensional pode ser facilmente utilizado como entrada em uma rede neural.

O uso de uma arquitetura RNA neste caso resolve muito bem o problema, visto que a rede consegue aprender o alfabeto (através do ajuste dos pesos) e depois identificar qual letra corresponde à imagem vista. E isto apesar do caractere estar um pouco rotacionado ou até mesmo deformado no final do tratamento da imagem. A arquitetura utilizada aqui consiste de 64 entradas booleanas (branco ou preto) e de 64 pesos pré-computados (também, através do ajuste dos pesos). Por fim, a rede retorna o valor que possui maior probabilidade (dentre os caracteres alfanuméricos possíveis).

As funções que definem um Neurônio estão transcritas abaixo:

function Neuron()
  {
    this.activation = 0;
    this.bias = -1;
    this.threshold = 0;
    this.weights = [];
  }

Neuron.prototype.feed = function(inputs)
  {
    this.activation = 0;
    for (var i = 0; i < inputs.length; i++)
      {
        this.activation += inputs[i] * this.weights[i];
      }
    this.activation += this.bias*this.threshold;
  }

Neuron.prototype.output = function()
  {
    return 1/(1+Math.exp(-this.activation));
  }

A função de ativação usada é a sigmóide ou logística, já apresentada neste post.
As demais funções que definem a rede em si podem ser vistas abaixo e não tem muito segredo:

function NeuralNet()
  {
    this.h_layer = [];
    this.o_layer = [];
  }

NeuralNet.prototype.create_layer = function(weights)
  {
    var layer = [];

    for (var i = 0; i < weights.length; i++)
      {
        var neuron = new Neuron;
        neuron.threshold = weights[i][0];
        neuron.weights = weights[i][1];

        layer.push(neuron);
      }

    return layer;
  }

NeuralNet.prototype.feed = function(inputs)
  {
    var h_outputs = [];
    
    for (var i = 0; i < this.h_layer.length; i++)
      {
        this.h_layer[i].feed(inputs);
        h_outputs.push(this.h_layer[i].output());
      }

    for (var i = 0; i < this.o_layer.length; i++)
      {
        this.o_layer[i].feed(h_outputs);
      }
  }

NeuralNet.prototype.output = function()
  {
    var output = [];

    for (var i = 0; i < this.o_layer.length; i++)
      {
        output.push(this.o_layer[i].output());
      }

    return output;
  }

NeuralNet.prototype.test = function(inputs)
  {
    this.feed(inputs);
    return this.output();
  }

Para quem já conhece as teorias básicas para a construção de um perceptron não terá dificuldades em entender os últimos códigos postados aqui. A maior complexidade está no tratamento da imagem para inserir como entrada na rede, nada que um pouco de conhecimento em HTML5/JavaScript e uma dose de genialidade não resolva. A conclusão que se chega é que as novas tecnologias browser-side vão facilitar e agilizar muito o processamento de dados e é também fascinante perceber a imensidão de utilidades que as redes neurais proporcionam.

Você pode conferir a execução do algoritmo neste link.

Rede neural não tão artificial assim...

2011-07-22T13:23:00.000-03:00

Pesquisadores da prestigiosa Caltech conseguiram criar uma rede neural artificial, porém biológica. Contendo quatro neurônios artificiais e composta por 112 trechos distintos de DNA, a rede foi treinada para resolver um jogo proposto.

O jogo consiste em identificar um dentre quatro cientistas, cada cientista é representado por quatro respostas únicas de sim ou não. Um jogador humano pensa em algum cientista e decide algumas respostas para que os neurônios possam descobrir qual foi o cientista que o jogador pensou ou informar que não há informação suficiente para decidir. O envio das respostas do jogador é feito jogando trechos de DNA, correspondente às respostas dentro do tubo de teste e a rede responde através de sinais florescentes!

Os cientistas (da Caltech, não do jogo) testaram 27 das 81 possíveis combinações de respostas e a rede respondeu corretamente a todas elas. Esta rede neural demonstra a habilidade (particular do nosso cérebro) de receber um padrão incompleto e "adivinhar" o que ele representa, mas isso não é novidade para a ciência desde os anos 40, o que é fantástico aqui é a possibilidade de se criar esta habilidade com moléculas e não com circuitos ou programas de computador.

Não dá pra não dizer que é uma experiência fantástica e que pode abrir muitas outras possibilidades de uso, como por exemplo na Medicina, Química e Biologia. É possível até imaginar uma pílula capaz de realizar diagnóstico de doenças.

Mais informações sobre como foi desenvolvida a rede podem ser encontradas aqui ou no artigo original publicado na Nature.

Perceptron - Uma breve explicação

2011-06-13T13:54:00.006-03:00

O perceptron é o tipo mais básico de rede neural.O primeiro modelo de uma rede neural artificial demonstrou matematicamente a possibilidade de simulação do aprendizado cerebral. Este modelo simulava um neurônio com entradas e pesos que, ajustados teriam o "poder" de aprender a se comportar de determinada forma. Entretanto, este modelo ainda era muito fraco e era preciso que se conhecessem os pesos para se encontrar determinada saída, era preciso criar uma forma de gerar os pesos algoritmicamente.

Um algoritmo de "ajuste automático" destes pesos foi criado em 1957 por Frank Rosenblatt e funciona da seguinte forma: o usuário fornece as entradas e as saídas esperadas e os pesos recebem valores iniciais (geralmente zero), as entradas são multiplicadas aos pesos e depois tudo é somado e avaliado com um valor de limite, caso esta soma seja maior que este valor, o resultado é 1, caso contrário, -1.

A imagem abaixo representa de forma fiel um Perceptron, que nada mais é que um neurônio de MCP:

Os pesos (Wn) são multiplicados com as entradas (an), a soma dos dois é aplicada a uma função σ, geralmente uma destas três:

Função sigmóide: σ(x)=11+exp(−x),
Tangente Hiperbólica: σ(x)=tanh(x),
Linear simples: σ(x)=x

Se o resultado de (x) for positivo, o resultado é 1, caso contrário, -1.
O perceptron, então é ajustado de acordo com a fórmula abaixo:

Wi(t+1) é o novo peso, que é ajustado levando em conta: o peso anterior e o erro. O erro é calculado pela diferença entre o valor esperado (dj) e o valor encontrado (yj), multiplicado pela entrada associada àquele peso e a, que é um valor chamado de taxa de aprendizado. A taxa de aprendizado, geralmente com um valor muito pequeno (como 0,000001) ajuda o perceptron a não "fugir" muito da solução ideal.

Este tipo de rede neural é muito utilizado para classificar dados em dois conjuntos (1 ou -1), uma representação bastante utilizada é um gráfico com uma linha divisória, separando os tipos de dados diferentes.

A inclinação da reta na imagem acima depende da taxa de aprendizagem.

Portanto, é possível encontrar maior ou menor precisão de acordo com o ajuste da mesma.

Neste site, é possível encontrar uma implementação deste perceptron em C#.

Simulação de esquizofrenia em computador

2011-05-10T14:02:00.000-03:00

Agora já é possível simular transtornos psiquiátricos em computador. Em um estudo feito pela Universidade do Texas (USA) e publicado na edição de abril do jornal Biological Psychiatry, um computador concluiu ser ele próprio o autor de um ataque terrorista recente.

Ok, isto não é algo impossível (vide filmes de ficção científica de Hollywood), mas o que diferencia este computador é que ele absolutamente não é o autor do ataque, mas assumiu a autoria através de dados fornecidos pelos pesquisadores. Eles conseguiram simular o comportamento ilusório que pessoas com esquizofrenia possuem, uma condição chamada de derailment (algo como "situação de desvio"), onde os pacientes perdem a habilidade de esquecer fatos irrelevantes ou de filtrar informações.

Uma hipótese que procura explicar isto é conhecida como teoria hyperlearning da esquizofrenia, que diz que a incapacidade de esquecer pode levar o cérebro a fazer falsas associações (uma vez que não é possível perceber quais fatos são relevantes) e, consequentemente, a criar visões totalmente incoerentes da realidade.

Mas, como fizeram isto?
O estudante de Ciência da Computação Uli Grasemann e seu professor Risto Miikkulainen utilizaram o algoritmo DISCERN (desenvolvido por Miikkulainen), um sistema de redes neurais de reconhecimento de linguagem natural utilizado para ler, parafrasear e responder questões sobre estórias fornecidas.

O estudo foi feito com base na teoria hyperlearning da esquizofrenia, onde foi possível perceber o que acontece com a linguagem em oito diferentes tipos de disfunções neurológicas. Algumas estórias simples eram contadas ao DISCERN, que as guardava em sua memória (semelhante ao modo que nós fazemos) e fazia associações entre frases, palavras e estórias. Os resultados foram analisados pelo professor de psiquiatria da Escola de Medicina de Yale, Ralph Hoffman.

Pode parecer que Grasemann e Miikkulainen estão tentando provar a teoria hyperlearning da esquizofrenia, mas uma declaração de Grasemann esclarece:

"Você não pode realmente provar alguma coisa com um modelo computacional como este. O que você pode ter é um modo conveniente e poderoso de expressar hipóteses. Então, você volta para a pesquisa clínica." - Grasemann

Fontes:
Artigo Using Computational Patients to Evaluate Illness Mechanisms in Schizophrenia
Algoritmo DISCERN

Pessoas citadas:
Uli Grasemann
Risto Miikkulainen
Ralph Hoffman

Video Aulas de Inteligência Artificial - NPTEL

2010-12-04T14:41:00.000-02:00

A dica do dia é o site NPTEL. O National Programme on Technology Enhanced Learning é uma iniciativa de vários institutos de tecnologia indianos que, com a intenção de aprimorar o conhecimento dos estudantes, disponibilizaram videoaulas (em inglês) de cursos de diversas áreas de Engenharia (Civil, Computação, Elétrica, Eletrônica e Comunicação e Mecânica).

No curso de Inteligência Artificial, existem duas aulas sobre aprendizagem usando Redes Neurais:

Você pode acessar os demais cursos por este link.

Bons estudos.

Download Ebooks de Redes Neurais em Java e C#

2010-12-03T15:13:00.001-02:00

Separei aqui três links para quem quiser aprender Redes Neurais com C# e/ou Java

Todos os livros foram escritos por Jeff Heaton, o cara é o fundador do Heaton Research e desenvolvedor do framework Encog que é usado em todos os 3 livros ( já falei do Encog aqui). Os dois primeiros e-books são para aprender os princípios básicos mesmo e o segundo é para aprofundar no framework.

Bom proveito! =D

Implementação de XOR nos 3 principais frameworks JAVA

2010-11-06T14:56:00.004-02:00

Existem 3 principais frameworks em Java para o desenvolvimento de redes neurais, são eles:

Vamos implementar uma rede de camadas múltiplas (MLP) para a solução do problema (clássico em RNA) de reconhecimento da operação lógica XOR, podemos comparar os três frameworks e tirar algumas conclusões. Uma operação XOR representa um OU exclusivo, ou seja, só é verdadeiro quando as entradas são diferentes entre si (ou uma entrada ou outra é verdadeira, nunca ambas):

Abaixo mostro as implementações de cada framework comentadas

Implementação usando Encog

O Encog possui uma grande variedade de técnicas de treinamento da rede, aqui será usado o a técnica LMA mas você poderia usar outras técnicas clássicas como Backpropagation ou Resilient Propagation (RPROP):

Implementação usando Neuroph

Aqui será utilizada a ténica Backpropagation, não é uma técnica tão avançada quanto a Levenberg-Marquardt que pode ser usada no Encog.

/**CRIAÇÃO DA REDE*/

//A rede será um Perceptron de Múltiplas Camadas, com 2 neurônios de entrada, 1
//na saída e uma camada intermediária com 3 neurônios e a função de ativação
//é o tangente hiperbólico
MultiLayerPerceptron network =
 new MultiLayerPerceptron(TransferFunctionType.TANH, 2, 3, 1);

/**TESTES*/

//Cria-se a estrutura para treinamento supervisionado
TrainingSet trainingSet = new TrainingSet(2, 1);
trainingSet.addElement(new SupervisedTrainingElement
  (new double[]{0, 0}, new double[]{0}));
trainingSet.addElement(new SupervisedTrainingElement
  (new double[]{0, 1}, new double[]{1}));
trainingSet.addElement(new SupervisedTrainingElement
  (new double[]{1, 0}, new double[]{1}));
trainingSet.addElement(new SupervisedTrainingElement
  (new double[]{1, 1}, new double[]{0}));

//A técnica de treinamento é uma variação Neuroph para o Backpropagation
DynamicBackPropagation train = new DynamicBackPropagation();
train.setNeuralNetwork(network);
network.setLearningRule(train);

//Realiza os testes propriamente ditos
int epoch = 1;
do
{
  train.doOneLearningIteration(trainingSet);
  System.out.println("Epoch " + epoch + ", error=" + train.getTotalNetworkError());
  epoch++;

  } while(train.getTotalNetworkError()>0.01);
  Once we are done, we display the trained network’s results.
  System.out.println("Neural Network Results:");
  for(TrainingElement element : trainingSet.trainingElements()) {
    network.setInput(element.getInput());
    network.calculate();
    Vector output = network.getOutput();
    SupervisedTrainingElement ste = (SupervisedTrainingElement)element;

  System.out.println(element.getInput().get(0) + ","
     + element.getInput().get(0)
     + ", actual=" + output.get(0) + ",ideal=" + ste.getDesiredOutput().get(0));

Implementação usando Joone

Joone é o framework mais antigo dentre os anteriores, o projeto começou em 2001 enquanto os outros dois começaram em 2008. A técnica de treinamento utilizada será o Backpropagation.

public static double XOR_INPUT[][] = { { 0.0, 0.0 }, { 1.0, 0.0 },
{ 0.0, 1.0 }, { 1.0, 1.0 } };
public static double XOR_IDEAL[][] = { { 0.0 }, { 1.0 }, { 1.0 }, { 0.0 } };

/**CRIAÇÃO*/

//É preciso criar cada camada individualmente, a camada de entrada será linear
LinearLayer input = new LinearLayer();
SigmoidLayer hidden = new SigmoidLayer();
SigmoidLayer output = new SigmoidLayer();

//Nomes para as camadas
input.setLayerName("input");
hidden.setLayerName("hidden");
output.setLayerName("output");

//Quantidade de neurônios para cada camada
input.setRows(2);
hidden.setRows(3);
output.setRows(1);

//É preciso criar sinapses para ligar as camadas e depois nomeá-las
FullSynapse synapse_IH = new FullSynapse(); 
FullSynapse synapse_HO = new FullSynapse();
synapse_IH.setName("IH");
synapse_HO.setName("HO");

//Adiciona as sinapses nas camadas
input.addOutputSynapse(synapse_IH);
hidden.addInputSynapse(synapse_IH);
hidden.addOutputSynapse(synapse_HO);
output.addInputSynapse(synapse_HO);

/**TESTES*/

//É preciso criar um Memory Sinapse para alimentar os arrays do XOR
MemoryInputSynapse  inputStream = new MemoryInputSynapse();

//Especifica-se o array a ser usado em cada camada
inputStream.setInputArray(XOR_INPUT);
inputStream.setAdvancedColumnSelector("1,2");

//Adiciona o objeto à sinapse
input.addInputSynapse(inputStream);

//Cria uma sinapse de treinamento para a rede
TeachingSynapse trainer = new TeachingSynapse();
MemoryInputSynapse samples = new MemoryInputSynapse();

//Especifica a saída ideal
samples.setInputArray(XOR_IDEAL);
samples.setAdvancedColumnSelector("1");
trainer.setDesired(samples);

//Conecta a sinapse de treinamento
output.addOutputSynapse(trainer);

//Cria uma rede neural para toda a estrutura
this.nnet = new NeuralNet();

//Adiciona as camadas à rede
nnet.addLayer(input, NeuralNet.INPUT_LAYER);
nnet.addLayer(hidden, NeuralNet.HIDDEN_LAYER);
nnet.addLayer(output, NeuralNet.OUTPUT_LAYER);

//Cria um monitor para fazer o treinamento
this.monitor = nnet.getMonitor();
monitor.setTrainingPatterns(4); // Quantidade de linhas existentes na entrada
monitor.setTotCicles(1000); // Ciclos de treinamento
monitor.setLearningRate(0.7);
monitor.setMomentum(0.3);
monitor.setLearning(true); // Configura a rede para treinamento
monitor.setSingleThreadMode(true);  //Modo Single Thread
monitor.addNeuralNetListener(this);
}

Resultados

Em geral, Encog gasta em torno de 60 iterações, Neuroph algumas centenas e o Joone facilmente chega a 5000 iterações sem apresentar resultados. Ao fazer o teste com cada um deles, nota-se que o Joone não é mais uma boa escolha em comparação com os outros dois frameworks, acontece que ele possui muitos bugs e não possui mais suporte, estas foram as principais razões que fizeram Jeff Heaton a iniciar seu próprio projeto de framework em Java: o Encog. O Encog é o framework mais completo, possui técnicas mais avançadas de treinamento em relação ao Neuroph e é mais bem documentado.

Fontes e Links diversos:

Texto e código adaptados de Comparing Neural Networks in Neuroph, Encog and JOONE
Técnica de LevenbergMarquardt: Método de Levenberg-Marquardt
Introdução ao Encog: An Introduction to Encog Neural Networks for Java

Identificação de bovinos

2010-11-04T09:27:00.002-02:00

Esta notícia já foi publicada em vários sites e portais de tecnologia mas vale a pena cita-la novamente aqui. Pesquisadores da faculdade de Zootecnia e Engenharia de Alimentos da USP testaram uma ferramenta baseada em RNA que faz a identificação biométrica em bovinos através do focinho. Assim como nós seres humanos temos impressões digitais únicas, os bovinos possuem linhas únicas no focinho que permitem distinguí-los. A captação de imagens, treinamento e desenvolvimento da rede neural serão concluídas até o final do ano, e os estudos, que são conduzidos pela zootecnista Carolina Melleiro Gimenez irão avançar: ela pretende começar a desenvolver um sistema de leitura das informações dos bovinos.

A eficiência da técnica é comprovada, como diz a própria Carolina: "“Fotografamos cada animal, um a um, obtendo cerca de 16 imagens por animal que foram armazenadas na base de dados. Desse total, cerca de 2/3 estão sendo aproveitadas no treinamento da rede e 1/3 para testar a rede”. Os animais foram fotografados aos 11 e 23 meses de idade. “Neste período constatamos que não houve mudança no padrão. Observamos apenas alterações mínimas mas que não chegam a alterar o padrão de identificação”, garante Carolina.

A pesquisa pretende revolucionar os sistemas de identificação e rastreamento bovino, que hoje são feitos usando brincos e bótons, com o método atual existem perdas que podem representar até 10% do rebanho. "“Há situações em que um animal pode “tirar” o brinco ou o bóton de outro, ou mesmo que a numeração se perca quando boi se coçar numa cerca por exemplo. "

A vantagem de se usar o rastreamento com RNA está aí: os animais não poderão retirar seu próprio focinho (=P), o que torna esta pesquisa muito promissora e efetiva. Vamos continuar torcendo para que pesquisas multidisciplinares como estas sejam incentivadas!

Texto adaptado de: Agência USP de Notícias

RNA e o Setor de Transporte do Brasil

2010-10-26T17:15:00.000-02:00

A tese de mestrado Aplicação de Redes Neurais Artificiais no Setor de Transportes no Brasil de Fernanda Corrêa, da UFSCar, mostra a evolução do uso de de RNA no sistema de transporte brasileiros, a autora faz uma revisão da literatura que trata do assunto e identifica que desde a metade da década de 90, o Brasil aplica Redes Neurais no Setor de Transportes principalmente para o planejamento de transporte, a engenharia de tráfego e a gerência e manutenção de pavimentos.

A maioria das publicações tratam do Planejamento e Operação de Transportes, especialmente no Setor de Transporte Terrestre. Fernanda dividiu os estudos encontrados em contextos: o de Economia e política de transportes é o que mais teve trabalhos realizados, existem pesquisas sobre avaliação e ordenamento de alternativas de projetos de transportes, previsão de demanda, estimação de potenciais de viagens e sobre planejamento de transporte em geral. Também há pesquisas sobre Análises de Padrões de tráfego (que tratam principalmente da estimação de fluxo de pedestres e da identificação e delimitação de regiões metropolitanas) e sobre Previsão de tráfego, Aspectos relacionados com os motoristas e Estimação de parâmetros.

No Setor de Transporte Aéreo, a autora cita o trabalho de Scarpel e Miolin - ambos do ITA - que utiliza otimização e foi aplicado para fazer a previsão da receita líquida das empresas de transpore áereo. Interessante notar que não se sabe muito sobre as pesquisas que envolvem o Transporte Aéreo, este setor - principalmente nos países desenvolvidos - é fortemente mantido por organizações de pesquisa e vários trabalhos não são publicados por motivos de segurança.

A área de Planejamento e Operação de Trânsito também possui destaque nas pesquisas, os principais temas abordados são a conservação de pavimentos (calçadas, rodovias e etc.), o previsão e controle de tráfego (previsão de risco de acidentes e reconhecimento de placas de sinalização), Economia e política de transportes e Estimação de parâmetros.

A pesquisa ainda trata de vários outros temas, faz uma revisão sobre redes neurais e além de mostrar somente as aplicações brasileiras, há um capítulo que trata da experiência internacional sobre o assunto. É uma fonte importante para quem deseja pesquisar sobre planejamento de transporte ou mesmo conhecer melhor as aplicações de inteligência artificial nesta área tão carente de incentivos de pesquisa.

Links

O trabalho citado neste post: Aplicação de Redes Neurais Artificiais no Setor de Transportes no Brasil - Fernanda Corrêa
Acessibilidade e Mobilidade na Estimativa de um Índice Potencial de Viagens Utilizando Redes Neurais Artificiais e Sistemas de Informações Geográficas
O trabalho de Scarpel e Miolin (2007) - Otimização na formação de agrupamentos em problemas de composição de especialistas

Detecção de defeitos em linhas de transmissão com Redes Neurais

2010-10-23T18:43:00.003-02:00

Redes Neurais possuem características que as tornam muito eficientes na resolução de algums problemas, algumas delas são: a capacidade de adaptação (importante na identificação de fenômenos não lineares), tolerância a falhas e capacidade de aprendizagem, algumas aplicações importantes destas características são:

aproximação de funções;
previsão de séries temporais;
classificações;
reconhecimento de padrões.

A tese de mestrado defendida por Ângelo Rocha de Oliveira da Universidade Federal de Juiz de Fora em 2005, Redes Neurais Artificiais Aplicadas na Detecção, Classificação e Localização de Defeitos em Linhas deTransmissão, comprova como as RNAs podem ser úteis em todas as áreas da ciência.

Este trabalho possui uma rica revisão da evolução histórica das Redes Neurais e de algums algoritmos muito importantes como Perceptron, Adaline e os Perceptrons de Várias Camadas (MLP). Como o próprio nome sugere, Ângelo Rocha desenvolveu um sistema para detectar, classificar e localizar defeitos em linhas de transmissão.

A rede desenvolvida por ele possui 12 neurônios de entradas, uma camada de neurônios ocultos e 1 saída (indicando se a linha de transmissão está normal ou com defeito), a função de treinamento é a trainrp que nada mais é que o algoritmo de backpropagation melhorado, evitando alterações suaves de pesos sinápticos e assim, acelerando a convergência. O algoritmo encontra defeitos e para não alertar o sistema de proteção de forma antecipada, o sinal de defeito é enviado após 10 saídas consecutivas identificando defeito.

Linhas de transmissão estão muito propensas a erros, como dito no trabalho:

A linha de transmissão é, dentre todos os equipamentos de um sistema elétrico de potência, o que está mais sujeito a defeitos, tendo em vista sua vulnerabilidade em relação a descargas atmosféricas, que são as principais fontes geradoras de distúrbios. Logo, o principal objetivo dos sistemas de proteção de linhas de transmissão é impedir que defeitos em sua área de atuação comprometam a integridade da linha, bem como a estabilidade do sistema.

A justificativa para utilização de RNA é apresentar um sistema alternativo de proteção que, aliado à sistemas convencionais, melhorando a eficiência e a precisão na identificação de falhas. Aliás, a precisão dos testes realizados identificou que a rede de classificação apresentou um erro de apenas 0.1% !

O primeiro modelo de um neurônio criado por McCulloch e Pitts

2010-10-17T19:55:00.002-02:00

Para entender o futuro vamos olhar para o passado. Vamos conhecer o trabalho pioneiro sobre RNA e os fundamentos para construir um modelo de neurônio artificial.

A história das Redes Neurais começa com o trabalho dos pesquisadores Warren McCulloch e Walter Pitts, McCuloch era psiquiatra e neuroanatomista e passou cerca de 20 anos refletindo e estudando sobre a representação do sistema nervoso, em 1942 ele convidou Pitts, que era matemático, para fazer parte das suas pesquisas. Os dois foram os primeiros a descreverem um modelo artificial para um neurônio biológico em 1943 no artigo A Logical Calculus of the Ideas Immanent in Nervous Activity.

O modelo é formado por um vetor de entradas e as sinapses são representadas por pesos numéricos, a soma ponderada das entradas é submetida à uma função de transferência, ou função de ativação, que determina se a soma é maior que um valor numérico - o limiar do neurônio - se sim, o neurônio é ativado (valor 1) caso contrário, é desativado (valor 0). É muito simples: tudo o que o neurônio faz é responder se a soma recebida é maior que um valor numérico.

Modelo de neurônio artificial proposto por McCulloch e Pitts

O neurônio obedece à lei do "tudo ou nada", sempre estará em um de dois estados: ativado ou desativado (1 ou 0) e as entradas são recebidas de forma síncrona. Com este modelo é possível representar operações Booleanas importantes. Na figura abaixo, os pesos (w1 e w2) e o limiar (representado aqui como T, do inglês threshold) são ajustados para responder à operação AND (mostrada na tabela verdade logo em seguida):

Neurônio que representa a operação AND

Tabela verdade para AND

É fácil verificar que, para qualquer uma das entradas, o neurônio irá responder corretamente, se tomarmos como exemplo x1 = 0 e x2 = 1, a soma ponderada será S = (1 x 0) + (1 x 1) = 1 e quando comparada com T, o resultado será 0 (1 < 1.5). O mesmo pode ser feito com a operação lógica OR, basta simplesmente alterar o valor de T para 0.5, verifique!

Neurônio que representa a operação OR

Como se pode ver, a estrutura básica de um neurônio artificial é realmente muito simples, tudo que é preciso fazer é configurar corretamente os pesos e o valor do limiar para que ele responda (reconheça) o modelo que se quer representar. A escolha adequada dos pesos pode ser simples para a representação das operações booleanas mostradas acima, mas deixam de ser triviais quando se quer fazer reconhecimento de padrões mais complexos; foi pensando nisso que outros pesquisadores desenvolveram técnicas de ajustamento de pesos para fazer com que os neurônios aprendessem o padrão de entrada, foi criado o Perceptron por Rosenblat em 1957 mas isso já é outro post =D.

Quer saber mais? No site do The Mind Project, um projeto de ensino de ciência cognitiva da Universidade do Illinois há uma página sobre o neurônio de McCulloch-Pitts.

Acesse: McCulloch Pitts Neuron