Computación Diversa

Kaggle

2021-05-14T21:41:00.003-06:00

Kaggle es un excelente recurso que podemos usar para nuestro trabajo de análisis de datos. Esta plataforma ofrece una gran cantidad de bases de datos y además soluciones a problemas que podemos estudiar para ir mejorando nuestras habilidades con el análisis de datos.

Cuando iniciamos a trabajar o estudiar el análisis de datos es importante tener información o datos con los que se pueda investigar y producir algún resultado para ir entendiendo los temas que se requieren con el fin de convertirse en un analista de datos. Por eso es fundamental encontrar datasets con los que se realicen estas tareas. Al momento de trabajar en este artículo Kaggle cuenta con 50.000 datasets para uso publico y 400.000 códigos que podemos estudiar.

Claro que existen otros lugares y repositorios de datos públicos que podemos utilizar para trabajar en análisis de datos, pero este repositorio cuenta con una gran variedad de temas sobre los que podemos iniciar nuestro camino al análisis de datos. Por ejemplo, existen datasets para trabajar en áreas financieras, para trabajar en áreas médicas, para poder analizar problemas de cambio climático, etc.

Tiene una interfaz muy amigable con la que podemos navegar por los diferentes datasets. En algunos casos podemos también ver los resultados brindados por otras personas que han trabajo en los diferentes sets de datos con lo cual es fácil de comparar las soluciones desarrolladas por otras personas al mismo problema que nosotros estábamos viendo y de esta manera poder aprender otras maneras de atacar un mismo problema.

Por otro lado, la plataforma cuenta con una serie de cursos con los que podamos aprender o reforzar los conocimientos que ya tenemos sobre los temas de análisis de datos. Como sabemos esto se convirtió en un área fundamental para cualquier empresa que desee mejorar su productividad. Hoy en día es una necesidad. Pero no esta limitado a esto, organizaciones gubernamentales, etc. están trabajando en este tipo de emprendimientos para mejorar muchas áreas de su organización.

Además, de contar con documentación para poder entender los diferentes datos o datasets con los que cuenta la plataforma. Es muy fácil de usar y no tiene costo por su uso.

Podemos encontrar todo esto en www.kaggle.com

Regresar

Crear una aplicación con Java Swing y Jlink

2021-05-09T22:45:00.005-06:00

Con Netbeans 12.3 y Maven es muy fácil crear una aplicación de Java que puede ser ejecutada sin necesidad del IDE. En muchas ocasiones no aprendemos esto en la academia y queremos saberlo para poder distribuir nuestras aplicaciones. Para mi ejemplo vamos a trabajar con Windows, pero pueden utilizar otro sistema operativo.

Realmente para hacer esto es muy simple. Lo primero que debemos hacer es un proyecto nuevo con Maven de tipo Java Application

En mi caso el proyecto se llama HelloSwing. Luego vamos a crear una clase Main. A continuación una clase de tipo JFrame. Lo que tenemos que hacer es llamar el JFrame en el main para ejecutar la ventana.

El siguiente paso es crear un module-info

En este modulo tenemos que agregar las siguientes líneas. La línea 8 es para poder utilizar JFrame (swing) y debemos exportar el modulo donde esta nuestra clase Main.

A partir de este momento se tienen que agregar algunos plugins de Maven para poder continuar con nuestro proyecto.

El primer plugin seria

Después de esto debemos agregar otro plugin para poder crear todo lo necesario que se requiere para correr nuestra aplicación.

El nombre de nuestra imagen es swing luego ocupamos agregar la línea 23 para que se crea el punto de inicio de nuestra app. Donde requerimos el nombre del ArtifactId.

El Artifact Id lo podemos encontrar en las propiedades de nuestro proyecto. Y debemos agregar el nombre con el paquete de la clase Main para que nos funcione. En mi caso es com.testing.helloswing.Main

En Netbeans debemos correr el Goal de jlink para que compile nuestra imagen y cree todo lo necesario.

Cuando corremos esta tarea (jlink) tenemos que ir a buscar en la carpeta de target de Maven lo que se generó. En mi caso la carpeta que se llama Maven-jlink (puede que existan otras carpetas dentro). Se tiene que buscar un archivo llamado swing.bat. Si damos doble clic a esto nos ejecutara nuestra aplicación.

Ya de esta manera podemos correr nuestra aplicación sin necesidad del IDE.

Desarrollar un Crawler simple con Python

2021-04-30T21:41:00.004-06:00

Para poder desarrollar el Crawler con Python lo primero que debemos hacer es instalar la librería llamada scrapy. Esta librería la podemos instalar usando pip. Con esta librería ya instalada vamos a crear un documento de Python llamado simpleCrawler.py

Dentro de este documento vamos a crear una clase llamada Crawler

import scrapy

class Crawler(scrapy.Spider):
    name = 'SimpleCrawler'
    start_urls = ['https://crawler-test.com/']

    def parse(self, response):

        links = response.xpath("//a")
        for link in links:
            link = link.xpath("@href").extract()
            print(link)
            yield

Como podemos observar lo primero que vamos tener es el import de la librería scrapy luego vamos a heredar a la clase Crawler scrapy.Spider.

En este caso el código es muy simple. Le vamos a dar un nombre al crawler con la variable name y luego le pasamos el URL que deseamos escanear con la variable start_urls.

Luego definimos una función que se llama parse que espera como parámetro el response de la carga del url.

Como podemos observar la variable links contiene todos los elementos de tipo anchor de la página que escaneamos.

Después de esto dentro del ciclo vamos encontrando cada uno de los Urls que tiene el sitio web y lo imprimimos para mostrarlo en el console.

Para poder ver el resultado debemos correr el siguiente comando scrapy runspider simpleCrawler.py

Esto nos da como resultado

Desarrollar un Crawler simple con Java

2021-04-29T20:18:00.005-06:00

Lo primero que vamos a hacer es crear un proyecto nuevo basado en Maven

Al proyecto le vamos a asignar el nombre de SimpleCrawler

Le tenemos que dar al botón de finalizar. Con esto listo vamos a necesitar una librería que la tenemos que agregar al proyecto usando Maven. La librería se llama jsoup.

Jsoup Url: https://jsoup.org/download

Con esto listo ya podemos hacer el código para escanear la página web.

package com.mycompany.simplecrawler;

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


public class Main {

    /**
     * @param args the command line arguments
     */
    public static void main(String[] args) {
        try {
            var url = "https://crawler-test.com/";
            
            Document doc = Jsoup.connect(url).get();
            Elements links = doc.select("a[href]");
            for(Element link: links){
                System.out.println(link.attr("href"));
            }
        } catch (IOException ex) {
           System.err.println(ex);
        }
    }
    
}

Como podemos observar en el código lo primero que debemos hacer es importar las librerías de jsoup necesarias

· import org.jsoup.Jsoup;

· import org.jsoup.nodes.Document;

· import org.jsoup.nodes.Element;

· import org.jsoup.select.Elements;

Luego vamos a crear una variable llama Url donde podemos agregar la pagina que deseamos escanear. Después de esto creamos un objeto de tipo Document con el que vamos a obtener el documento encontrado del url, usando el método get que vamos a usar del método connect de la clase Jsoup.

Después de esto creamos un objeto de tipo Elements llamado links basado en la búsqueda que deseamos hacer como se puede observar con el objeto doc.select. En este caso preguntamos por todos los anchores que tengan una referencia.

Finalmente, con un ciclo for podemos recorrer el resultado de links con todas las posibles url o links que se encontraron. Finalmente se imprimen en la consola para poder ver que fue lo encontrado.

Lo que nos da como resultado lo siguiente

Desarrollar un Crawler simple con C#

2021-04-21T17:37:00.002-06:00

Lo primero que tenemos que hacer es un proyecto nuevo con Visual Studio. En mi caso vamos a usar Visual Studio 2019. El proyecto lo vamos a desarrollar usando C#. Vamos a hacer un Console app el cual le vamos a llamar SimpleCrawler.

El proyecto va a hacer. netcore 3.1

Cuando el proyecto esta listo vamos a buscar en NuGet el paquete HtmlAgilityPack y lo vamos a instalar.

Con este paquete instalado lo primero que vamos a hacer en la clase Main es importar las librerías necesarias para crear nuestro crawler

Ahora vamos a ver como se construye el código para ir navegando en el contenido de la página web.

Ahora, en la línea 12 tenemos que copiar el URL de la página web que deseamos escanear. Con esto vamos a crear un cliente Http para leer el documento web como se puede ver en la línea 14. Ya en la línea 16 obtenemos el contenido del documento de Html. Este al final lo podemos obtener como si fuera una variable string.

Ahora si ya con esto listo en la línea 18 creamos un objeto de tipo HtmlDocument del paquete AgilityPack. El cual nos va a permitir convertir el documento que tenemos de tipo string a un objeto de tipo AgilityPack. Esto lo cargamos en la línea 19.

Para poder leer todos los links usamos la línea 21 el cual usa el document que creamos anteriormente y cargamos todos los nodos. De estos nodos que cargamos vamos a seleccionar únicamente los anchor (links).

En la línea 23 vamos a recorrer todos los resultados encontrados en la línea 21 y vamos a ir uno por uno mostrando el contenido de cada uno de estos. Usando la propiedad OuterHtml que tenemos en la línea 24.

Lo que nos da como resultado lo siguiente

Aquí podemos ver todos los links que tiene la página web. Ahora cada uno podría hacer lo que necesita con estos links.

Podemos recordar que con este paquete podemos buscar cualquier tipo de nodo que tenemos en los sitios web.

¿Qué es un Crawler?

Bootstrapstudio

2021-04-17T17:55:00.003-06:00

A la hora de hacer una aplicación existen diferentes componentes los cuales deben de ser de mucha calidad para que nuestras apps funcionen de la mejor manera. Siempre prestamos mucha atención a el diseño de la base de datos, la arquitectura de nuestras aplicaciones, etc. Y creo que todos los programadores sabemos lo importante que es el desarrollo de la interfaz gráfica.

Al final los usuarios lo único que saben y ven es la interfaz gráfica. Claro que esperan que la app sea rápida y que funcione de manera adecuada, pero uno de los aspectos más importante es que sea muy amigable con el usuario. Esto es un factor clave.

Muchos programadores no somos realmente buenos a la hora de hacer las interfaces graficas y requerimos de ayuda de diseñadores gráficos que nos brinden las ideas más modernas y una experiencia de usuario única para nuestras apps.

Puede que alguno recuerde lo que era crear interfaces de usuario desde cero usando aplicaciones de drag & drop que nos permitía de manera visual crear interfaces rápidamente. Bueno esta herramienta Boostrapstudio nos permite hacer esto.

Me parece una herramienta increíble ya que además de permitirnos la posibilidad de crear interfaces de manera visual también tiene una serie de templates o estructuras predeterminadas que podemos usar para ir construyendo nuestra aplicación.

Otra de los aspectos positivas que pude encontrar es que es muy amigable y su interfaz es sumamente fácil de usar. Tiene herramientas para ir acomodando de manera visual todos los elementos y esto genera el HTML y el css por nosotros. Pero no se limita a únicamente a esta tarea, ya que cuanta con herramientas para generar Minify de los html y javascript.

Tiene opciones para ir desarrollando componentes de SEO y puede ayudarnos a genere SASS si es que lo deseamos. Los cambios se pueden ir guardando con forme progresa el desarrollo de nuestra aplicación. Hoy en día que podemos hacer aplicaciones HTML que pueden correr como desktop, web y móviles nos da una gran facilidad para la creación de interfaces.

Cuando vamos desarrollando nuestra aplicación podemos ir viendo cómo va quedando la versión de diferentes tamaños, ya que se crea una versión responsive de nuestra app.

Esta herramienta tiene integrado Boostrap y Font awesome lo que nos permite ir agregando iconos, imágenes y los diferentes componentes de boostrap en nuestra app.

En el sitio web podemos encontrar muchos tutoriales para ver cómo utilizar la herramienta de una forma correcta y simple. además de un área donde explica todas las configuraciones y herramientas con las que cuenta la herramienta.

BoostrapStudio cuenta con dos licencias una estándar que cuesta $39 con la que se puede obtener la versión gratis por un año y la otra licencia que es LifeTime que cuesta $69 con la que se puede obtener las actualizaciones de por vida.

Personalmente me parece una excelente herramienta si estamos trabajando en el desarrollo de interfaces graficas. Se puede usar un demo gratuito en la pagina que demuestra como funciona esta herramienta. Para los que no somos tan expertos en el desarrollo gráficos nos permitirá hacer interfaces profesionales mucho mas fácil.

BoostrapStudio

Crear Windows Native JavaFX app

2021-03-29T22:25:00.001-06:00

Para hacer este tipo de aplicación realmente es muy sencillo y vamos a ver paso a paso que debemos hacer. Lo primero que tenemos que hacer es asegurarnos que tenemos los siguientes componentes

Apache Netbeans 12.3
JDK11
JavaFX13
Maven

En el caso de JavaFX no es necesario instalarlo (si gustan pueden siguiendo las instrucciones de Gluon) pero si debemos de instalar JDK 11 para poder hacer este ejemplo.

Ahora lo primero que tenemos que hacer es crear un proyecto nuevo en Netbeans

A este proyecto le voy a poner Hello y podemos dejar todas las otras propiedades como están. Para terminar con este paso debemos de dar clic a finalizar.

Para este pequeño ejemplo no tenemos que agregar código nuevo o cambiar el que está. Ya que vamos a utilizar lo que se creo por defecto.

Ahora vamos a tener que ir al pom.xml

Para agregar unas líneas que nos ayudaran a construir nuestro ejecutable.

En la sección del plugin de javafx-mave-plugin vamos a agregar las líneas anteriores que podemos ver en la imagen.

Con esto vamos a ejecutar el Gaol de Jlink

Simplemente clic derecho y ejecutamos el Goal. Cuando este termine nos debemos de ir al folder donde esta nuestro proyecto. En este caso vamos a tener un folder llamado hello dentro de target. Después debemos de ir al folder bin y buscar un archivo llamado hellofx.bat. A este ultimo le podemos dar doble clic y va a ejecutar nuestra aplicación.

Ejemplo

¿Cómo resucitar a un muerto?

2021-03-23T17:46:00.003-06:00

Hace unos días estaba viendo la posibilidad de comprar una Tablet exclusivamente para escuchar música mientras trabajo o poner algo de fondo. Básicamente que pudiera usar solamente el navegador. En eso recordé que tenia una compaq mini que tiene más de 10 años creo. Con el paso del tiempo esta computadora dejo de ser funcional ya que estaba muy lenta y prácticamente cualquier cosa que se hacia se congelaba. Pero bueno pensé en darle una segunda oportunidad.

Primero le cambie el sistema operativo por un Windows 10 lo cual no resultó para nada buena idea. La maquina quedó peor de lo que estaba. Por lo tanto, instale un Ubuntu para ver si mejoraba y efectivamente funcionó mejor. Sin embargo, tenia problemas con el rendimiento.

Pensé que instalar un ChromeOS me funcionaria entonces me di a la tarea de investigar un poco más sobre este sistema operativo y creo que tiene exactamente lo que yo ocupo. Solo el navegador, pero después de un rato de investigar encontré que este sistema operativo solo esta disponible de manera oficial para las Chromebook y no para todas las marcas. Al final no encontré una forma de descargarlo para instalarlo.

Lo que si encontré fue que existe una versión un poco más genérica que es ChromiumOS. Esta versión esta libre para el uso de cualquiera, sin embargo, encontré otros problemas como que no está para todos los hardware. Se puede buscar diferentes repositorios y compilados e intentar ver cual funciona. El problema es que no hay garantía en algunos foros encontré mensajes de precaución sobre la distribución que se usa, y este no tiene verificación de actualizaciones. final no intente usar este.

Trate de buscar FireFoxOs pero no tiene versiones resientes y la nueva versión no se ve como algo que pudiera usar en mi compaq. Por lo que decidí buscar versiones de Linux para ver cual podía usar en esta maquina tan limitada.

La primera distribución que use fue Linux Mint. Lo que puedo decir es que es una versión muy bonita y fácil de usar. Además, funcionó mejor que la versión que tenia de Ubuntu. Pero no era lo que realmente podía usar mi compu. Por eso descargue Lubuntu lo cual trabajó mucho mejor que las otras distribuciones de Linux. Pero no me gusta tanto esta distribución, además después de un rato de uso ya se notaba que la maquina estaba presentando problemas. Pase a una distribución mucho más liviana que era Tiny Linux. Esta última cargo super rápido y la instalación fue muy rápida pero no funciona o al menos esta que instale no funcionó. Es decir, esta tiene algunos problemas.

Me puse a buscar un poco más y encontré una versión de Linux que es similar a ChromeOS. Es una distribución nueva. La descargué, pero tampoco me funcionó. Esta se llama Linux Web Remix. Puede que en el futuro esta mejor. Creo que vale la pena darle seguimiento.

Después de todos estos intentos, trate de ver cómo funcionaba mi compa con Android. Descargué la última versión y la instalé. La cual se instaló muy rápido, una configuración rápida y listo. El problema es que no trabajó bien con mi compu. Después de la instalación cuando entre al ambiente me dio muchos problemas con el PlayStore y otras apps.

Luego pasé a instalar Ubuntu Mate. Este tiene una opción para instalar lo mínimo necesario. Lo cual fue la opción que utilicé para mi computadora. Este último se instaló rápido y bueno después de usarlo por un día entero no me ha dado problemas y lo he podido usar perfectamente para lo que quería.

Para este experimento y poder revivir una computadora vieja que ya estaba en el olvido la mejor opción es Ubuntu Mate (por lo menos en mi experimento). Esto nos permite sacarle el último jugo de vida a esas viejas computadoras que ya no soportan muchos de los sistemas operativos modernos. Sin embargo, Ubuntu Mate tiene una interfaz moderna que es muy fácil de usar y muy amigable con el usuario.

Ubuntu Mate

GraphQL

2021-03-10T18:04:00.001-06:00

Es una nueva forma para consultar datos a trabajes de APIs. Hace unos días me toco trabajar con un API que trabaja con esta nueva forma, al inicio fue un poco complicado, pero después de la implementación del cliente las cosa se hacen mucho más simple.

Esta tecnología le da la oportunidad al usuario de controlar mejor los resultados que espera ya que se pueden hacer queries o consultas que se envían por medio de la petición del http donde se envía justamente lo que queremos y las columnas con los datos que esperamos.

Esto permite que por medio de un solo endpoint o conexión del API podemos realizar muchas consultas diferentes que se adapten a la necesidad del usuario en lugar de los resultados estándares que usualmente estamos esperando. Con una implementación de un API un poco más tradicional se tienen que hacer muchos tipos de peticiones para cada uno de los tipos de datos que se desean.

Otra razón muy interesante para utilizar esta tecnología es que podemos ir cambiando nuestros APIs de una forma más simple sin tener que ir creando versiones. Ya que al final el usuario es quien decide que datos quiere en su resultado y además la consulta que quiere pedir.

Esta tecnología fue desarrollada por Facebook para utilizarlos de manera interna en su entorno. Con el tiempo ha ido ganando terreno y otras empresas lo han estado desarrollando. GraphQL esta disponible para ser desarrollado con muchos diferentes lenguajes de programación.

Además, existe mucha documentación con la que podemos aprender como usarlo y cómo implementarlo para nuestros servicios.

El query y los datos que deseamos enviar se escriben en algo muy similar a JSON y este es el que va adaptando los datos que el resultado va generando, al final vamos a tener un resultado de JSON basado en nuestras consultas.

Vamos a tener una organización de tipos que nos permite ir construyendo la consulta y de esta forma evitar el uso de múltiples endpoints. Lo que hace mucho más simple la construcción de nuestros APIs y la implementación para los usuarios.

Podemos encontrar más información aquí.

¿Qué es un website Crawler?

2021-02-04T17:02:00.002-06:00

Esto es una aplicación o software que se desarrolla con el fin de escanear o analizar páginas web. Este lo podemos usar para extraer datos específicos de los sitios web como títulos, palabras calve, descripción o información para entender de que trata la pagina y de alguna manera poder agruparla o clasificarla.

Existen muchas aplicaciones en línea o descargables que nos permiten escanear paginas web y clasificar o extraer datos. Esto nos permite de alguna manera encontrar información que se necesita sin tener que usar nuestro propio tiempo para analizar los diferentes sitios web.

Por ejemplo, si existe algún sitio web que tiene una cantidad ilimitada de paginas web, ya que estas se crean de manera dinámica y queremos extraer alguna información especifica como el precio de algunos productos podemos crear este tipo de aplicaciones y encontrar el patrón para generar el llamado de las diferentes paginas web para poder encontrar el precio. Esto podría tardar horas, hasta días dependiendo del sitio web, pero con un software que escanee la página web no tenemos que estar esperando o nosotros revisando de manera manual estos documentos web.

Existen muchos datos que son públicos que necesitamos, pero no tienen una estructura simple para poder clasificar u organizar para lo que necesitamos por lo que podemos crear un sistema que se encargue de leer todo el contenido e inicie a clasificar y organizar esta información para generar un resultado correcto o deseado.

Otro ejemplo es que si ocupamos encontrar páginas que contengan cierta palabra clave para identificar cuales son las que deseamos poner atención. Si nos tocara hacer alguna investigación o leer algunas páginas web con algún tema particular podemos usar un software de este tipo para encontrar únicamente lo que realmente necesitamos.

Como se menciono anteriormente se puede buscar alguna aplicación de las que existen para crear nuestros sistemas de escaneo o podemos desarrollar nuestro propio sistema de escaneo. Claro que el segundo va a requerir un poco de tiempo para poder entender como funciona o que datos tiene el sistema. Ya que lo que al final vamos a tener que interpretar son todos los contenidos que llegar por medio del html. Puede que existan cosas muy especificas que requiere que nosotros tengamos que desarrollar nuestro propio sistema de escaneo y además no es tan difícil crear un simple sistema para esto por lo que nos podríamos ahorrar algo de dinero en licencias o mensualidades de este tipo de aplicaciones.

En conclusión, con palabras muy simple el crawler es una aplicación que nos permite leer y analizar páginas web con el fin de entender e interpretar mucho mejor los datos que contienen estas aplicaciones o paginas web. Usando palabras claves, elementos de html o contenido especifico que deseamos encontrar.

Ejemplo Java

Ejemplo C#

Ejemplo Python

¿Qué es Flutter?

2021-01-17T11:28:00.003-06:00

Flutter es un software de desarrollado para crear interfaces graficas. Este es open-source y esta desarrollado por Google. Permite hacer interfaces para diferentes sistemas operativos. Inicialmente fue desarrollado para móviles lo cual soportaba Android y iOs. Actualmente también se pueden desarrollar interfaces para Windows, Linux, Mac y web.

Flutter utiliza una serie de componentes gráficos que permite crear interfaces de muy alta calidad para los diferentes dispositivos. Permite el desarrollo de interfaces nativas para las diferentes plataformas donde se puede correr.

Este kit de desarrollo de software utiliza Dart como lenguaje de desarrollo. El cual es muy fácil de aprender si vienes de lenguajes como Java, C++ o C#. La curva de aprendizaje realmente no es muy grande, después de instalarle y ver un poco la documentación uno puede rápidamente trabajar con este nuevo lenguaje.

Una gran ventaja que tiene es que su rendimiento es de una aplicación nativa en las diferentes plataformas. Por lo que se pueden hacer aplicaciones de mucha calidad de manera rápida. Además, es independiente de IDE por lo que podemos seleccionar con cual deseamos trabajar en una lista de opciones con las que contamos.

Yo me di a la tarea de crear una app usando Flutter en Android Studio. Esta app este hecho solo para Android y iOs. Lo interesantes es que tiene un solo código base para ambas aplicaciones. Algunas pequeñas configuraciones se pueden hacer en cada app (Android o iOs) pero realmente es lo mínimo. El framework se encarga de construir y compilar cada aplicación desde el código de Dart que uno esta desarrollando.

Además, con el framwork de Flutter ya se cuanta con una gran cantidad de iconos y diferentes componentes gráficos que podemos usar sin tener que instalar ninguna librería. Ya el framework cuanta con todo esto para hacer el desarrollo más simple.

Cuenta con una gran cantidad de widgets que nos permiten hacer cualquier cosa que necesitamos en nuestras aplicaciones ya sea para móviles como para otras plataformas. De momento no he tratado de hacer una aplicación para desktop, pero me imagino que no hay mucha dificultad para pasar la app que tengo a cualquier otra plataforma.

La documentación con la que cuenta Flutter también es muy extensa por lo que no tendríamos dificultad para poder iniciar a trabajar con este kit de desarrollo. La documentación explica el flujo de desarrollo, los diferentes componentes y como poder publicar las aplicaciones que deseamos enviar a Google Play o Apps Store.

Lo único que debemos saber es que para publicar la app para iOs se requiere una Mac con Xcode para poder generar el ejecutable y subirlo al App Store. En el caso de Android ocupamos instalar el Android SDK.

En general me parece que es una excelente herramienta para poder desarrollar aplicaciones móviles. En algún momento cerca estaré tratando de desarrollar aplicaciones web o desktop para ver que tal la experiencia. Me gusta mucho lo fácil que es el desarrollo con Dart y lo fácil que es crear aplicaciones nativas para diferentes plataformas de manera muy fácil.

Dos opciones para almacenar datos de manera local en proyectos .netcore

2021-01-14T22:21:00.003-06:00

Buscando algunas alternativas rápidas para almacenar datos en un proyecto que estaba realizando encontré LiteDB una base de datos que podemos agregar a nuestros proyectos y manejarla de manera local. Claro todos o muchos ya conocemos SQLite que podemos usarla para el almacenamiento de datos con el mismo principio.

Una de las razones por las que quería buscar otra alternativa a SQLite era que la última versión con la que había trabajado no permitía crear bases de datos encriptadas o con contraseña. Sin embargo, encontré que la versión 3 se puede usar contraseñas para manejar la base de datos.

Bueno cual es la diferencia entre estas dos bases de datos. Lo primero que debemos saber es que SQLite funciona no solo para .net podemos usarla en otros lenguajes de programación como Java. Además, es muy popular para el desarrollo de disipativos móviles. Esta base de datos nos permite guardar la información junto a nuestra app sin tener que instalar un gran motor de base de datos. Es muy rápida y podemos almacenar muchos datos.

Los datos son almacenados en como cualquier otra base de datos basada en SQL y las consultas o transacciones en general utiliza el lenguaje de SQL para poder manipular los datos. Por otro lado, se puede usar en varios sistemas operativos.

Ahora por otro lado LiteDB es también una base de datos que se puede manejar empotrada en las aplicaciones como SQLite. Pero esta base de datos es un poco más similar a mongo. Podemos utilizar Json para almacenar la información dentro de nuestra base de datos.

Una desventaja que tiene esta base de datos es que solo funciona para proyectos .net pero puede correr en cualquier sistema operativo que deseamos. Con las pruebas que he realizado en esta base de datos es muy rápido a la hora de guardar y leer los datos. Al podemos utilizar Json hace que muchas veces manipular ciertos tipos de datos sea más sencillo, ya que no tenemos que crear las estructuras y se puede cambiar fácilmente en cualquier momento.

Me gusta mucho la idea que permite utilizar contraseñas y además tiene varias formas para proteger la información. Cuando creamos la información de conexión podemos seleccionar cual algoritmo de seguridad queremos usar para que esta proteja nuestra base de datos.

LiteDB cuenta con un administrador de base de datos con el que podemos explorar los datos de manera fácil y simple. Para poder usarla solo se debe de instalar una librería usando nuget. Como muchas otras bases de datos de este tipo también se crea un único archivo para administrar la información que deseamos guardar.

Finalmente, esta última base de datos también soporte lenguaje de SQL y expresiones de Linq para poder tener acceso a la información o manipularla en general. Yo de momento estoy usando LiteDB que me parece muy interesante y más fácil de usar para este tipo de proyectos, pero creo que se puede lograr el mismo resultado con SQLite (esta es mucho más popular). Al final seleccionar alguna de las dos depende del gusto de cada uno y puede que explorar cuanta documentación tenga ayude a tomar la decisión.

Donde podemos encontrar estas bases de datos

Litedb

SQLite

Buscar documentos sin alguna propiedad en CosmosDB

2020-12-29T14:52:00.004-06:00

Como sabemos CosmosDB no tiene una estructura especifica con los documentos que podemos almacenar. Ya que vamos a guardar los datos utilizando Json, esto nos permite tener una estructura muy flexible y que puede cambiar en cualquier momento. Es una de sus grandes ventajas.

Con el paso del tiempo podemos actualizar los documentos o agregar documentos nuevos con propiedades distintas, lo cual puede provocar que tengamos documentos con datos distintos en su “estructura” o sus propiedades de Json.

Hace unos días me toco buscar documentos que no tenían una propiedad especifica después de una pequeña búsqueda encontré la forma y es muy simple.

Utilizando not is_defined(Propiedad) podemos buscar dentro de nuestra base de datos cuales documentos no tiene esa propiedad en específico.

Por ejemplo

SELECT * FROM c WHERE NOT is_defined(c.tax)

Este script nos permite buscar en la base de datos todos los documentos que no tienen la propiedad tax. Con lo que podemos luego actualizar el documento agregándole la propiedad de ser necesario.

Regresar

Java SQLite

2020-12-28T11:37:00.002-06:00

SQLite es una base de datos pequeña con la que podemos almacenar datos de manera rápida y fácil. Esta base de datos podemos empotrarla dentro de nuestras aplicaciones y tiene característica muy importante hoy en día, que nos permite correrla en casi cualquier sistema operativo. Podemos usarla para aplicaciones web, móviles y de escritorio. Además, es una base de datos gratuita.

Podemos encontrarla en el siguiente enlace https://www.sqlite.org/index.html

Tenemos varias formas para crear nuestra aplicación y que se pueda conectar a SQLite. Podemos hacer una aplicación en Netbeans y descargar el Jar que nos permite conectarnos o podemos hacer un proyecto con Maven.

Para este ejemplo vamos a utilizar Maven. Sin embargo, se puede descargar el JAR de SQLite para poder utilizarlo en otros proyectos que no estén basados en Maven.

Cuando ya tenemos nuestro proyecto de Maven listo tenemos que agregar la referencia del Jar, de la siguiente manera.

Ahora vamos a crear una clase llamada SQLiteConnection donde se requiere agregar algunas clases para poder crear la conexión y las consultas a la base de datos.

Con estas clases agregadas a nuestro código ya podemos iniciar con la creación de la conexión

Primero como se puede ver en la línea 19 tenemos que agregar la dirección donde se encuentra o se va a encontrar nuestra base de datos (si no existe el archivo se va a crear cuando se corra nuestra aplicación). Para ubicar la base de datos usamos el path que maneja el sistema operativo que usamos. Ahora si solamente agregamos el nombre de la base de datos como la tenemos en la línea 19 esta se va a crear donde está ubicada nuestra aplicación.

En la línea 24 vamos a registrar el driver de SQL que vamos a usar para nuestra base de datos en este caso como se puede observar es el de SQLite.

Luego en la línea 25 iniciamos una conexión a nuestra base de datos usando la clase DriveManager. Como se puede observar se debe indicar donde esta ubicada la base de datos.

Como se puede ver en la siguiente imagen ya estamos listos para crear tablas en nuestra base de datos. Lo primero que vamos a hacer es crear el script para la creación de la tabla.

En la línea 37 creamos un objeto Statement basado en la conexión que ya teníamos. Con esto podemos ejecutar el script para crear la tabla como se puede observar en la línea 38. Esta última línea nos permite crear la tabla si no existe.

Bueno y para agregar datos en nuestra tabla es simplemente ejecutar un script con un insert como se puede ver en la siguiente imagen.

En la línea 46 se crea el script con los datos que deseamos almacenar en nuestra tabla. En la línea 49 se crea el objeto statement basado en la conexión de la base de datos. Luego de esto en la línea 50 ejecutamos el script contra nuestra base de datos para poder guardar la información.

Finalmente vamos a poder crear los SELECT para poder ver los datos que se almacenaron en nuestra base de datos. En este caso cambian algunas cosas. Por ejemplo, además del objeto statement y la ejecución del script tenemos que crear un objeto de tipo ResultSet para obtener la información de nuestra tabla. En la línea 59 se ejecutar el script como se puede observar y este nos retorna un objeto con los datos almacenados. Para poder recorrer todos los nombres usamos un ciclo While hasta que todos los objetos de esta consulta son mostrados.

En la línea 61 se muestra línea por línea los nombres y los ids que se generaron para nuestros datos. Usando el método getString (se puede usar otro tipo de método para cada tipo de dato por ejemplo getInt).

Solo nos queda correr nuestra aplicación para poder ver el resultado

Ejemplo

Dapper - SQL

2020-12-10T18:24:00.002-06:00

Tratando de mejorar el rendimiento de una aplicación encontré este framework buscando alternativas a Entity Framework. Algunos queries que se crean con EF son complejos y demandan cierto rendimiento de la aplicación.

Después de comprar algunos resultados haciendo las mismas consultas entre EF y Dapper se encuentran cosas interesantes como que se reduce la cantidad de recursos con Dapper. Cada uno de los queries que se crearon redujeron su tamaño en memoria, cargando los mismos datos.

Dapper lo que hace es mapear los resultados de las consultas de SQL en objetos de C#, los cuales luego se pueden utilizar para hacer cualquier otra cosa que se quiera.

Vamos a ver como utilizarlo creando un proyecto y una base de datos de SQLite.

Ahora lo que tenemos que hacer es crear una tabla en la nueva base de datos de SQLite

Vamos a usar una única table con 4 registros para nuestro ejemplo.

Lo que debemos hacer ahora es una clase POCO con las propiedades de la tabla. En nuestro ejemplo solo ocupamos el id y el producto. Con esto ya podemos mapear nuestros datos a una clase POCO.

Tenemos que utilizar las librerías que instalamos y algunas otras. Como se puede ver hacemos un using de Dapper.

El código para las consultas lo vamos a hacer en la clase Main

Como se puede ver en el primero script hacemos un SELECT de todos los datos que tenemos. Creamos la conexión de SQLite para poder hacer la consulta de datos. Luego simplemente usamos la clase POCO para correr y mapear los datos resultantes del Query. Luego como se puede ver en el ciclo for los datos se pueden manipular fácilmente.

Pero también tenemos la opción de pasar parámetros a las consultas de SQL. Como se ve en el siguiente ejemplo tenemos el parámetro @id el cual es la llave de nuestra tabla. En este caso solo se va a retornar un solo dato.

Para poder pasar los parámetros se pasan con el query y el nombre de los parámetros con el valor que se necesita.

Dapper es un Framework simple pero poderoso para poder cargar los datos de las bases de datos a objetos de POCO. Este, además, requiere de menos memoria que EF. Por otro lado, nos permite utilizar lenguaje de SQL para hacer las consultas que en lo personal me parece más fácil para consultar las bases de datos SQL.

Puede encontrar más información aquí

Hacer un servicio de SAOP con Apache Netbeans 12

2020-11-28T19:35:00.005-06:00

Vamos a crear un simple servicio de SOAP con Java y Netbeans 12. Para esto vamos a requerir la version 1.8 de Java ya que sin esta no vamos apoder crear el servicio.

Lo primero que vamos hacer es crear un proyecto nuevo usando Maven. Dentro los templates de Maven tenemos que buscar el tipo de proyecto llamado Web Application, como se puede ver en la siguiente imagen.

Luego de esto vamos a tener una ventana con algunas otras opciones que se tienen que completar. Por ejemplo el nombre del proyecto, el Group Id que podemos dejarlo como esta y la direccion donde queremos guardar nuestro proyecto. Adicional a esto el nombre del paquete donde vamos a guardar nuestro código.

Para este proyecto vamos a seleccionar Java 7 y Glassfish que es nuestro servidor web.

Luego le damos finalizar.

Si no tenemos instalada la versión de Java 1.8 vamos a ver una ventana como la siguiente donde se tiene que seleccionar el JDK 1.8

Ahora tenemos que instalar el JDK 1.8 luego de esto simplemente lo tenemos que agregar al Netbeans. Como se puede ver en la siguiente imagen. Seleccionamos esta plataforma para el desarrollo de nuestro programa.

Cuando el proyecto este listo debemos dar clic derecho sobre el proyecto y seleccionar el menú de otros. En este menú vamos a poder ver una serie de opciones para crear diferentes archivos. Vamos a ir a la carpeta web services donde esta el tipo Web Service. Es la primera opción en esta carpeta. Esta es la que tenemos que utilizar.

Lo que tenemos que realizar ahora es simplemente agregar el nombre de nuestro servicio y el paquete donde se desea guardar. Con estos dos valores tenemos que dar finalizar y estamos listos para continuar con nuestro servicio de SOAP.

Como se puede observar ya tenemos listo el código para iniciar a escribir nuestro nuevo servicio.

Tenemos un método que se llama Hello, solamente tenemos que publicar el servicio a nuestro servidor de Galssfish o correr la aplicación.

Minimizar javascript y css con Visual Studio 2019

2020-10-23T11:51:00.001-06:00

Parte importante del desarrollo de aplicaciones web es el css y el javascript. Cuando ya tenemos listo nuestro código de javascript y css es una buena práctica comprimir este código o minimizar su tamaño para la distribución del sitio web.

Con Visual Studio tenemos diferentes técnicas para hacer este tipo de tareas. Podemos usar webpack, gulp, etc. Sin embargo, hoy vamos a ver una herramienta muy simple que podemos utilizar para comprimir nuestros scripts y css.

Cuando creamos nuestro proyecto web debemos de instalar con Nuget la siguiente librería:

BuildBundleMinifier. Con esta librería vamos a poder minimizar nuestros scripts. Cuando esta instalado debemos crear un archivo en la ruta del proyecto llamado bundleconfig.json

Ejemplo de como luce el documento de configuración

{

"outputFileName": "output/site.min.css",

"inputFiles": [

" output/site.css

"minify": {

"enabled": true,

"commentMode": "all"

}

{

"outputFileName": "output/site.js",

"inputFiles": [

" output/site.js"

]

}

]

Se puede hacer otro tipo de configuraciones. Esta es como la simple. Lo importante es que cada vez que guardamos el javasctipt o el css automáticamente se dispara la tarea de minimizar los archivos.

Con esto no tenemos que preocuparnos por estar minimizando nuestro código ni corriendo tareas. Es fácil y muy rápido a la hora de comprimir el código.

Sitio de la Librería https://github.com/madskristensen/BundlerMinifier

Terminar una tarea en Windows 10

2020-10-13T20:16:00.006-06:00

Suele pasar que alguna tarea deja de responder o que se requiere detener para poder instalar alguna otra aplicación, incluso para algunas actualizaciones.

Lo más fácil y siempre es ir al administrador de tareas y buscar cual es la tarea que deseamos eliminar.

Pero hace unos días yo tenía que detener una aplicación y no la pude encontrar en el administrador de tareas por lo que me toco tratar de detener la aplicación de otra manera.

Podemos buscas las tareas que están corriendo en nuestra maquina usando el cmd.

Cuando abrimos la pantalla del cmd podemos ver la lista de tareas que están corriendo, usando el comando tasklist.

Aquí podemos ver las tareas con su sesión y el Id de la tarea.

Ahora si para cerrar la tarea usamos el siguiente comando

Taskkill y se tiene que poner el nombre de la tarea que deseamos eliminar. Ahora bien, si cambiamos el /t por /f lo que vamos a hacer es forzar el cierre de la aplicación en caso de que esta no responda, por ejemplo.

También se puede eliminar una tarea usando el ID con el comando taskkill /PID 12322 /F

De esta manera se puede cerrar la tarea muy fácilmente.

WebSocket Client con C#

2020-08-31T21:35:00.002-06:00

La tecnología de websocket se ha hecho muy popular y es que realmente nos permite hacer algunas cosas muy fáciles como la posibilidad de habilitar una conexión desde nuestra aplicación web para poder transportar datos.

En este caso vamos a ver como crear un cliente WebSocket con C#

Vamos a crear una aplicación de console. Mi proyecto tiene el nombre de WebSocketClient. Con el proyecto listo ya podemos iniciar a escribir nuestro código para conexión.

Lo primero que debemos hacer es importar algunas librerías para poder crear la conexión.

using System;
using System.IO;
using System.Net.WebSockets;
using System.Text;
using System.Threading;

Vamos a usar el servicio gratuito de WebSocket que tenemos en esta página http://www.websocket.org/echo.html

Como se puede observar lo primero que vamos a declarar es la variable url que contiene la dirección del WebSocket

   public class Program
    {
        private const string url = "ws://echo.websocket.org";

        public static async System.Threading.Tasks.Task Main(string[] args)
        {
            //Iniciamos un cliente websocket para conectarnos con el servidor
            using (var websocket = new ClientWebSocket())
            {
                //Asignamos el url del servidor de websocket y nos conectamos
                await websocket.ConnectAsync(new Uri(url), CancellationToken.None);

                Console.WriteLine("Message to the server");
                var info = Console.ReadLine();//Mensaje que se quiere enviar al servidor
                //Enviamos el mensaje que capturamos desde la consola
                await websocket.SendAsync(Encoding.UTF8.GetBytes(info), WebSocketMessageType.Text, true, CancellationToken.None);

                //Creamos un arreglo de bytes para recibir la información del servidor
                var buffer = new ArraySegment<byte>(new byte[2048]);
                WebSocketReceiveResult serverResponse;
                using (var ms = new MemoryStream())//Vamos almacenar todos los fragmentos de datos en este objeto en memoria.
                {
                    do
                    {
                        //Vamos a recibir datos pequeños hasta que recibamos todo el mensaje. 
                        serverResponse = await websocket.ReceiveAsync(buffer, CancellationToken.None);
                        ms.Write(buffer.Array, buffer.Offset, serverResponse.Count);
                    } while (!serverResponse.EndOfMessage);

                    if (serverResponse.MessageType == WebSocketMessageType.Close)
                        Environment.Exit(0);//Si el socket se cierra salimos de la aplicación 

                    ms.Seek(0, SeekOrigin.Begin);
                    using (var reader = new StreamReader(ms, Encoding.UTF8))
                        Console.WriteLine(await reader.ReadToEndAsync());
                }

            }
        }
    }

Con un bloque using creamos un objeto de tipo ClientWebSocket que nos permitirá la conexión con el servidor. Para poder iniciar la conexión se tiene que pasar la dirección del servidor al método connectAsync.

La variable info nos permite almacenar cualquier dato que el usuario quiera pasarle al servidor. Luego se pasa al método sendAsync para ser enviado.

En el caso de recibir datos es un poco más complicado. Para esto vamos a recibir tamaños pequeños de información. Almacenándolos en un arreglo de bytes como podemos ver en la variable buffer. Si lo que el servidor nos envía es mayor se va a ir almacenando en la variable ms. En memoria hasta tener toda la información completa. Por eso utilizamos un ciclo.

Cuando tenemos toda la información en la variable ms se debe convertir a un StreamReader que luego la pasaremos en un texto. Esto es lo que al final estamos esperando, como resultado se muestra lo leído en la consola de nuestra app.

Ejemplo

Visual Studio Code y Python

2020-08-24T18:25:00.004-06:00

Python es un lenguaje de programación muy popular hoy en día y la verdad es que podemos programar casi que, en cualquier IDE o editor de texto, pero porque no hacerlo fácil y de una manera que nos beneficie. Bueno usando Visual Studio Code que también hoy en día es una herramienta muy popular lo podemos lograr ya que además cuanta con librerías que nos ayudan a la hora de programar Python.

Primero debemos instalar Python. Si no lo tenemos o no sabemos cómo hacerlo podemos ver este post.

Ahora lo que tenemos que hacer es descargar VS Code desde este sitio web

Cuando tenemos estos dos instalados en nuestra maquina tenemos que ir a la barra de herramientas al izquierdo.

Se tiene que buscar Python. Se tiene que instalar la primera que nos sale, la cual es de Microsoft.

Luego buscamos la extensión de anaconda (si queremos usar anaconda)

Y finalmente instalamos Visual Studio Intellicode

Esta ultima nos ayuda con nuestro código de Python. Nos da ayudas y nos permite autocompletar nuestro código.

Ya con todo esto instalado se tiene que seleccionar el intérprete de Python que instalamos

Para seleccionar el interprete se tiene que ir a la línea de comandos que tenemos en la parte superior como se puede observar en la imagen. La podemos abrir dando clic sobre la esquina inferior izquierda en VS Code o con “control shift p” luego se escribe Python interpreter y nos da la opción para selección la ubicación donde esta instalado nuestro interprete de Python.

De esta manera podemos iniciar a escribir código de Python con VSCode

Reporte Técnico Predicción Salarial

2020-08-24T17:15:00.003-06:00

Nuestro trabajo se centra en un dataset con información relacionada a trabajos de Estados Unidos. La idea del dataSet es poder predecir el salario de los trabajos utilizando modelos que nos permitan predecir información.

Los datos fueron encontrados en Kaggle. El cual es un dataset de libre uso para el análisis de datos, en el siguiente link https://www.kaggle.com/andrewmvd/data-analyst-jobs/tasks. El cual cuenta con 2253 filas y 16 columnas. Las propiedades del dataset se definen de la siguiente manera.

1. Id: esta propiedad es solamente un número que identifica cada una de las filas del dataset

2. Job Title: este describe el titulo o nombre del empleo

3. Salary Estimate: esta propiedad tiene un rango de cuanto paga cada uno de los trabajos. Esta información fue encontrada en Glassdoor.

4. Job Description: tiene información relaciona a que es el trabajo que se va a desempeñar.

5. Rating: evaluación que le dan los empleados a las empresas

6. Company name: el nombre la compañía que se está evaluando

7. Location: donde se encuentra ubicada la empresa

8. Company Headquartes location: la ubicación de la compañía

9. Size: la cantidad de empleados con los que cuanta la compañía.

10. Founded: el año cuando fue fundada la compañía

11. Type of ownership: el tipo de compañía que se va a analizar

12. Industry: la industria a la que pertenece la empresa

13. Sector: el sector en el que esta la industria de la empresa

14. Revenue: cuanto genera la compañía

15. Competitors: cuales con los posibles competidores de la empresa

16. Easy Apply: Si es fácil aplicar para la empresa o no

Lo primero que se realizó fue cargar el documento en Python para ver su contenido. Se hace un head para ver el contenido rápidamente del dataset. Luego se realiza un análisis de la estructura del dataset, esto para ver que tipos de objetos tiene cada una de las columnas. Después de esto se pasa verificar si existen valores nulos en el dataset.

Para poder hacer algunos análisis se requiere cambiar los valores alfanuméricos a valores numéricos, por lo que se carga otro dataset para poder analizar la información tanto en su estado original como en con sus valores numéricos ya que se van a tener que hacer algunas transformaciones de datos.

Durante el proceso se crean diferentes dataset para analizar diferentes cosas, por ejemplo, se crea un pequeño dataset con el salario, título del trabajo y raiting del empleo. Esto para verificar algunas preguntas que teníamos del set de datos.

Utilizando ordenamiento se busca información relacionada a los mejores salarios comparándolos con las calificaciones de las personas. Con esto podemos encontrar datos interesantes del dataset y determinar que únicamente con estos criterios no podemos predecir correctamente los salarios. Definitivamente se va a requerir más datos.

Se inicia hacer algunos gráficos para ver los datos. Por ejemplo, la relación que existe entre Salary Estimate y Job Title. Los gráficos inicialmente son un poco difíciles de interpretar ya que tiene muchos datos por lo que se va a crear datasets más pequeños. La idea es poder entender mejor los datos utilizando set de datos que se pueden visualizar en los gráficos.

Se crear más ordenamientos para ir entendiendo los datos de manera simple. Lo primero que se hace es ordenar los datos por medio del rating para verificar si los salarios más altos se encurtan ubicados entre las empresas con mayores calificaciones o si no es así. Esto se logra utilizando la función sort_values de Python que además permite crear ordenamiento por diferentes tipos de valores del set de datos. Se hacen ordenamientos por medio del Salary Estimate para poder ver si las empresas con los salarios más altos cuentan con las mejores calificaciones con esto se puede determinar que las mejores calificaciones no están estrictamente relacionas a los mejores salarios de las personas. Por lo que se debe realizar otra serie de estudios para encontrar mayores relaciones entre los datos con los que contamos.

La idea de hacer conjuntos de datos más pequeños realmente nos ayudo a crear muchas observaciones que se pueden graficar y estudiar de manera detallada. Parte de las observaciones que se hacen están basadas en los supuestos con los que se inicial el proyecto para predicción de salarios.

Se hacen otros filtros de datos con diferentes valores para ir inspeccionando la información un poco más y de esta manera comprendiendo mucho mejor con que estamos tratando.

Continuando con el proceso de análisis de datos iniciamos a ver la información que contenía cada una de las propiedades de nuestro dataset. Utilizando la función unique de Python buscamos los valores únicos de las diferentes columnas con el fin de poder generar valores únicos para cada una de las variables. Ya que algunos procedimientos y modelos no soportan datos alfanuméricos.

Nos damos cuenta de que los valores de las columnas en algunos casos son muchísimos por lo que transformar esto de manera manual no es simple. Con esto se decide a crear un algoritmo que nos permite transformar los datos de manera automática, pero tenemos que guardar la equivalencia de cada uno de estos datos para futuros estudios.

El algoritmo que creamos realmente es muy simple. Lo que hacemos es buscar el valor único de cada una de las columnas que tenemos en el dataset. Creamos una lista que se encarga de asignar un valor numérico para cada uno de los valores de texto que tiene cada columna. Al final como resultado tenemos una lista que cuenta con un formato llave/valor para representar el valor numérico equivalente al dato que tenia el set de manera original.

El proceso fue encontrar los valores únicos de cada una de las columnas con esto se generaron valores numéricos que representaran cada de los datos. Cada columna del dataset tiene una lista que contiene sus valores números para futuros procesos, esto con el fin de no olvidar que representa cada uno de los nuevos datos del conjunto. Luego de esto se crea un ciclo que se encarga de recorrer la columna e ir cambiando el valor alfanumérico por el valor numérico que representa el dato que tenemos en nuestro dataset.

Este último proceso se corrió para cada una de las columnas que no tenían valores numéricos.

En el caso de la columna Easy Apply esto es un valor true/false lo que representa valores de verdadero o falso. Esta columna no tenia todos los datos completos y con algunos -1 dentro de su información. Todos los valores de true se convirtieron en 1 los otros fueron convertidos a 0. Este fue un poco más simple ya que no teníamos esa cantidad enorme de datos como las otras columnas.

La ultima columnas a la que nos tocaba analizar para ver que podíamos hacer con esta era la columna de job description. Tomamos el tiempo de ver qué tipo de información teníamos en esta columna. Se encuentran los valores únicos de esta columna y prácticamente toda la información que tenia esta columna era de filas únicas. Es decir, cada una de las diferentes descripciones de los trabajos eran únicos. Lo que nos llevo a la tarea de analizar el contenido y fuimos viendo la información que tenía. Esta columna realmente no tenía información cuantificable o medible. Lo que nos daba esta columna eran datos de qué tipo de trabajo se estaba hablando, algunas descripciones de roles y tipos de personas que podrían estar interesadas en el trabajo. Por ejemplo, algunas hablaban de que querían personas que fueran muy trabajadoras, etc. Pero no le estaban aportando un valor real al estudio que se deseaba hacer.

Llegamos a la conclusión que lo mejor seria quitar la columna de nuestro estudio. Ya que no nos estaba dando un valor importante a nuestro análisis.

Para continuar con el proceso se hace una inspección de la estructura de los datos ya con la transformación. Nos damos cuenta de que algunos tipos de datos no son de tipo int. Esto da problemas con algunas tareas de análisis de datos.

Por lo que nos dimos a la tarea de convertir todos los tipos de datos a int32 que realmente era la forma en la que teníamos almacenados ahora la información. Esto nos permite trabajar con la información que tenemos con todos los modelos y procesos de visualización que queríamos crear.

El resultado de dataset por procesar fue con una estructura de tipos de datos numéricos (int32) que nos permitirá utilizar todos los tipos de gráficos y modelos.

Nos dimos cuenta de que teníamos pendiente una columna más por analizar la cual era founded. Esta columna representa cuando la empresa fue fundada, pero en algunos casos tenia un -1 que representa que no tiene una fecha de su fundación. Por lo que se realizo otra transformación de datos y pasamos este dato a un 0. Ahora el 0 representa que la compañía no tiene fecha de fundación.

A partir de este punto se inicia otra serie de análisis datos para ver cómo podemos entender mejor la información con la que contamos.

Como podemos observa en este grafico se hace un conteo de los tipos de salarios. Que tenemos en los datos. Esto nos demuestra cual es el salario más ofrecido por las diferentes empresas. Podemos visualizar de manera simple como se agrupan los rangos salariales que tenemos. Además de esto se continúa haciendo otros tipos de gráficos con diferente tipo de información para poder entenderla mucho mejor. Algunos gráficos son difíciles de entender ya que la cantidad de información es muy amplia.

Con este problema lo que hacemos es crear subdatasets con filtros que nos permitan ver información de manera más fácil. Por ejemplo, tomamos todos los datos de las empresas con mejores calificaciones y con este extracto de datos creamos gráficos.

Esta técnica sin ninguna duda permite entender mejor la información y crear datos que nos permitan responder a interrogantes específicas. Este proceso lo hicimos varias veces con el fin de entender diferentes partes de la información con la que estamos trabajando. El filtrar la información nos da mayor control sobre lo que deseamos investigar y los resultados que estamos buscando.

De esta forma por ejemplo se pudo encontrar la relación que tenemos de los mayores salarios y las evaluaciones de las personas.

Ahora es momento de trabajar con los modelos. Para hacer este trabajo se desarrollaron tres modelos diferentes para 3 tipos de datasets.

Los modelos fueron

· SVR

· RF

· LinearRegression

En el caso de los dataset fueron seleccionados de la siguiente forma. Uno que encontramos directamente en la página que proponía cuales eran los valores que se debían seleccionar para crear los modelos, este fue tomado como el modelo de criterio experto. En el caso de los otros dos modelos se generar proceso para hacer un feature selection usando librerías de Python. El primero dataset se utilizo el algoritmo de SelectKBest y luego el ExtraTreeClassifier. Estos dos últimos nos dieron columnas muy similares sin embargo si existían diferencias. Por lo que se toma la decisión de usar ambos para crear modelos y ver cual nos brinda mejores resultados.

El primer modelo que de criterio experto contiene los siguientes atributos

· Industry

· Location

· Compny revenue

El modelo que con el algoritmo kBest

· Job Title

· Salary Estimate

· Company Name

· Location

· Headquartes

· Founded

· Type of ownership

· Industry

· Sector

· Revenue

· Competitor

El modelo ExtreTreelassifier

· Job Title

· Salary Estimate

· Compnay name

· Location

· Headquarters

· Size

· Founded

· Type of ownersh

· Industry

· Sector

· Revenue

Ya con estos dataset se procede a crear una variable para cada dataset que contenga la variable dependiente que será la que vamos a predecir.

Después de esto se crean los dataset que vamos a usar, pero sin la variable dependiente esto con el fin de crear los sets de entrenamiento y de pruebas. Para cada uno de los dataset se crea una parte de pruebas y una parte de entrenamiento. Se analiza la información que contiene los sets de entrenamiento y pruebas solo para ver que fuero creados correctamente.

Luego debemos importar algunas librerías extras de Python para poder ejecutar algunos modelos que se requieren para poder predecir la información.

Para la creación de los modelos más simple se hacen variables que contiene cada uno de los modelos para cada uno de los datasets.

El siguiente paso que tenemos que hacer es iniciar a construir los modelos. Utilizando los datos de entrenamiento vamos a crear cada uno de los modelos.

En total vamos a generar 9 modelos que tenemos que analizar para ver cual nos da mejores resultados. Con esto vamos a generar estadísticas que nos permitan entender cual es el modelo que vamos a utilizar basados en las estadísticas que se fueron generando en el proyecto.

Detalle de las estadísticas

En el cuadro anterior podemos observar las estadísticas que hemos generado con los modelos para la predicción de los empleos.

Nos damos cuenta de que el dataset con la menor cantidad de datos no es el que nos genera los mejores resultados. Los dos dataset que usan la selección de atributos utilizando las funciones de Python nos dan mejores resultados a la hora de predecir la información.

Nos damos cuenta de que no siempre el uso del criterio experto nos da los mejores resultados es mejor crear estudios un poco más profundos para poder comprender mejor que atributos son los correctos para mejorar las predicciones.

Código de Python https://github.com/jeanPython/jobbSalary/blob/master/Job%20Salary.ipynb

Regresar

Python para Data Analysis

2020-08-04T19:42:00.005-06:00

Después de usar lagunas herramientas para el estudio de datos como RapidMinder y R me parece que Python es mucho más fácil y rápido para el estudio de datos. Por supuesto R es una gran herramienta que no debemos menospreciar.

Vamos a ver que se necesita para iniciar con el análisis de datos con Python. Podemos hacer dos cosas descargar anaconda que ya tiene varios frameworks para el análisis de datos o podemos instalar Python y luego continuar con la instalación de las otras librerías.

Primero debemos descargar Python https://www.python.org/downloads/ tiene que buscar la versión que aplica para su sistema operativo. En mi caso estoy usando Windows. Tenemos que agregar una variable en el Home para Python. Después de esto podemos correr Python en el cmd

Esto nos mostrara la versión de Python que tenemos instalado y nos permite asegurarnos que los instalamos correctamente.

Ahora debemos verificar que versión de pip tenemos. En el cmd debemos digitar “pip –version”

Pip en Windows se debió haber instalado cuando se instalo Python, pero se podría actualizar si fuera necesario.

Ahora tenemos que instalar algunas librerías que son necesarias para nuestro análisis de datos.

1. Numpy

2. Pandas

3. Matplotlib

4. Scipy

5. Scikit-learn

Estas librerías las vamos a instalar usando PIP con el siguiente comando desde cmd.

“pip install panda”

Ahora solamente se debe cambiar el nombre de la librería que se desea instalar. Cuando terminamos con las librerías vamos a usar el comando “pip freeze” con el fin de ver si tenemos todas las librerías necesarias instaladas.

A continuación, vamos a instalar Jupyter Note para poder ejecutar nuestras operaciones de Python. Se puede usar con otros IDEs pero realmente Jupyter es muy fácil y tiene muy buenas características para hacer nuestro trabajo limpio y rápido.

Igual que las otras librerías tenemos que correr pip install jupyter. Cuando lo tenemos instalados vamos a correr en el cmd “jupyter notebook” esto nos abre nuestro editor de texto para Python.

De esta forma podemos ver nuestro código de Python

Ya estamos listos para trabajar con nuestros proyectos de datos

Regresar

Crear Json desde SQLServer queries

2020-08-03T14:51:00.004-06:00

El uso de Json se ha hecho muy popular y común para transmitir datos por medio de la web y diferentes sistemas internos y externos de diferentes empresas. Ahora a partir de SQLServer 2016 podemos crear queries que pueden generar resultados con Json.

Con el uso de Json se puede manipular el tipo de resultado que vamos a crear. Vamos a ver unos ejemplos de como se puede logar esto.

Primero vamos a crear una tabla para poder crear los queries.

Las tablas y los datos los encontramos en este link https://www.progress.com/tutorials/ado-net/code-examples-sql-server

Con el siguiente ejemplo podemos ver como generar el resultado de Json. Usando “FOR JSON PATH” y también podemos controlar el formato.

SELECT * FROM emp FOR JSON PATH

[{"empno":1,"ename":"JOHNSON","job":"ADMIN","mgr":6,"hiredate":"1990-12-17T00:00:00","sal":18000.00,"dept":4},{"empno":2,"ename":"HARDING","job":"MANAGER","mgr":9,"hiredate":"1998-02-02T00:00:00","sal":52000.00,"comm":300.00,"dept":3},{"empno":3,"ename":"TAFT","job":"SALES I","mgr":2,"hiredate":"1996-01-02T00:00:00","sal":25000.00,"comm":500.00,"dept":3},{"empno":4,"ename":"HOOVER","job":"SALES I","mgr":2,"hiredate":"1990-04-02T00:00:00","sal":27000.00,"dept":3},{"empno":5,"ename":"LINCOLN","job":"TECH","mgr":6,"hiredate":"1994-06-23T00:00:00","sal":22500.00,"comm":1400.00,"dept":4},{"empno":6,"ename":"GARFIELD","job":"MANAGER","mgr":9,"hiredate":"1993-05-01T00:00:00","sal":54000.00,"dept":4},{"empno":7,"ename":"POLK","job":"TECH","mgr":6,"hiredate":"1997-09-22T00:00:00","sal":25000.00,"dept":4},{"empno":8,"ename":"GRANT","job":"ENGINEER","mgr":10,"hiredate":"1997-03-30T00:00:00","sal":32000.00,"dept":2},{"empno":9,"ename":"JACKSON","job":"CEO","hiredate":"1990-01-01T00:00:00","sal":75000.00,"dept":4},{"empno":10,"ename":"FILLMORE","job":"MANAGER","mgr":9,"hiredate":"1994-08-09T00:00:00","sal":56000.00,"dept":2},{"empno":11,"ename":"ADAMS","job":"ENGINEER","mgr":10,"hiredate":"1996-03-15T00:00:00","sal":34000.00,"dept":2},{"empno":12,"ename":"WASHINGTON","job":"ADMIN","mgr":6,"hiredate":"1998-04-16T00:00:00","sal":18000.00,"dept":4},{"empno":13,"ename":"MONROE","job":"ENGINEER","mgr":10,"hiredate":"2000-12-03T00:00:00","sal":30000.00,"dept":2},{"empno":14,"ename":"ROOSEVELT","job":"CPA","mgr":9,"hiredate":"1995-10-12T00:00:00","sal":35000.00,"dept":1}]

Con el atributo de ROOT se puede crear un nodo principal para agregar todo el resto del JSON

SELECT empno,ename,job,mgr,hiredate,sal,comm,dept FROM emp

FOR JSON PATH, ROOT('emp')

{"emp":[{"empno":1,"ename":"JOHNSON","job":"ADMIN","mgr":6,"hiredate":"1990-12-17T00:00:00","sal":18000.00,"dept":4},{"empno":2,"ename":"HARDING","job":"MANAGER","mgr":9,"hiredate":"1998-02-02T00:00:00","sal":52000.00,"comm":300.00,"dept":3},{"empno":3,"ename":"TAFT","job":"SALES I","mgr":2,"hiredate":"1996-01-02T00:00:00","sal":25000.00,"comm":500.00,"dept":3},{"empno":4,"ename":"HOOVER","job":"SALES I","mgr":2,"hiredate":"1990-04-02T00:00:00","sal":27000.00,"dept":3},{"empno":5,"ename":"LINCOLN","job":"TECH","mgr":6,"hiredate":"1994-06-23T00:00:00","sal":22500.00,"comm":1400.00,"dept":4},{"empno":6,"ename":"GARFIELD","job":"MANAGER","mgr":9,"hiredate":"1993-05-01T00:00:00","sal":54000.00,"dept":4},{"empno":7,"ename":"POLK","job":"TECH","mgr":6,"hiredate":"1997-09-22T00:00:00","sal":25000.00,"dept":4},{"empno":8,"ename":"GRANT","job":"ENGINEER","mgr":10,"hiredate":"1997-03-30T00:00:00","sal":32000.00,"dept":2},{"empno":9,"ename":"JACKSON","job":"CEO","hiredate":"1990-01-01T00:00:00","sal":75000.00,"dept":4},{"empno":10,"ename":"FILLMORE","job":"MANAGER","mgr":9,"hiredate":"1994-08-09T00:00:00","sal":56000.00,"dept":2},{"empno":11,"ename":"ADAMS","job":"ENGINEER","mgr":10,"hiredate":"1996-03-15T00:00:00","sal":34000.00,"dept":2},{"empno":12,"ename":"WASHINGTON","job":"ADMIN","mgr":6,"hiredate":"1998-04-16T00:00:00","sal":18000.00,"dept":4},{"empno":13,"ename":"MONROE","job":"ENGINEER","mgr":10,"hiredate":"2000-12-03T00:00:00","sal":30000.00,"dept":2},{"empno":14,"ename":"ROOSEVELT","job":"CPA","mgr":9,"hiredate":"1995-10-12T00:00:00","sal":35000.00,"dept":1}]}

Podemos agrupar o crear Json dentro del Json principal como podemos ver en el siguiente ejemplo.

SELECT empno [emp.empno],ename [emp.ename],job,mgr,hiredate,sal,comm,dept FROM emp

FOR JSON PATH, ROOT('emp')

{"emp":[{"emp":{"empno":1,"ename":"JOHNSON"},"job":"ADMIN","mgr":6,"hiredate":"1990-12-17T00:00:00","sal":18000.00,"dept":4},{"emp":{"empno":2,"ename":"HARDING"},"job":"MANAGER","mgr":9,"hiredate":"1998-02-02T00:00:00","sal":52000.00,"comm":300.00,"dept":3},{"emp":{"empno":3,"ename":"TAFT"},"job":"SALES I","mgr":2,"hiredate":"1996-01-02T00:00:00","sal":25000.00,"comm":500.00,"dept":3},{"emp":{"empno":4,"ename":"HOOVER"},"job":"SALES I","mgr":2,"hiredate":"1990-04-02T00:00:00","sal":27000.00,"dept":3},{"emp":{"empno":5,"ename":"LINCOLN"},"job":"TECH","mgr":6,"hiredate":"1994-06-23T00:00:00","sal":22500.00,"comm":1400.00,"dept":4},{"emp":{"empno":6,"ename":"GARFIELD"},"job":"MANAGER","mgr":9,"hiredate":"1993-05-01T00:00:00","sal":54000.00,"dept":4},{"emp":{"empno":7,"ename":"POLK"},"job":"TECH","mgr":6,"hiredate":"1997-09-22T00:00:00","sal":25000.00,"dept":4},{"emp":{"empno":8,"ename":"GRANT"},"job":"ENGINEER","mgr":10,"hiredate":"1997-03-30T00:00:00","sal":32000.00,"dept":2},{"emp":{"empno":9,"ename":"JACKSON"},"job":"CEO","hiredate":"1990-01-01T00:00:00","sal":75000.00,"dept":4},{"emp":{"empno":10,"ename":"FILLMORE"},"job":"MANAGER","mgr":9,"hiredate":"1994-08-09T00:00:00","sal":56000.00,"dept":2},{"emp":{"empno":11,"ename":"ADAMS"},"job":"ENGINEER","mgr":10,"hiredate":"1996-03-15T00:00:00","sal":34000.00,"dept":2},{"emp":{"empno":12,"ename":"WASHINGTON"},"job":"ADMIN","mgr":6,"hiredate":"1998-04-16T00:00:00","sal":18000.00,"dept":4},{"emp":{"empno":13,"ename":"MONROE"},"job":"ENGINEER","mgr":10,"hiredate":"2000-12-03T00:00:00","sal":30000.00,"dept":2},{"emp":{"empno":14,"ename":"ROOSEVELT"},"job":"CPA","mgr":9,"hiredate":"1995-10-12T00:00:00","sal":35000.00,"dept":1}]}

De esta manera podemos generar documentos o resultados de Json con nuestros datos de SQLServer

Apache Netbeans 12 Payara y JDK14 Para crear servicios de Rest

2020-07-31T21:59:00.002-06:00

Hace unos días tenía que hacer un servicio de Rest pero no quería utilizar los JDK anteriores al 14 de Java. encontré que se puede utilizar un proyecto de Micro Payara con JEE8 (Jakarta) para crear esto.

Lo primero que vamos a hacer es crear un proyecto nuevo en Netbeans usando Maven.

Buscamos el que dice Payara Micro Application, damos clic en siguiente luego de esto debemos de asignarle un nombre a nuestro proyecto y damos clic en siguiente.

En mi caso vamos a seleccionar la versión 5.201 del servidor de Payara. Luego clic en finalizar.

Dentro de mi proyecto voy a crear un paquete nuevo que se va a llamar codebase

En este paquete vamos a crear unas clases POJO que utilizaremos para generar nuestros objetos de Json. Vamos a crear una clase que se llama Article donde vamos a tener unas variables para describir artículos que tendremos en nuestro sistema.

Ahora si es tiempo de agregar nuestro primero servicio de Rest. Siguiendo los pasos a continuación

1. Clic derecho sobre el proyecto

2. New

3. Clic sobre otros

4. Buscamos la carpeta que dice Web Services

5. Y seleccionamos Restful Web Services From Patterns

Ahora hacemos clic en siguiente hasta llegar a esta pantalla. Donde tenemos que hacer algunos cambios. Primero el paquete donde queremos guardar las clases relacionadas a nuestros APIs, el path donde estará ubicado nuestro servicio, el nombre del recurso. Es importante no olvidar cambiar el MIME Type a json que es la forma que nuestro API va a responder. El campo final no es tan importante cambiarlo ya que lo podemos hacer después para retornar una lista de objetos.

Cuando tenemos todo listo damos clic en finalizar.

Esto genera un nuevo paquete con dos clases. La clase que tiene nuestra definición del API que seria ArticleResource y la clase con la configuración de nuestro servicio. Vamos a ir a la clase ArticleResource.

La clase AricleResource va a tener los verbos de Rest. Para nuestro ejemplo vamos a utilizar únicamente el verbo de GET.

En este método vamos a inicializar la lista como se puede ver en la línea 45 y la vamos a retornar.

Ya estamos listos para correr nuestra aplicación.

Cuando corremos nuestra aplicación se va a correr un servidor de Payara en le console out de Netbeans vamos a poder ver la dirección que podemos usar para ver nuestro servicio en el browser.

En el output vamos a poder ver el URL en mi caso esta corriendo sobre el puerto 8081.

Cuando lo abrimos en el navegador de internet se puede ver el resultado de nuestro API de artículos que muestra un json.

Ejemplo

Como instalar una librería en R

2020-05-29T18:17:00.002-06:00

Cuando instalamos R y RStudio tenemos una serie de herramientas que nos permite hacer muchas manipulaciones sobre los datos que importamos a nuestros proyectos de R. Sin embargo, existen librerías externas que podemos instalar para darle mayores funcionalidades a nuestro ambiente de desarrollo de R.

Existen muchas diferentes librerías que podemos encontrar en internet para instalar como para hacer gráficos, manejar datos, generar modelos para predecir datos, etc.

Una librería muy popular que nos permite utilizar una gran cantidad de modelos para generar predicciones. Esta es caret. Para nuestro ejemplo vamos a ver cómo se puede instalar caret en nuestro ambiente de R. Las librerías que están disponibles las podemos instalar de la misma forma que vamos a instalar caret.

En nuestro RStudio vamos a digitar la siguiente instrucción

Damos enter y esperamos que se termine de descargar e instalar toda la información relacionada con esta librería.

Importante el nombre del paquete lo vamos a escribir entre comillas.

Cuando se termina la instalación debemos ejecutar la siguiente instrucción

En este caso va sin comillas.

Esta instrucción nos permite poner a disposición la librería en nuestro ambiente o proyecto.

Regresar