Machine learning, Deep Learning, Neural Networks, Php, raspberry pi.... & more

Citizen seismic stations. Earthquake monitoring and detection

noreply@blogger.com (Rafael Martín) — Mon, 27 Oct 2025 19:11:00 +0100

I have launched a new portal dedicated to citizen seismic stations. Created with low-cost materials, affordable for the majority of the population, educational centers, researchers, and development professionals.

The intention is to make the necessary materials and software available to interested people. The project aims to expand seismic networks to achieve better event resolution and generate new and valuable data.

Citizen projects, as their name suggests, are "city" projects, so the data is often contaminated by daily human activity, but they still offer very interesting and new data that had been impossible until now. Now we can obtain data from our surroundings.

The project is in beta phase and developed entirely by me, but it is already beginning to offer visible results.

Software features:

- It can be used with different types of sensors (accelerometers or geophones).

- Offers .mseed file sharing (standard in seismology)

- Prepared to trigger alarms in 25 different individual frequency ranges.

- Real-time monitoring through web-based management of the 25 frequency ranges, alerts, and spectrograms.

- Send in real time helicorders in format svg for best quality and graphs size.

On the website Earthquake citizen monitoring and detection with seismic stations, you can view some real-time data: live seismograms from two seismic stations (one with a geophone and one with an accelerometer). These spectrograms are generated in real time. The data comes from two stations installed in the city of Girona, Catalonia.

The website also displays the timing of an earthquake and how the software reacts to the event, corroborated with various professional stations and real-time seismic monitoring software on a global scale.

Detección de ondas sísmicas PKP del terremoto de magnitud 4,9 en Tonga desde España con un acelerómetro ADXL355 a 17,640 km de distancia

noreply@blogger.com (Rafael Martín) — Mon, 11 Aug 2025 15:14:00 +0200

Las ondas PKP son un tipo de onda sísmica que se origina en el foco de un terremoto, atraviesan el manto y se refractan al entrar en el núcleo externo líquido de la Tierra, para luego salir de nuevo al manto y ser detectadas por una estación sísmica. La velocidad de estas ondas P en el núcleo externo oscila entre 8.0 y 10.1 km/s.

Una onda PKP de un terremoto de magnitud 4.9 en Tonga fue detectada en mi estación sísmica de Girona, en Cataluña (España), un minuto antes de la llegada de un terremoto de magnitud 6.0 en Turquía. Esta onda PKP de alta frecuencia (entre 5 y 15 Hz) fue captada por un acelerómetro ADXL355, un dispositivo de bajo costo que demostró ser capaz de detectar un evento sísmico ocurrido a 17,640 km de distancia.

Acelerómetro ADXL355 de Analog Devices

Los acelerómetros suelen ser efectivos para detectar vibraciones cercanas, pero la detección de terremotos lejanos es un desafío, ya que estos se manifiestan como un movimiento del suelo en lugar de una vibración fuerte. Por esta razón, el logro de detectar un evento lejano con un sensor de bajo coste es un dato valioso.

El sistema de detección que he programado utiliza una combinación de filtros para procesar la señal sísmica:

Filtros IIR: Se usan para analizar diferentes rangos de frecuencia (Hz), lo que permite diferenciar distintos tipos de ondas según la distancia del sismo (cercano, regional, lejano, etc.).
Filtro de Kalman: Sirve para mejorar la precisión en la detección de las ondas, separándolas del ruido de fondo.
Configuración STA/LTA: Esta configuración específica se ajusta para cada filtro, optimizando la detección de cada tipo de onda.

Datos del terremoto: Magnitud 4.9 en Tonga, según el USGS, ocurrido el 10 de agosto de 2025 en 20.690°S 175.485°W a las 2025-08-10 16:36:08 UTC, y la hora exacta en que su onda PKP fue detectada en Girona, España, 21 minutos después: 16:57:18.400.

En la representación gráfica con el software swarm de la onda sísmica PKP del terremoto de Tonga de magnitud 4.9. La onda fue captada por un acelerómetro ADXL355 a una distancia de 17,640 km. Filtro de 5Hz a 15Hz del Eje Z:

El sismograma detallado con ObsPy, señal original cruda y filtrada entre 10Hz y 30Hz:

El terremoto M6 en Turquía, donde en el minuto 1:10 se puede apreciar el paso de la onda PKP del anterior terremoto M4.9 en Tonga, activando todas las alarmas de rango alto Hz:

Este es el momento de la alerta:

Y finalmente podemos comprobar la misma forma de onda capturada en una de las estaciones ciudadanas de la red raspberryshake

* Cabe destacar que Tonga y Girona están separadas por 17.640 km en la superficie terrestre (distancia geodésica), pero las ondas PKP han viajado a través de la Tierra en línea casi recta (no han atravesado el núcleo), por lo que la distancia recorrida por la onda PKP podría ser de aproximadamente 12.500 km; en resumen, es un logro impresionante.

Software utilizado para la visualización: GlobalQuake, ObsPy y propietario del panel de administración. Sitio web de GlobalQuake: https://globalquake.net/. Transmisión en vivo de GlobalQuake en YouTube: https://www.youtube.com/watch?v=rvtygG4n6ew

Generar fichero .csv de taxonomía de Google en Español

noreply@blogger.com (Rafael Martín) — Tue, 25 Feb 2025 17:40:00 +0100

Hay un problema (404 not found) en el enlace de documentación de taxonomía de Google para descargar el archivo .xls con toda su taxonomía en español. El enlace en idioma inglés funciona perfecto: https://support.google.com/merchants/answer/6324436?hl=es

Este archivo se utiliza para clasificar el tipo de producto para Google Merchant.

El departamento de soporte me indicó que tenían problemas técnicos y me dirigieron al archivo de texto, pero que no se puede importar directamente, ya que un archivo .csv es lo más correcto para proceder a una importación básica y sencilla.

Como tenía trabajo que hacer, he desarrollado un pequeño programa en PHP que lee el archivo .txt original y lo exporta a .csv

Ahora ya puedes importar directamente en español... y sin problemas técnicos ^_^. Te dejo el código:

<?php
// Name of the input file
$inputFile = "https://www.google.com/basepages/producttype/taxonomy-with-ids.es-ES.txt";

// Open input file to read
$fileHandle = fopen($inputFile, "r");
if ($fileHandle === false) {
    die("Cannot open  $inputFile");
}

// Open .csv file to write
$csvFile = fopen("output.csv", "w");

// For each line of the readed file
$lines = 0;
while (($line = fgets($fileHandle)) !== false) {
    if( ++$lines == 1 ) continue; // skip first line
    
    // Delete spaces at begin & end from the line
    $line = trim($line);
    
    // Split number and fields
    list($number, $fields) = explode(' - ', $line);
    $fieldsArray = explode(' > ', $fields);

    // Make a line in .csv format
    $csvLine = $number . ';' . implode(';', $fieldsArray);
    
    // Write the line in de .csv file
    fputcsv($csvFile, explode(';', $csvLine), ';');
}

// Close the files
fclose($fileHandle);
fclose($csvFile);

echo ".csv file created.";
?>

Abrir una ventana modal en HTML puro

noreply@blogger.com (Rafael Martín) — Sun, 4 Jun 2023 20:52:00 +0200

Abrir una ventana modal en HTML puro

Hace unos días, vi un vídeo de Google con diferentes aspectos interesantes, pero el que más me interesó fue el de poder una ventana Modal en Html puro y duro. Menos código más utilidad:

Entrevista en TV de Girona. Hablando de Inteligencia Artificial

noreply@blogger.com (Rafael Martín) — Tue, 15 Nov 2022 18:49:00 +0100

Explicando en 10 minutos que es la Inteligencia Artificial

Este es el tiempo que me han dado TV de Girona para explicar cómo funciona. En 10 minutos he tenido que resumir un curso horas y horas, pero incluso el presentador me ha comentado que se ha entendido perfectamente, que incluso él que no tenía ni idea, lo había entendido ^_^

Adjunto vídeo, a partir del minuto 13:10:

bio-farma.es gana el Premio Internacion e-tech 2022

noreply@blogger.com (Rafael Martín) — Tue, 15 Nov 2022 18:42:00 +0100

Bio-farma.es ha ganado el premio Internacional e-tech 2022. Ha quedado como finalista en 3 categorías en la entrega de premios e-Tech organizado por la Asociación de Empresas de Nuevas Tecnologías de Girona AENTEG y como ganadora en 1 categoría de Premio Internacional, celebrado el 14 de Noviembre de 2022.

Este marketplace ha sido creado con los mejores contextos en SEO y que ha ganado este merdecidísimo precio.

Encantado de poder participar en este proyecto tecnológicamente.

Para más información: https://bio-farma.es/dicen_de_nosotros.

https://twitter.com/premisetech

https://www.aenteg.com/

SEO. ¿El Pagerank ha muerto? PR. Ejemplo con Maca de Naturmil

noreply@blogger.com (Rafael Martín) — Mon, 26 Sep 2022 11:43:00 +0200

Todos sabemos que dentro del SEO, una de las reglas más importantes es el Page Rank (PR). Se conoce básicamente como la cantidad de enlaces externos hacia un sitio web. Se supone que mientras más enlaces, más importante es tu sitio, así que sube de categoría (digámoslo así).

Esto ha causado otro tipo de enlaces SPAM, pues se empezó a hacer un mal uso de esta técnica y se creaban cientos y cientos de sitios web únicamente con enlaces. Lógicamente eran artificiales.

Lo que busca google son enlaces de calidad, así que decidió que todos estos sitios web de enjambre de enlaces tenían poco PR, y lo que transmitían al dominio de destino era poco PR y lo hacía bajar de categoría.

Hoy en día el PR ha perdido pistonada. Google lo utilizará a nivel interno, pero de otro modo, ignorando todos los sitios web spammers de enlaces.

Un ejemplo es que un producto como lo es la Maca de Naturmil, que sirve para aumentar el deseo sexual o la libido tanto en hombres como mujeres.

Esta página no está enlazada desde ningún otro sitio (bueno, ahora sí), pero entonces.... ¿Cómo es que aparece en las primeras posiciones incluso en paises fuera de la Unión Europea? Si se supone que no tiene enlaces, entonces no debería ser importante y es que no tiene PR. Todo esto indica que Google le da cada vez más importancia a los contenidos EAT, o sea, con experiencia, autoridad y confianza, y eso es lo que hace esta página. Dar lo que necesitan las personas que lo buscan, por lo que creo que el Page Rank tiene los días contados. Google ya sabe de qué hablan las páginas y si son más o menos importantes, así como si la página está preparada para ofrecer a la persona lo que busca.

Todo y así, siempre habrá un remanente de Page Rank y mientras más enlaces, seguramente mejor, pero, ya no es indispensable y será una métrica con poco peso.

Foto: Wikipedia.

Galletas Chocolate por.... 98€!!!! Problemas con datos enriquecidos

noreply@blogger.com (Rafael Martín) — Mon, 12 Sep 2022 20:42:00 +0200

Como usar los datos enriquecidos para SEO

Aquí vemos un ejemplo de qué es lo que pasa cuando se utilizan mal los datos estructurados.

Es muy importante que al preparar la estructura visual de los artículos, estos estén correctamente estructurados. Lo normal es prepararlos para que cualquier buscador los pueda encontrar de diferentes maneras y que cada uno utilice el que mejor se adapte (json, html snippets, ...), pero si os fijáis, en este ejemplo hemos encontrado unas galletas sin gluten de 150gr. de un conocido supermercado por la cantidad nada despreciable de.... 98€.

Este no es el único resultado, pues afecta a TODOS los resultados de productos del supermercado en Google.

Lógicamente se trata de un error en la estructura de la página web. resulta que dentro de un código html snipped han remarcado una parte del precio en negrita, y esto le ha indicado a google que, de todo el precio, la parte en negrita es la más importante, y es la que ha utilizado google. El resto del precio no le hace ni caso.

Solo hay una manera de prepararlos bien... y es leer y aplicar. Todos somos humanos y nos podemos encontrar con errores inesperados, pero... 98€.... estas galletas deben de saber suuuuuuper bien para tener este precio!!!!

Varios consejos: Leer, leer y leer, y también probar, probar y probar:

https://support.google.com/webmasters/answer/7445569?hl=es

https://search.google.com/test/rich-results

People-first vs. Search Engines First. SEO - Nuevo algoritmo de Google

noreply@blogger.com (Rafael Martín) — Fri, 19 Aug 2022 14:53:00 +0200

People-first vs. Search Engines First. Helpful Content Update

Desde hace tiempo Google avisaba que había que hacer la web para todo el mundo (PEOPLE-FIRST), y no obsesionarse con realizar solo posicionamiento en el buscador (SEARCH ENGINES FIRST). Muchos especialistas SEO únicamente se han centrado en crear la web para rascar cualquier posición a la competencia y luchando aún más para aparecer en las primeras posiciones del buscador, obviando las insistentes recomendaciones de Google para hacer una web para todos, no solo para salir en primera posición... hasta ahora, cuando Google se ha puesto firme y ha dejado de usar (en parte) el algoritmo tan conocido de Pagerank y generación de contenido automático. Se ha acabado eso del SEO estirado en el sofá y toca levantarse de nuevo y 'currar' duro... si no es que ya hubieses realizado este trabajo antes (que sería lo suyo).

¿El secreto para continuar bien posicionado y que no afecte este próximo cambio a las posiciones de mi web? Haber hecho las cosas bien, que cuestan más pero es como habría que hacerlas. Muy sencillo, pero que no todos escuchan. Mira que hay guías de Google informando de las buenas prácticas a seguir cuando se hace una web, y luego me encuentro con 'listillos' que van de 'chulos' diciendo que son SEO de Growth Hacking y cosas así (parece que suena mejor que ser un simple SEO de la antigua escuela.... no sé, a mi no me gusta), que ellos son más chulos que nadie y que se saltan las leyes de Google.... pues bien... creo que más de uno se echará a llorar dentro de su 'Growth Hacking' en las próximas semanas.

Recuerdo que hace un par de años tuve una charla con un sr. Growth Hacking. Yo le decía que las prácticas que él utilizaba eran poco éticas y que no serían bien vistas por Google, que algún día (si no es que lo estaba preparando ya) Google detectaría todo ese contenido que se encargaba de generar la Inteligencia Artificial (reviews, contenido de páginas, bots falsos, ...). Me dijo que 'de momento' no lo había detectado y que era muy difícil que lo hiciera, así que lo continuaría recomendando a todos sus clientes.... creo que se estará acordando de esa conversación. Le ha durado el 'chollo' 2 años, y ahora imagino que debe de estar corriendo hacia algún lugar donde los clientes no le encuentren cuando se le venga todo esto encima O_o.

Si ves que tu web baja de posiciones próximamente y has contratado servicios SEO, creo que tienes un problema. ¿Cómo es que he pagado a un SEO y parecía que hacía buen trabajo y ahora todo se va al 'garete'? Pues la respuesta es bien fácil. Hay SEO'S y SEO'S hay. Si se ha centrado en posicionarte la web para obtener resultados lo más rápido posible (cosa que técnicamente cuesta también mucho), ha realizado bien su trabajo, pero temporalmente, ya que no ha mirado hacia el futuro. El buen SEO se centra en el trabajo duro de posicionamiento, pero también se centra con la mirada puesta en el futuro. Es la única manera de poder ser lo más 'estable' posible en las posiciones de Google. De nada vale realizar un buen posicionamiento cuando solo nos asegura estar un año bien posicionados. ¿Qué pasa con el resto de los años si dependemos de ese posicionamiento? Se nos quiebra la empresa, claro está.

No todas las empresas pueden permitirse el lujo de pagar un buen servicio SEO, pero con un poco de lógica en el momento de realizar el trabajo, no cuesta tanto dentro de todo el volúmen de trabajo. La verdad es que hay que realizar bastante trabajo que el cliente no ve, pero que está y que Google sí que ve, por lo que este es el trabajo hay que realizarlo también, sí o sí. Muchos SEO'S se lo ahorran porque el cliente no lo verá, para poder abarcar más clientes, para tardar menos y cobrar antes, porque el cliente no quiere pagar más, ..... en fin, que al final realizan su trabajo únicamente en parte.

La excelencia tiene un precio, y en un par de semanas veremos como muchísimos gerentes se ponen nerviosos al ver desaparecer sus webs de los resultados de Google, apareciendo las de la competencia, llamando urgentemente a su SEO de confianza (que no contestará porque tendrá 100 llamadas más) y corriendo como hormigas cual se les tapa el agujero de entrada a su nido, y no, ya no hay tiempo para reaccionar. Google ha dado mucho margen para hacer las cosas bien, y ese tiempo se ha acabado. Por mucho que se intente subsanar el error ahora, es demasiado tarde porque el SEO ya sabemos que es lento y cualquier intento de rectificarlo, todos los cambios tardarán semanas y meses en verse aplicados en el buscador. Mala suerte, se tendría que haber pensado antes de contratar los servicios de cualquier SEO. ¿Alternativa? La de siempre, SEM.

¿Qué implicará el nuevo algoritmo PEOPLE-FIRST de Google?

A partir de ahora, Google se fijará en la usabilidad de la web, Core Web Vitals, contenido de calidad y evitará posicionar las páginas que tengan mucho contenido pero que, al final, no se hable de nada, así como también evitará indexar las páginas con contenido generado por Inteligencia Artificial o reviews artificiales (o sea, utilizará la Inteligencia Artificial para evitar la Inteligencia Artificial ;D ). Toda página que detecte que se ha creado exclusivamente solo para salir antes que la competencia (o sea, 100% Search Engines First), también será penalizada, y todo SEO sabe lo que significa penalización... Tener que realizar multitud de cambios y pedir perdón a Google para que, con un poco de suerte, vuelva a revisar los contenidos y volvamos a estar visibles. Si... hay que pedir perdón a Google, y puede tardar hasta un año en volver a estar disponible el contenido (si a Google le parece bien). Esto se llama Sandbox.

Parece ser que este nuevo algoritmo será tan importante como lo fue el cambio de los anteriores algoritmos con nombre de animales: Hummingbird, Panda & Penguin. De momento se llama helpful content update, pero posiblemente nos encontremos con otro nombre de animal para identificar este importante cambio.

Ya hace meses que os hablé de un proyecto donde se consiguió un 100% de calidad en la web de Parafarmacia online, avalado por el mismo Google. De la noticia se hicieron eco diferentes medios de comunicación, como Tecnonews y Arsys, así como en este mismo blog. Al crear esta web se dió preferencia a las personas, no al buscador, sabiendo que esta manera de hacer era la que Google le gustaba. Aunque no se apostara al 100% por un posicionamiento SEO, si que tuvimos el 100% de puntuación de Google, logrando con creces el objetivo y esperando que Google reconociera este esfuerzo. La recompensa parece que llegará ahora.

Otro ejemplo del esfuerzo para llegar a la excelencia es la prioridad a los dispositivos móviles, como se puede apreciar en esta entrada del blog.

Un cambio esperado desde hace mucho tiempo. Siempre he creído en hacer un trabajo con la misma ideología de Google. Si bien hay que realizar un buen trabajo SEO para que la web esté bien estructurada para el buscador, el contenido de la misma también tiene que ser valioso, único e interesante para el visitante. Un ejemplo: de nada sirve ver la información de una película cuando ni tan solo ha sido estrenada y al final de leer todo el texto, te quedas igual.

El algoritmo PEOPLE-FIRST de Google entrará a funcionar la semana que viene y tardará unas dos semanas en estabilizarse. Al parecer empezará con el idioma inglés y posteriormente implantará el algoritmo a otros idiomas. A partir de la semana que viene empezará el Google Dance, o sea que.... todos a bailar al ritmo de Google!!!!"

Imágen: https://www.freepik.es/

UPDATED: 25 AGOSTO 2022

Sobre las 11:00am ha empezado a tener acción el algoritmo helpful content update. Podemos esperar cualquier cosa. A esperar....

Error: Incorrect date value: '0000-00-00' for column. Mysql Strict Mode

noreply@blogger.com (Rafael Martín) — Thu, 4 Aug 2022 17:57:00 +0200

¿Como corregir Error: Incorrect date value: '0000-00-00' for column en MySQL con strict_mode activado?

Últimamente MySQL está dando quebraderos de cabeza. Yo me lo estoy encontrando a diario. La empresa de alojamiento ha actualizado por seguridad la versión de MySQL a la versión 8.0.26, activando por defecto el modo strict_mode, entre otros . Este último cambio es el que realmente está dando tantos problemas.

La configuración por defecto en MySQL 8 es: ONLY_FULL_GROUP_BY, STRICT_TRANS_TABLES, NO_ZERO_IN_DATE, NO_ZERO_DATE, ERROR_FOR_DIVISION_BY_ZERO, and NO_ENGINE_SUBSTITUTION

Las alarmas empiezan a saltar cuando añadimos o intentamos modificar un dato de la tabla cuando nos han cambiado el servidor con el modo strict_mode activado. Os encontraréis con el siguiente error:

Error: Incorrect date value: '0000-00-00' for column nombre_columna

El modo strict_mode obliga a utilizar un modo de consultas estándar, por lo que ya no se permite realizar ciertas consultas, entre ellas, inicializar una fecha a '0000-00-00'.

Bueno, pues parecería sencillo, cambio el valor por defecto y ya está, no?, pues no:

No se puede modificar el valor por defecto si tenemos datos erróneos en la tabla. Detecta que en la base de datos hay fechas inválidas, por lo que no dejará hacerlo
Tampoco podemos cambiar los valores con una sentencia tan sencilla como
UPDATE tabla SET campo_fecha = NULL WHERE campo_fecha = '0000-00-00'. Por qué? Pues porque nos vuelve a decir que no podemos utilizar este formato de fechas

Entonces... ¿como lo hago?

Debemos utilizar otra sentencia sql parecida a la anterior:

UPDATE tabla SET campo_fecha = NULL WHERE CAST(campo_fecha AS CHAR(10)) = '0000-00-00';

Entonces sí que nos dejará hacerlo. A partir de aquí, si tenéis más de un campo con fecha por defecto '0000-00-00' y que queréis cambiar a NULL, os recomiendo realizar una sola sentencia para esos campos, ya que si solo modificamos uno de ellos, fallará la consulta al encontrar fechas inválidas en otros campos.

Un ejemplo sería así, en una sola sentencia:

ALTER TABLE tabla CHANGE campo_fecha1 campo_fecha1 DATE NULL DEFAULT NULL, CHANGE campo_fecha2 campo_fecha2 DATE NULL DEFAULT NULL;

También nos podremos encontrar con que la nueva versión no admite ciertos campos y deberemos preparar esos campos para que puedan admitir NULL. Si un campo es obligatorio y no se lo enviamos a la consulta, el sistema nos indicará que el campo X no dispone de valor por defecto. O le asignamos un valor por defecto, o lo prepararmos para que pueda ser NULL.

Las consultas GROUP BY también pueden verse afectadas debido a la configuración sql_mode=only_full_group_by. Esta configuración obliga a las consultas a que todos los campos indicados en el GROUP BY, estén en el SELECT. Además, no permite incluir campos en el SELECT, en los HAVING o en los ORDER BY que no estén en la cláusula GROUP BY

Por cierto. Lo mismo pasa con MariaDB. Espero que sirva para alguien. A mi me costó varias horas encontrar la solución.

Google Search Console (GSC). Experiencia en las páginas 100%

noreply@blogger.com (Rafael Martín) — Mon, 1 Aug 2022 10:45:00 +0200

Experiencia en las páginas Mobile & PC 100%

7 meses ha tardado el sistema del GSC a poder tener un 100% en todas las páginas visitadas, tanto en teléfonos móviles como en PC en la web de parafarmacia.

Esta experiencia de velocidad se traduce en visitas, ya que Google sube en los rankings entre dos resultados similares, aquél que tenga una mayor velocidad de carga y experiencia de usuario.

No es imposible. ya véis que tanto en télefonos móviles (imagen superior) como en PC (imagen a continuación), son del 100%.

Puede llegar a ser obsesión el intentar tener un rendimiento siempre del 100%, así que si tenéis algún rendimiento del 90%, ya está bien. La entrada de este blog intenta informar de que llegar al 100% es posible, pero con mucho esfuero. ¿Vale la pena? Eso está a tu decisión ;D.

Inteligecia artificial para el sector turístico

noreply@blogger.com (Rafael Martín) — Thu, 23 Jun 2022 17:22:00 +0200

Inteligencia Artificial encara al sector turístico. Reconocimiento de imágenes

Es muy importante especificar qué es cada una de las imágenes en las páginas web para las personas con alguna minusvalía. Por si no lo sabéis, las personas ciegas pueden navegar por Internet. Se valen de navegadores que leen la página web donde están.... ¿y qué pasa cuando llega a una imágen? pues que el diseñador es el responsable de haberla explicado textualmente en el código de la página web.

Explicar cada una de las imágenes cuando se tienen miles es una tarea ardua, larga, repetitiva y poco gratificante, pero.... ahora tenemos un aliado. La inteligencia artificial.

Una de las tareas nuevas que me toca implementar y lanzar a una empresa a la tecnología 4.0 es precisamente esta, realizar un proceso de deep learning basado en imágenes para que el sistema reconozca las imágenes y hacer esta tarea más fácil, y de paso, ayudar a las personas con alguna minusvalía. Nos toca explicar las 22.000 imágenes, una por una, y no solo eso, si no que habrá que hacerlo en un futuro para todas las miles que entren en el sistema nuevas.

Hace unos días preparé un modelo basado en el reconocimiento de imágenes. Este sistema ha servido para poder clasificar las imágenes de una empresa dedicada al sector turístico, concretamente al alquiler de alojamiento turístico para el verano, vacaciones, etc...

El modelo anterior tenía aproximadamente 13.000 imágenes y tardó unas 70h en procesar cada época (una época es una única pasada por todo el dataset completo de imágenes). Consistía en 47 características diferentes (piscina pública, privada, jardín, barbacoa, habitación, cocina, sala de estar, ....). Estas imágenes se obtuvieron de unos datasets públicos en internet y se tuvieron que filtrar préviamente, ya que aparecían imágenes que no eran útiles para nuestro objetivo. Para ir bien, habría que realizar unas cuantas épocas y así optimizar el modelo. Con máquinas actuales basadas en cálculos a través de las GPU'S es más rápido, pero como me gusta reaprovechar el material y no tirarlo, he aprovechado una máquina del 2009 para que vuelva a trabajar en los tiempos de hoy. Solo dispone de un procesador Pentium Dual Core y no utiliza las últimas instrucciones optimizadas para Deep Learning (como las últimas compilaciones de Tensorflow que utilizan SSE4, instrucciones de procesador AVX, etc), pero.... servirá ^_^'.

El resultado de la clasificación de las primeras 13.000 imágenes genéricas ha sido bastante bueno. Se ha utilizado para clasificar las más de 22.000 imágenes de la empresa, con una tasa de acierto de cerca del 80%. Ya os avanzo que mi intención es incrementar esta tasa de acierto, realizando un segundo paso explicado a continuación.

El segundo paso que nos encontramos ahora es utilizar este dataset clasificado por nosotros mismos para que el sistema aprenda mejor. Para ello se ha utilizado algunas imágenes del dataset anterior que funcionaban muy bien (piscina, cocina, terraza, ...) y se han descartado otras que 'despistaban' al sistema ya sea por la falta de imágenes o por las características genéricas que no coincidían (piscina cerrada, aire acondicionado, chimenea, ....).

El nuevo dataset consta ahora de 39.500 imágenes. Se utilizarán 31.500 imágenes para realizar el Train y casi 8.000 para el dataset de Validación. Se recomienda utilizar aproximadamente un 20% del global de imágenes para el Test y validación.

El nuevo número de características (neuronas de salida) se ha reducido de 47 a 29. Este nuevo dataset englobará todas las características genéricas y más adelante se realizará un deep learning con datasets de imágenes concretas (piscina comunitaria y privada, habitación genérica y de niños, o con cuna, ....) Se pretende que el primer modelo haga una criba genérica y posteriormente los otros modelos especializados se encarguen de desentrañar las características más concretas de ese tipo de imágenes.

El nuevo dataset genérico tardará unas 172h en completarse. El anterior tardaba 70h. Aunque este nuevo tenga menos neuronas de salida, contiene muchísimas más imágenes.

Como curiosidad, se me pasó por la cabeza enviar al modelo dibujos realizados a mano. Escogí 12 diferentes de playa. Eran dibujos de líneas, otros coloreados y otros pintados como un cuadro, digamos. Lo curioso es que todos los dibujos de líneas, para el sistema eran GIMNASIOS. Los coloridos eran HABITACIONES PARA NIÑOS. El resto lo acertó bastante bien. Tiene lógica. El sistema nunca aprendió dibujos, si no, fotos, por lo que las líneas de los dibujos le indicaban que debían de ser los aparatos de un gimnasio, los dibujos coloreados le indicaban que eran habitaciones de niños, donde suelen abundar este tipo de objetos. Curioso, ¿no?

Ahora paciencia, y ya os contaré ;D

Linux. Contar ficheros en directorios recursivo

noreply@blogger.com (Rafael Martín) — Tue, 21 Jun 2022 18:35:00 +0200

find tu_directorio/. -type f | wc -l

Esta es la instrucción que necesitáis ejecutar en vuestro Linux para saber el número de ficheros que existe en un directorio incluyendo sus subdirectorios.

Fácil ;D

Pentium dual core del 2009 para ML, Jupyter, Deep Learning with Tensorflow & Keras, Tensorflow Serve en el 2022

noreply@blogger.com (Rafael Martín) — Thu, 16 Jun 2022 17:10:00 +0200

Utilizando un Pentium Dual Core para procesos de Inteligencia Artificial

Quien me conoce, sabe que me gusta reciclar y dar uso a esos ordenadores que tenemos medio olvidados, que pensamos que ya no nos van a servir para nada.

En este sentido, he hecho realidad lo que es todo un reto. En la inmobiliaria de Calella de Palafrugell me han dejado reciclar un ordenador del año 2009 para realizar procesos relacionados con Inteligencia Artificial. Un 10 por ellos para creer en estos proyectos y entrar en la era 4.0.

Las características del PC:

* CPU 64b Year 2009

* - Pentium(R) Dual-Core CPU E5400 @ 2.70GHz

* MEM: 3GB

* SWAP: 8GB

* HD: ST3250820A 100Gb

* GPU: Nvidia Geforce 210 ver 340.52

* Audio Asus, Realtek Hd Hight Definition Audio

* Ethernet: Atheros AR8121 / AR8113 / AR8114

* OS: Ubuntu 22.04 LTS (jammy) 64b

* Tensorflow 1.5 (For compatibility with old CPU'S)

* Keras 2.1.4 (For compatibility with Tensorflow 1.5 old CPU'S)
* PHP 8.1

* Python2.7 (For compatibility with tensorflow & Keras old CPU'S)

* Docker

Este PC se encarga de realizar el Deep Learning de un dataset de más de 13000 imágenes, con el objetivo de clasificarlas. Para hacerlo utiliza Tensorflow & Keras, ofreciendo además el servicio Jupyter para poder realizar estas tareas externamente mediante un simple navegador.

Este procesador no tenía las instrucciones AVX obligatorias para las versiones de Tensorflow2.0+, así que se ha tenido que utilizar vesiones anteriores de Tensorflow y Keras para que resultasen compatibles con el hardware.

Otro problema que me encontraba era la falta de memoria a causa de la cantidad de párametros a calcular en las neuronas de salida. Esta máquina dispone de tan solo 3Gb. La solución ha sido ampliar la swap (que simula tener más memória), hasta 8Gb en lugar de los 2Gb que tiene por defecto. Si bien hace que el proceso sea más lento, cuando Tensorflow la utiliza, lo hace momentáneamente, así que tampoco influye mucho en la velocidad. Con un poquito de paciencia todo se lleva más que bien.

Aquí una captura del proceso Jupyter:

En la Imagen de la cabecera se aprecia una captura del proceso de aprendizaje (para cada época tarda 70h. aproximadamente).

El sistema además ofrece el servicio de Tensorflow Serve.

Realiza mediante PHP también un proceso de captura online de imágenes, prepararlas con instrucciones en un subproceso en Python2.7, realiza la petición al Tensorflow Serve y envía los resultados de la clasificación a la base de datos en Internet para verificar el correcto proceso (o no) de la clasificación. Alcanza cerca de un 80% de aciertos, por lo que es bueno. También os digo que será mejor cuando después de realizar esta clasificación, el sistema aprenda directamente mediante las imágenes que yo mismo he clasificado.

Una captura del proceso de clasificación:

El modelo utiliza 47 características como outputs. Teniendo en cuenta que es un ordenador antiguo, que está realizando proceso de Deep Learning y además prediciendo, el proceso de predicción tarda unos 12 segundos de media (Entre que descarga la imagen desde internet, preparar los inputs con el proceso de Python, tensorflow serve realiza la predicción, y el sistema envía los outputs a la base de datos).

Mientras, se realizan procesos de monitorización, como la temperatura de la CPU y el uso de los procesadores:

Analizando los primeros resultados, hay que tener en cuenta que el dataset para realizar el train, se ha basado en datasets descargados de internet. Se realizó un filtro sobre todas las imágenes para descartar algunas y para que se asemejen lo más posible a las situaciones reales de la empresa. Los fallos más comunes de la predicción son: Terraza con Piscina (por la similitud en el suelo), Lavabo con cocina (por similitud en los azulejos). También suele confundir comedor con habitación (por la similitud entre un sofá y una cama). O por ejemplo, comedor lo confunde con cocina (En muchas cocinas hay mesas con sillas, así que es normal también). Poco a poco se irá perfeccionando el sistema con nuevos datasets más fiables, y espero conseguir resultados muchísimo más acertados. Hay que tener también en cuenta que el proceso de aprendizaje solo ha pasado 2 veces por el dataset (2 épocas). Hay que probar con más épocas para ver los resultados sin que el sistema haga un sobre aprendizaje de los mismos.

La lección que podemos aprender: Aunque las máquinas de hoy en día superen con creces el rendimiento de las antiguas, y, si bien es cierto, alcanzan velocidades de vértigo que ahorraría en electricidad, no hay por que invertir en más tecnología cuando ya disponemos de ella y que no utilizamos para nada (que se traduce en más producción de co2, gasto de energía, etc...). Podemos reaprovechar todos los recursos disponibles, siempre que no sea para situaciones críticas. Demos una segunda vida a esas máquinas que están deseando volver a trabajar. Al fin y al cabo estamos siempre en la rueda de comprar lo nuevo y tirar lo viejo, así que, yo apuesto por el reciclaje y estar al día a la vez.

¿Quien le hubiera dicho a ese pc que estaría hoy de vuelta 'a la vida' realizando predicciones y procesos de aprendizaje profundo en el 2022?

Probando DALL-E MINI

noreply@blogger.com (Rafael Martín) — Mon, 13 Jun 2022 13:02:00 +0200

Poniendo a prueba DALL-E MINI

Si.... la foto de arriba no existe (o no existía hasta que yo le pedí a la inteligencia artificial que la inventara).... es Hommer Simpson con falda y bailando. No os habéis equivocado.

Hace unas semanas se lanzó DALL-E 2 de OpenIA. Es un sistema de creación de imágenes facilitándole una simple frase escrita. Algo realmente asombroso con resultados impactantes. Seguro que habréis visto la siguiente fotografía por internet:

Un astronauta montado a caballo en estilo fotorrealista. Lo curioso es que realmente se la inventa. El sistema 'entiende' que es lo que le estamos pidiendo y la crea de la nada. Impresionante. Además te da otras versiones, también en foto, grafiti, dibujo, .... Tú pide y DALL-E 2 te da lo que le pidas. Las imágenes son de alta calidad y a 1024x1024 píxels, o sea, una pasada.

El futuro (o presente) de esta tecnología, se puede aplicar a muchas áreas, pero una de las que no se salvará, será el diseño de espacios. A partir de una fotografía, se podrá rellenar el contenido con lo que quieras (un dormitorio al estilo Ikea o modernista), con algún detalle en concreto, etc.... el sistema lo dibujará teniendo en cuenta las superficies para las sombras y reflejos. Es impresionante.

DALL-E 2, hasta ahora, solo ha podido ser testeado por un grupo de reducido de personas, pero eso se ha acabado. Ahora existe una versión reducida y en Open Source llamada DALL-E MINI, con la que podemos 'jugar', poniendo a prueba el sistema e intentando crear imágenes inexplicables para ver hasta donde puede llegar la Inteligencia Artificial.

¿Cómo sería Eddie (la mascota del grupo heavy metal de Iron Maiden) en versión gorila? ¿Y una mosca jugando al ajedrez? o quizás se te haya pasado por la cabeza ¿Como sería Albert Einstein en versión luchador de sumo?

Yo no me he podido resistir y lo he puesto a prueba hasta donde llega mi imaginación (que no es poco). No siempre se obtienen los resultados esperados, pero otros realmente sorprenden. Teniendo en cuenta que aún está en fase de aprendizaje (o DEEP LEARNING), los resultados de aquí a poco tiempo prometen bastante.

Si os habéis imaginado algún día un gorila patinando dentro de un túnel, eso podría ser algo así:

O por ejemplo, el gorila patinando en la playa:

O en bikini en el polo norte tendría un aspecto tal que así:

Vaya.... este biquini te favorece muchísimo XD

Lo que se te pase por la cabeza, puede tener una interpretación.... las cosas más absurdas e impensables, como.....

Un barco con alas

Un virus con gafas

Un elefante con zapatos

Moscas jugando al ajedrez

Un ordenador de mantequilla

La última cena con pizza (Hey Judas, pásame la de peperoni!!!!)

Orangután en un airbus

Will Smith con Einstein (si un poco desfiguradillos, pero se intuyen perfectamente)

Nuestro apreciado Einstein Luchador de Sumo

O Einstein bailando la Conga

orangutanes pilotando avión

Camaleón bailando la conga

Mosca con Gafas

Elefante saltando a la pata coja

Por primera vez en la historia de la humanidad (o de los simios), asistimos a la boda de un gorila y un orangután

Qué es esto? Vaya!!!! un barco bolígrafo!!!!!

Murciélago haciendo submarinismo

Pájaro conduciendo un coche

Gorila con Tutu bailando ballet

Darth Vader Gorila

Darth Vader Payaso

Gorila con flotador de flamenco

Pues si.... los simios, dado su aspecto 'humanoide', dan mucho juego, por lo que veis. Ahora algo impresionante O_O. La mascota de Iron Maiden (Eddie) en versión gorila

y para acabar..... un gran concierto de rock haciendo el mono!!!!!

Fijaos en los reflejos de las luces!!!!

Y así podríamos seguir.... que lo disfrutéis y os sorprenda tanto como me apasiona a mí!!!!!!!

Predecir el precio de la Luz 2022- 23

noreply@blogger.com (Rafael Martín) — Fri, 10 Jun 2022 20:33:00 +0200

Modelo de predicción Machine Learning. Predecir el precio de la luz en 2022 y 2023

Predecir el precio de la luz es muy difícil hoy en día. Debemos tener en cuenta todos los cambios de precio al alza exponenciales de los últimos meses, que nada tiene que ver con la tendencia normal y natural de una serie de datos.

El precio de la luz depende del precio del Gas (recordemos que tenemos actualmente varios conflictos abiertos, como Ukraina, Marruecos y Algeria). También depende del coste de las emisiones de Co2 y de la producción en cada día, que dependerá de la energía fabricada mediante fuentes limpias (eólica, hidráulica, solar, ...), o bien de otras fuentes no tan limpias (nuclear, mixto, carbón, ...). Y para controlar el precio, el gobierno tiene pensado usar medidas a modo de descuento en los precios.

¿Entonces. Cómo podemos asegurar el precio que tendremos? Ya veis que es una tarea complicada, o casi imposible. Y digo casi, porque disponemos de herramientas que nos ayudarán, como la Inteligencia Artificial, que es experta en realizar predicciones.

En el alquiler de pisos y casas, cuando debemos realizar cálculos predictivos para saber lo que consumirá un cliente en electricidad durante un año, es importante no alejarse mucho del resultado final. Aquí es donde entran a trabajar las redes neuronales.

Este problema nos lo hemos encontrado en la Inmobiliaria Finques Frigola, de Calella de Palafrugell. Para solucionar estos problemas he realizado un modelo de red neuronal que realiza predicciones del coste de la luz. En este caso nos hemos guiado por los precios de HOLA LUZ, y con la tarifa fija (sin tramos horarios).

Para una cosa tan sencilla como decir lo que costará la luz en un período de tiempo, nos hemos encontrado muchísimos problemas.

- Los datos adquiridos de bases oficiales vienen en diferentes formatos. Hemos tenido que unificarlos en un solo formato estándar.

- Faltan años para según qué datasets, así que hemos tenido que empezar a realizar el proceso de ML a partir del primer año de datos que disponíamos de los costes de electricidad, que era a partir del 2014.

- Hay datos que nos vienen en meses y otros en días. Hemos realizado dos datasets diferentes para realizar pruebas en cada uno de ellos y ver las predicciones.

El proceso de aprendizaje se ha realizado en una máquina con tan solo 3 Mb. de Memoria, y un procesador Pentium Dual Core del 2009 aproximadamente, con una versión de Ubuntu 22.04 actual, pero debido a que este procesador no utiliza instrucciones AVX necesarias para Tensorflow 2.0, se ha utilizado una versión antigua, la 1.5.0. También hemos utilizado Keras 2.1.4 y la programación se ha llevado a cabo mediante aplicativos desarrollados en PHP y Python 2.7.

Tensorflow es un devorador de memoria, por lo que se ha tenido que ampliar la memoria virtual para simular tener más memoria. Por defecto el sistema ofrece 2Gb y se ha ampliado a 8Gb, ya que entre otros modelos de redes neuronales, existen otros procesos de aprendizaje DEEP LEARNING para el reconocimiento de imágenes que explicaré en otra entrada del blog. De todas maneras, el uso de la memoria Swap es puntual.

Tarda menos de 5 minutos en aprender aproximadamente los 3.600 registros del dataset, por lo que la máquina funciona de sobras. No son muchos registros que digamos, por lo que el dataset de validación se ha dividido en tan solo un 10% para no tener que desperdiciar tan pocos datos disponibles y muy valiosos.

El proceso tiene en cuenta la diferencia del Mean Squared Error y en caso de tener 10 épocas de pérdidas, para antes de llegar al final y evitar el Sobreajuste ó Overfitting. Aproximadamente realizará un total de 100 Épocas. A este modelo no le hace falta más para aprender el mecanismo de cómo funciona el precio de la luz :).

Las primeras pruebas que hicimos fue sobre el dataset mensual, pero teníamos pocos datos que introducir al sistema, así que no aprendía muy bien.

Reproducimos el proceso usando el dataset diario. En este caso, añadimos los datos mensuales para cada uno de los días, y así teníamos el mes completo a diario.

En este caso funcionó muy bien. En la imagen superior tenéis el resultado.

Veréis que para enero todos los modelos indican una bajada muy acusada, y además, el sistema coincide en los datos previstos para febrero y marzo. Puede ser que la bajada acusada se deba a un 'fallo' en los datos. En principio parece que están correctos y queda pendiente realizar una revisión más profunda, pero para empezar, lo dejaremos así.

He realizado una gráfica con la media de las predicciones. A partir de aquí, rellenaremos cada mes los datos oficiales de Hola Luz y los costes de electricidad para ver si el sistema ha aprendido bien.

Ya os iré contando....

Pantalla 46'' Alta luminosidad Digital Signage

noreply@blogger.com (Rafael Martín) — Fri, 22 Apr 2022 22:17:00 +0200

Pantalla 46'' Alta luminosidad Digital Signage

Hoy os presento un software que he desarrollado para Finques Frigola.

Software de reproducción Digital Signage en Pantalla de alto brillo preparada para verse en condiciones de alta iluminación a plena luz del día. 46", 2500CD, FHD, LED BLU, Altavoces, Chasis de metal y uso (24/7).

El software creado a medida admite formatos de imágenes jpg, jpeg, jpe, gif, png, webp, svg, xpm, xbm, gd, gd2, bmp, pdf, tif, tiff, psd, icon, ico, wbmp, así como formatos de vídeo mp4, mpg, ogg, ogv, webm, mov, flv, aiff, mkv y avi, entre otros.

El sistema adapta a la pantalla los formatos de vídeo e imágenes. Permite la reproducción de imágenes en sistema Poster o doble imagen en horizontal.

También permite reproducir los vídeos en tramos de X segundos, a escoger por el administrador.

Se puede configurar la imagen de fondo de los vídeos, así como la duración de transiciones entre imágenes, tanto en formato Póster, como doble imagen horizontal independientemente.

Se puede ver en funcionamiento en

C/ Calau, 6

17210 Calella de Palafrugell (Girona)

https://finquesfrigola.com

Como saber qué carpetas o directorios ocupan más espacio en Linux

noreply@blogger.com (Rafael Martín) — Thu, 21 Apr 2022 11:56:00 +0200

Con sudo du -sh * | grep G podemos saber las carpetas que ocupan más espacio en disco. En este caso en Gigabites. El comando mirará los directorios a partir del que estemos.

En el ejemplo anterior, hemos ejecutado el comando desde la carpeta /var, y nos indica que la carpeta lib ocupa 2,6Gb y la de logs '/var/log/ ocupa 3Gb. El resto de los directorios, como no llegan a 1Gb, no los muestra.

Con este sencillo comando podemos monitorizar el espacio de nuestro disco para alertarnos en caso de que alguna carpeta ocupe demasiado, o bien para hacer limpieza de los directorios que ocupen más.

Yo lo utilizo en el servidor de la Parafarmacia. Tenemos fabricantes con muchísimos artículos, y cada uno de ellos con imágenes en diferentes tamaños y formatos, así que debemos prestar atención a los fabricantes que ocupan más espacio por si hay que realizar alguna actuación sobre ellos. No es lo mismo, por ejemplo, un fabricante como Aquilea, que tiene 13 artículos, que un laboratorio como Solgar o Pranarom, que tiene cada uno centenares de artículos.

Biofarma en Arsys. Ejemplo de rendimiento, seguridad y reputación

noreply@blogger.com (Rafael Martín) — Thu, 10 Mar 2022 12:26:00 +0100

Bio-farma.es: Un ejemplo de rendimiento, seguridad y reputación

Hace unos meses lanzamos el proyecto de ecommerce de parafarmacia online. Hoy Arsys, la compañía de hosting que utilizo desde hace más de 20 años, han publicado un escrito en su blog, analizando la capacidad y alto rendimiento de esta web.

Es una satisfacción el poder enseñar los logros tecnológicos después de tanto esfuerzo y recibir estos reconocimientos:

https://www.arsys.es/blog/biofarma-hosting-esencial-rendimiento-seguridad-reputacion

La URL de AMP de referencia no es de una página AMP

noreply@blogger.com (Rafael Martín) — Sat, 11 Dec 2021 18:04:00 +0100

Preparando las páginas AMP del dominio bio-farma.es, me encontré con este error, y perdí muchísimas horas buscando la solución.

En Google únicamente tenía de referencia el mensaje que me daba el soporte de google: https://support.google.com/webmasters/answer/7478053?hl=es

Una página canónica incluye como referencia de AMP una página que no es AMP. Consulta cómo debería hacerse referencia a páginas AMP en páginas que no son AMP.

No encontraba nada de nada, pero al final encontré la solución.

Lo primero que hay que hacer es ver si Google detecta la página como AMP. Google dijo que sí, así que lo lógico era que en la página canonical apuntara a esta página AMP directamente,.... pero NO. Google dijo que no, todo y que la página de destino era bien reconocida como AMP.

La url de test de páginas AMP:

https://search.google.com/test/amp?utm_source=support.google.com/webmasters/&utm_medium=referral&utm_campaign=%207320015

Y el sitio del proyecto de páginas AMP: https://amp.dev/

Existe un par de temas:

1) No utilizar una url tipo https://nombredominio.com/directorio_pagina_amp. Para ir bien, hay que especificar un nombre de fichero (.html, por ejemplo), así que hay que utilizar https://nombredominio.com/pagina_amp.html

2) Para asegurarnos de cumplir con el UTF-8, enviar en el encabezado la codificación UTF-8 por si nuestro servidor utiliza otro tipo de configuración. En PHP el comando es:

header ('Content-type: text/html; charset=utf-8');

Con estos dos consejos, Google ya reconocerá nuestra página AMP como tal. El problema es que la url canonical enlazaba a un directorio para optimizar el SEO, y esto no era bien reconocido como Google, así que finalmente se ha utilizado el antiguo tipo de urls con nombre de fichero .html.

Un ejemplo de la página AMP final:

https://bio-farma.es/azucar-integral-cana-con-melaza-1-kg_1/amp.html

Espero que esta contribución ayude en Google en la respuesta que yo mismo no encontré y ahorre tiempo a otros desarrolladores.

Cuando la tienda online aprovecha la inteligencia artificial. Bio-farma.es

noreply@blogger.com (Rafael Martín) — Tue, 7 Dec 2021 04:32:00 +0100

Cuando una tienda online de Parafarmacia aprovecha el potencial de los servidores Linux, PHP, MySQL y cómo no, de la Inteligencia Artificial

Quiero tener una tienda online. Así se presenta normalmente el cliente, entonces vienen las preguntas: ¿Quieres una estándard como Prestashop, Oscommerce, Magento, Woocommerce, o incluso un wordpress o prefieres una tienda a medida?

La gente no sabe qué hacer, pero en la mayoría de los casos se deciden por el precio, no por la capacidad que le pueda ofrecer la tienda online, así que el cliente finalmente se conforma con tener una tienda online y ya está, a esperar que vengan los clientes.

Mi recomendación, al ser posible, siempre es la misma. Realizar una tienda online a medida, pero no todo el mundo se lo puede permitir.

bio-farma.es es un ejemplo de una tienda online especializada en Parafarmacia que ha sabido aprovechar todo el potencial de las nuevas tecnologías, incluso de la aplicación de la Inteligencia Artificial para su provecho.

El proceso ha sido el siguiente:

Se ha realizado todo un proceso de importación de más de 25.500 productos, cada uno con su imagen correspondiente o bien documentos adjuntos.
Se ha procedido a traducir 695.634 registros automáticamente mediante la API de Google Translator a 4 idiomas (Español, Catalán, Francés e Inglés). Para realizar este proceso, en Google Translator se han traducido . En total se ha gastado en la API USD176.77 en un total de 207,250 peticiones a la API, lo que ha sido una inversión en traducción enormemente bien invertida. Por cierto. Bio-farma.es ha dado el permiso para liberar esta librería de traducción automática de la API de Google Translator en PHP. La encontraréis aquí: https://github.com/vivesweb/GoogleTrnsltr.
El servidor corre en un sistema web basado en PHP 8.0, y la verdad, es que para manejar la cantidad de 25.500 artículos, con sus respectivas descripciones, fotos, etc... va rapidísimo, casi instantáneo.
Se ha procedido a redimensionar adecuadamente imagen por imagen para que el servidor entregue en cada momento el tamaño que más se adecúe a la petición del usuario, además de transformar automáticamente cada imagen en diferentes formatos para que sea compatible con navegadores antiguos y actuales. Este proceso se ha traducido en unas 450.000 redimensiones y cambios de formatos de imágenes.
El sistema se ha preparado para que contacte con los proveedores para actualizar constantemente el stock y precios.
Las bases de datos han sido exhaustivamente testeadas con todas las consultas al servidor para optimizar los índices y conseguir velocidades de vértigo.
Lógicamente se han tenido en cuenta las peticiones de Google para el SEO, como el formato de las imágenes, urls amigables, velocidad de carga de la web, optimización de recursos, etc...

Si os habéis fijado, tenemos 695.634 registros para traducir y únicamente ha realizado 207,250 peticiones a la API de Google Translator. Entonces, ¿cómo se han traducido los registros restantes? La propia aplicación, antes de recurrir a los servicios de la API de Google, revisa si ya se había traducido el texto. En caso afirmativo, reutiliza la anterior traducción interna y en caso contrario, entonces se procede con los servicios de Google Translator. Una optimización para reudcir los costes que ha venido de perlas.

La optimización del código para obtener el máximo rendimiento, base de datos, índices de las tablas y demás elementos como tamaño y formato de imágenes y código html es crucial. Cuando uno de los proveedores se puso las manos en la cabeza al saber que íbamos a incluir más de 25.000 artículos, pensando que el sistema se saturaría, no sabía realmente con quien estaba hablando ni lo que estaba a punto de suceder en esta web. Si su sistema va lento, es debido al nivel de programación de su software o base de datos.

Se han hecho las cosas a nivel de la excelencia, y no es que lo diga yo .... lo dice la página de PageSpeed Insights de Google. Mirad el resultado del test de velocidad de Google PageSpeed Insights teniendo en cuenta la cantidad de datos a filtrar, imágenes y traducciones multiidioma. Todos los datos se generan dinámicamente:

Para Ordenador PC:

Para teléfonos móviles:

Y la URL AMP para teléfonos móviles:

Curiosamente nos ha detectado mejor rendimiento en la versión para móviles que en la propia versión AMP que está más que optimizada para móviles, pero todo y así, tanto la web como el servidor ofrecen un rendimiento espectacular. Hay que decir que el servidor se basa en la última versión de PHP de última generación que es la PHP8.0.

Hay una nota en la página de PageSpeed Insights que dice lo siguiente:

Para brindar una buena experiencia de usuario, los sitios deben esforzarse por obtener una buena puntuación (90-100). Una puntuación "perfecta" de 100 es extremadamente difícil de lograr y no se espera. Por ejemplo, tomar una puntuación de 99 a 100 necesita aproximadamente la misma cantidad de mejora métrica que tomaría de 90 a 94.

Pues bien. Esa puntuación casi imposible de lograr y que no se espera, en esta web existe en casi todas las páginas.

Mi recomendación es que no se puede crear una tienda online así de la nada, con un sistema 'barato', y esperar que te lo haga todo. Este proyecto ha sido todo un reto, y reto conseguido!!!! El tiempo invertido hasta el momento es de 1 mes aproximadamente en programación y de 1 semana realizando el proceso de importación de datos, traducciones y preparación de ficheros automatizado. Aún queda trabajo por hacer (indexación en los buscadores, carro de la compra, pasarela de pago, conexión con automática para realizar los pedidos a los proveedores, seguimiento de los pedidos, generación de pedidos, albaranes y facturas,....), o sea que, con los resultados obtenidos y comparando con los demás modelos, para poder obtener el resultado óptimo no se puede utilizar una tienda 'barata'. Es más. Una tienda 'barata' necesitaría igualmente de programación para obtener los datos e importar los productos de cada proveedor, teniendo en cuenta que cada proveedor trabaja de una manera diferente y bio-farma.es se ha creado para poder trabajar con multiproveedor, sin importar el formato ni la forma en que los proveedores faciliten los datos.

El siguiente paso será finalizar algunos retoques, optimizar aún más el rendimiento, añadir nuevas opciones y otro reto más. Introducir la inteligencia artificial para ofrecer productos realmente interesantes al cliente.

Ahora que está ya todo a punto, solo queda un merecido descanso, y a disfrutar de los productos naturales, bio, eco, sin gluten, sin azúcares, ..... vaya, que además hemos ganado en salud con esta parafarmacia online. ¿Qué más podemos pedir?

PHP-libplot: Matplotlib-PyPlot & Numpy en puro PHP

noreply@blogger.com (Rafael Martín) — Sat, 30 Oct 2021 08:34:00 +0200

PHP-libplot: Matplotlib-PyPlot & Numpy en PHP

Librería en PHP al estilo de Matplotlib, pyplot & numpy.

PHP-libplot v.1.0.0 es una librería escrita en puro PHP que emula el funcionamiento de Matplotlib escrita en Python, consiguiendo un resultado muy parecido, de hecho casi indetectable, al original de Pyplot y añadiendo funciones matemáticas de Numpy, muy utilizadas en Machine Learning, como linspace o arraypow, pero como digo, utilizando únicamente código PHP, sin necesidad de tener Python instalado en el sistema ya que esta librería es nativa y no utiliza absolutamente nada de código python.

La librería para generar gráficas de barras, gráficas de líneas, hacer scatters u obtener pairplot es muy utilizada para ver los datos de los datasets en los modelos de Machine Learning, antes de realizar el aprendizaje profundo, ya que hay que modificar los datos antes de empezar el deep learning.

El objetivo de haber escrito esta librería en puro PHP en lugar de utilizar la que ya hay disponible en Python es la imposibilidad de utilizar este último lenguaje de programación en servidores compartidos web, ya que están muy capados por seguridad. Poder utilizar estas gráficas era condición indispensable para generar gráficas en php para algunos proyectos de inteligencia artificial. Pyplot era perfecto, pero imposible de utilizar en mi caso, así que decidí crear una clase que me ofreciera la misma calidad y respetara en todo o posible la línea de esas gráficas para PHP.

Es imposible incluir todas las características de la fantástica Matplotlib por falta de tiempo, así que de momento he creado las características que necesito en este momento, aunque no descarto poco a poco ir ampliando nuevas características a la clase.

Os habéis preguntado cómo se ven los datos del IBEX35? Pues en el ejemplo superior tenéis el resultado. Es un ejemplo real de los datos del IBEX35 hasta hoy.

En esta gráfica de muestra, si os fijáis bien, existen datos que salen del grupo, otros que están a 0, .... Estos datos se llaman outliers y hay que controlarlos. Gracias a este tipo de herramientas podemos detectar estos datos que nos harían destrozar nuestro aprendizaje en la red neuronal y haría que no aprendiera debidamente.

Con estas gráficas también detectaremos datos que no están correctamente estructurados. Si nos fijamos en la última gráfica inferior derecha, veremos que la barra más alta es la primera, y si nos fijamos en las gráficas directamente superiores, detectamos que se refiere a que la mayoría de datos ocupan los valores 0. Esto hay que controlarlo para eliminar los datos o bien transormarlos en características booleanas que se puedan activar o desactivar en caso de que el valor sea 0, ya que estorban en el trabjo de nuestro modelo de dataset y repartir así el peso de los datos por todo el dataset completo.

Hace unos días publiqué la base de esta clase que realizaba las gráficas de barras y de líneas en php. Es la clase madre de la php-libplot que acabo de lanzar y las dos están ligadas y son como aquel que dice, inseparables. Se pueden obtener resultados tan fantásticos y casi imposible de diferenciar de los obtenidos por Pyplot, como estos:

La clase la podéis descargar desde:

- Github: https://github.com/vivesweb/php-libplot/

- Phpclasses.org: https://www.phpclasses.org/package/12270-PHP-Matplotlib-Pyplot-written-in-PHP-Graphs-charts-.html

Graficos de barra, gráficos de líneas, MatPlotLib en PHP

noreply@blogger.com (Rafael Martín) — Thu, 28 Oct 2021 04:07:00 +0200

Generar gráficos de barra, gráficos de líneas en php

MatPlotLib es una herramienta fantástica escrita para Python, para generar gráficos cuando realizamos Machine Learning. Nos ayuda muchísimo en el momento de entender nuestros datos antes de introducirlos en nuestras redes neuronales para identificar problemas y modificarlos gracias a esta ayuda visual.

El problema que nos encontramos muchos programadores es que utilizamos servidores compartidos en la nube y no nos dejan mucho margen para instalar apicaciones de terceros, así que, cómo podemos obtener estos resultados o algo muy aproximado utilizando PHP?

La solución es GRAPH-PHP. Una herramienta que he desarrollado para generar gráficos al estilo de MatPlotLib. Aún está en una fase muy primeriza, pero pronto podré ampliar esta herramienta con nuevas características. Todo y así ya se puede utilizar y los resultados son muy buenos.

Os presento algún ejemplo que veréis muchas veces en MatPlotLib, realizados con esta herramienta en puro PHP, sin necesidad de instalar aplicaciones externas.

Se asemejan muchísimo a las gráficas realizadas por MatPlotLib, por lo que el objetivo ha sido cumplido con creces. Ya tenemos una primera versión de MatplotLib para PHP.

Esta clase permite dibujar líneas, barras verticales, cambiar el color de las líneas, mostrar leyenda, incuir títulos en los ejes Axis X & Axis Y, dibujar marcas predefinidas en los puntos de intersección, incluir tus propios iconos png como marcas, incluir imagen de fondo e incluso realizar efectos sobre ella, mostrar líneas de guía, rotar los textos del eje Axis X, Realizar un Scratter o también un histograma automáticamente.

Ya véis. Una herramienta útil y versátil.

La podéis encontrar en:

- PhpClasses: https://www.phpclasses.org/package/12268-PHP-graph-bars-histograms-graph-lines-marks.html

- Github: https://github.com/vivesweb/graph

Numpy linspace() en php, así como elevar un array con pow()

noreply@blogger.com (Rafael Martín) — Sat, 9 Oct 2021 22:13:00 +0200

Funciones linspace() o elevar arrays ya disponibles en PHP

He liberado una clase en PHP que puede realizar cálculos de potencias en arrays o generar un array ordenado entre dos números con un número de muestras en concreto. Esta última función es la función de numpy linspace().

Estas funciones se suelen utilizar en Python en el Machine Learning, pero en PHP escasean, así que.... me las he inventado y ahora ya existen 😁.

Un ejemplo muy claro de su uso sería en el siguiente código:

// NOTE: The graph library will be published soon. this example is only to see the use of Linspace() & pow()

// We assume that $ax in PHP is a graph_object, and create an ext_op_ml object in $m variable

// PYTHON PYPLOT

x = np.linspace(0, 2, 100)

ax.plot(x, x, label='linear')

# Plot some data on the axes.

ax.plot(x, x**2, label='quadratic')

# Plot more data on the axes...

ax.plot(x, x**3, label='cubic')

# ... and some more.

// PHP

$m = new ext_op_ml();

$x = $m->linspace( 0, 2, 100 );

$ax->plot( $x, $x, ['label'=>'linear'] );

$ax->plot( $x, $m->pow($x, 2), ['label'=>'quadratic'] );

$ax->plot( $x, $m->pow($x, 3), ['label'=>'cubic'] );

Como vemos, el código queda muy parecido, así que la intención es ir añadiendo las funciones que normalmente se utilitzan en Python e implementarlas en PHP. De esta manera, los ejemplos serán muy fáciles de traducir a medida que vaya publicando nuevas cases encaradas al Machine Learning, y es una manera muy fácil de aprender en PHP con ejemplos muy parecidos en Python.

Que por qué inventar una cosa que ya está inventada? No es inventar, es adaptar a mis necesidades, ya que suelo trabajar con PHP y una de las cosas muy útiles que tiene es poder utilizar estas mismas librerías en servidores públicos y en producción que suelen ser servidores web. En la mayoría de ocasiones, por seguridad, es imposible instalar los paquetes necesarios de python, y no te queda otra que trabajar direcamente en PHP, así que.... a continuar adaptando código se ha dicho.

En la versión primitiva ya podemos utilizar los siguientes métodos:

- linspace( $start, $end, $numsamples = null );

- pow( $values, $exp = 2 );

- str_len_ttf( $text, $font_path, $font_size, $angle = 0 );

- inch_2_pixels( $size_inch, $dpis = 72 );

- hex2rgb( $hex_color );

La librería la podéis descargar desde:

- https://www.phpclasses.org/package/12245-PHP-Extended-math-functions-on-php.html

- https://github.com/vivesweb/ext_op_ml

Leer Temperatura CPU, memoria, carga de sistema en PHP

noreply@blogger.com (Rafael Martín) — Thu, 7 Oct 2021 21:56:00 +0200

Como leer la temperatura de la CPU/GPU, Carga de sistema, Uso de memoria, uso de disco, .... desde PHP

A veces nos encontramos con la necesidad de conocer estos parámetros, como por ejemplo cuando estamos ejecutando nuestros backpropagations en procesos de Machine Learning. Estos procesos consumen tanta CPU o GPU que el sistema se sobrecalienta, y es imprescindible conocer en todo momento la temperatura de la CPU para no provocar un desastre. Por ejemplo. Qué pasa cuando no se controla la temperatura y se deja que el proceso siga su curso hasta poner al rojo vivo la CPU? pues que al llegar a los 100ºC🌡 el sistema se para bruscamente.... y os lo digo por experiencia 😅.

Creé esta clase para ayudarme en los procesos de Machine Learning en PHP, pero decidí liberarla porque la verdad es que hace muchísimas cosas más, como conocer el uso de la memoria, del disco, estado de carga de la CPU, uptime, versión del sistema, saber el número de cpu's, ...

Esta clase se puede utilizar para realizar tareas de monitorización del sistema, tanto Windows como GNU/Linux.

Hay que tener en cuenta que su uso es aconsejado en entornos CLI, ya que por tema de permisos, muchas de las funciones quedarán capadas en el usuario del servidor (como por ejemplo en entornos de servidores web). En entornos virtuales, según he probado, tampoco funcionan correctamente para leer la temperatura de la CPU, pero si que funciona perfectamente para saber qué número de procesadores tiene el servidor en el que estamos ejecutando el script.

La podéis descargar desde https://github.com/vivesweb/system-resources o bien desde https://www.phpclasses.org/package/12157-PHP-Get-values-of-the-current-computer-devices.html