Rubén Ortiz

Zabbix – reducir tamaño base de datos

Rubén Ortiz — Mon, 16 Jan 2012 08:09:38 +0000

A continuación un comentario breve sobre la base de datos de Zabbix y su peso, comentar que el tema es la tabla history pero con estos tips podemos aligerar el tema. No lo toméis al pie de la letra.

1
2
3
4
5
6
7
8

-bash-3.2# du -hs *
105M ibdata1
65M ib_logfile0
65M ib_logfile1
768K mysql
0 mysql.sock
4.0K test
46G zabbix

Paramos el servidor de Zabbix

1	# /etc/init.d/zabbix_server stop

Optimizamos los datos con mysqlcheck (hay que tener innodb-file-per-table en la configuración)

1	# mysqlcheck -uuser -ppassword -o --all-databases

Después de la optimización de espacio realizada con el optimize vemos la reducción importante de espacio de la bbdd.

1
2
3
4
5
6
7
8

-bash-3.2# du -hs *
105M ibdata1
65M ib_logfile0
65M ib_logfile1
768K mysql
0 mysql.sock
4.0K test
37G zabbix

Entonces, realizamos un dump con mysqldump de la misma base de datos, pues vamos a mover la base de datos a una instancia MySQL donde se ejecutará aislada. Volcamos el dump y comprobamos el tamaño final después del proceso:

1
2
3
4
5
6
7
8

-bash-3.2# du -hs *
1.6G ibdata1
5.1M ib_logfile0
5.1M ib_logfile1
900K mysql
0 mysql.sock
1016K test
19G zabbix

Resumen del proceso:

1. Paramos Zabbix Server
2. Optimización
3. Dump
4. Volcado
5. 69% menos de peso en la base de datos

Varnish & WordPress – Ips y comentarios

Rubén Ortiz — Tue, 10 Jan 2012 11:50:40 +0000

Hace unos meses publiqué un tip sobre WP & Varnish, por un tema concreto, el registro correcto de ips en nuestro sistema instalando un módulo, el Rpaf. Es un módulo útil cuando tenemos algún tipo de proxy, o caché, como en este caso varnish.

Hace poco he tenido un “problema” con un cliente. Al hacer el split de su backend y frontend, akismet plugin comenzó a filtrar todos los comentarios como spam. Yo no me acordaba de este detalle, el de las variables:

REMOTE_ADDR
X_FORWARDER_FOR

Para arreglar esto hemos de seguir una serie de pasos explicados aquí Y adicionalmente, para el tema de los comentarios de WP, hemos de editar (y si alguien sabe otra manera que la diga ) los archivos:

wp-includes/comment.php
wp-content/plugins/akismet/akismet.php

tendremos que editar estos dos archivos buscando la variable

REMOTE_ADDR

y editando por

HTTP_X_FORWARDED_FOR

Faltará reiniciar Varnish y ya lo tenemos.

Links
http://mclear.co.uk/2010/12/03/wordpress-and-varnish-comment-ips/

Prestashop – habilitar modo debug

Rubén Ortiz — Thu, 05 Jan 2012 10:43:59 +0000

Útil para cuando queremos investigar errores en Prestashop. En config/config.inc.php modificar estas lineas

1 2	@ini_set('display_errors', 'off'); define('_PS_DEBUG_SQL_', false);

por estas otras

1 2	@ini_set('display_errors', 'on'); define('_PS_DEBUG_SQL_', true);

VZ 4.7 – problemas de memoria – caso práctico

Rubén Ortiz — Tue, 29 Nov 2011 11:33:33 +0000

Tenemos un VPS que nos da el siguiente error

1	Fatal resource shortage: privvmpages, UB 101.

Entramos en vps

1	vzctl enter 101

Comprobamos memoria

1
2
3
4
5

free -m
total used free shared buffers cached
Mem: 512 469 42 0 0 53
-/+ buffers/cache: 416 95
Swap: 0 0 0

Vemos que, está máquina tiene configurado 512MB. Nosotros sabemos que, venimos de un modo SLM en el que, 512MB era el softlimit mientras que el hardlimit es de 756MB. Problemas, en 4.7 no está el modo SLM y se ha sustituido por VSwap.

En el momento en que entramos, no tuvimos problemas pero otras veces vemos “Cannot Allocate Memory”. Estamos en un caso complejo de:

- VPS con problemas de recursos, ha sobrepasado el tiempo de gracia y se reduce su RAM a softlimit
- VPS con configuración 4.6 en VZ 4.7

Al mover nuestros VPS a 4.7, automáticamente todos empiezan a usar el nuevo esquema de RAM. En el caso de SLM es asi:

- el total de RAM lo marca slmmemorylimit
- el total de swap es 0
- el límite de memoria a alojar es el valor de slmmemorylimit por 1.5.

El nuevo esquema tiene este comportamiento:

1 You set for a Container a certain amount of RAM and swap space that can be used by the processes running in the Container.
2 When the Container exceeds the RAM limit set for it, the swapping process starts. The swapping process for Containers slightly differs from that on a standalone computer. The Container swap file is virtual and, if possible, resides in the Node RAM. In other words, when the swap-out for a Container starts and the Node has enough RAM to keep the swap file, the swap file is stored in the Node RAM rather than on the hard drive.
3 Once the Container exceeds its swap limit, the system invokes the OOM Killer for this container.
4 The OOM Killer chooses one or more processes running in the affected Container and forcibly
kills them.

En todo caso, estamos ante un problema de recursos, pero vamos a aplicar ya la nueva configuración.

1 2	cd /vz/private/VEID/ cp ve.conf ve.conf.bak

editamos ve.conf y eliminamos cualquier mención de SLM

1	vctl restart VEID

El vps no se va a levantar pues, no tiene parámetros UBC o Vswap que aplicar. Es justo lo que queremos.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

Resource parameter numproc is not set
Resource parameter numtcpsock is not set
Resource parameter numothersock is not set
Resource parameter vmguarpages is not set
Resource parameter kmemsize is not set
Resource parameter tcpsndbuf is not set
Resource parameter tcprcvbuf is not set
Resource parameter othersockbuf is not set
Resource parameter dgramrcvbuf is not set
Resource parameter oomguarpages is not set
Resource parameter lockedpages is not set
Resource parameter shmpages is not set
Resource parameter privvmpages is not set
Resource parameter numfile is not set
Resource parameter numflock is not set
Resource parameter numpty is not set
Resource parameter numsiginfo is not set
Resource parameter dcachesize is not set
Resource parameter physpages is not set
Resource parameter numiptent is not set
Not enough parameters to start the Container
Container is unmounted
Failed to start the Container

Ahora configuramos los parámetros teniendo en cuenta, las necesidades del VPS

1	vzctl set 101 --save --ram 1G --swap 512M

Rebotamos el VPS y miramos ahora la nueva configuración

1
2
3
4

total used free shared buffers cached
Mem: 1024 236 787 0 0 38
-/+ buffers/cache: 198 825
Swap: 512 0 512

Si abrimos el fichero veremos los dos parámetros añadidos

1 2	PHYSPAGES="262144:262144" SWAPPAGES="131072:131072"

PHYSPAGES muestra el valor total de RAM en páginas de 4KB, así como el valor de SWAPPAGES. Aún así desde la documentación oficial se nos “insta” a poder tunear el VPS a un nivel más granular con parámetros UBC.

Otro parámetro a tener en cuenta es overcommit. Lo que nos genera la duda, al menos a mí, sobre el nuevo esquema de memoria. La duda es sobre si se refiere exclusivamente a una app (application) de un template VZ o aplicaciones en general :-/ La teoría dice:

When an application starts in a Container, it allocates a certain amount of memory for its needs. Usually, the allocated memory is much more than the application actually requires for its execution. This may lead to a situation when you cannot run an application in the Container even if it has
enough free RAM.
To deal with such situations, the VSwap memory management scheme introduces a new parameter—VM_Overcommit. Using this parameter, you can configure the amount of memory applications in a Container may allocate, irrespective of the amount of RAM and swap space assigned to the Container.The amount of memory that can be allocated by applications of a Container is the sum of RAM and swap space set for this Container multiplied by a memory overcommit factor. In the default (basic) Container configuration file, this factor is set to 1.5. For example, if a Container is based on the default configuration file and assigned 1 GB of RAM and 512 MB, the memory allocation limit for the Container will be 2304 MB.

Bueno, ha sido una primera aproximación a este nuevo esquema de memoria.

Percona Server cotejamiento

Rubén Ortiz — Fri, 11 Nov 2011 11:55:32 +0000

Estos días trabajamos en Rsystem (ITnet Consulting) el lanzamiento de un proyecto (start-up). El proyecto requería una base de datos MySQL. De inicio montamos Percona Server e hicimos la importación de la base de datos suya de su entorno viejo al nuestro actual. Y es ahí donde nos avisaron del problema. Por defecto, el cotejamiento de Percona Servers es latin. Vamos a cambiarlo a utf para que los carácteres especiales se guarden bien.

Comprobamos que valores tenemos antes de todo

1
2
3
4
5

Como podemos ver, latin1 es el _set_server. Vamos a editar my.cnf.

1
2
3

# vim /etc/my.cnf
character_set_server = utf8
collation_server = utf8_general_ci

Sólo queda entonces rebotar el servicio y volver a comprobar

1
2
3
4
5
6
7
8
9

CentOS – deshabilitar selinux

Rubén Ortiz — Tue, 11 Oct 2011 07:21:59 +0000

Para hacerlo al momento sin esperar a reinicio

1	# setenforce 0

Cambiar configuración para siguientes reinicios

1
2
3
4
5
6
7
8
9
10

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - SELinux is fully disabled.
SELINUX=disabled
# SELINUXTYPE= type of policy in use. Possible values are:
# targeted - Only targeted network daemons are protected.
# strict - Full SELinux protection.
SELINUXTYPE=targeted

Parallels Bare Metal contra ISCSI

Rubén Ortiz — Mon, 10 Oct 2011 08:49:58 +0000

No vamos a tratar nada relacionado con el clúster de PSBM de momento, pero se trata de una parte importante del proceso. Hace no mucho que Parallels por cierto, lanzó la release 5.0 de PSBM, podemos ver un resumen de sus mejoras aquí:

http://www.parallels.com/es/products/server/baremetal/sp/whatsnew/

Pero sigamos con el principal objetivo de este post. Vamos a ello.

0. Con la distribución 5.0 de PSBM, vienen instaladas ya las utilidades para conectar contra ISCSI. No hay que instalar nada más.

1. Formatear PSBM: en la instalación tenemos la opción de configurar las redes. Si podemos será bueno tener desde principio la conectividad a Internet y de paso, obligatorio, añadir la licencia del producto para poder instalar de esta forma PVA, agente, de forma fácil. Sino, lo podemos hacer luego vía shell. Instalamos /, swap y /vz (disco local).

2. Una vez acabados los preparativos inciales, nos logueamos en la shell de PSBM.

3. Si lo hemos hecho de forma básica, tendremos montado /vz contra un disco local con la configuración que hayamos dispuesto. El manual del clúster dispone que no hay que instalar /vz al principio, sin embargo, yo lo he hecho así.

4. Con la red configurada, actualizamos el servidor:

1	# vzup2date

5. Si procede rebotamos.

# reboot

6. Configuramos el servicio iscsi para que inicie automáticamente y lo arranque. Si hemos dispuesto usuarios y passwords para el volúmen ISCSI, debermos editar previamente el archivo /etc/iscsi/iscsi.conf según se necesite (en este ejemplo, no hace falta):

1 2	# chkconfig iscsi on # service iscsi start

7. Buscamos discos ISCSI contra nuestra SAN:

1 2	# iscsiadm --mode discovery --type sendtargets --portal 10.0.0.10 10.0.0.10:3260,1 iqn.2011-11.com.local:raid

donde 10.0.0.10 es la dirección IP del dispositivo de almacenamiento ISCSI. Una vez el comando se ha ejecutado, nos mostrará los targets disponibles contra este dispositivo. Si hay más de uno disponible, deberemos elegir cual conectar o en el caso de que soporte múltiples conexiones, de todas formas, se deberá rebotar el servicio iscsi

8. Reiniciamos servicio iscsi y chequeamos que accedemos al disco (debe estar listado en /proc/partitions)

1	# service iscsi restart

mirando en dmesg, veremos como se van descubriendo los dispositivos ISCSI. Lo deberemos ver listado, en el siguiente archivo

1
2
3

# cat /proc/partitions
8 32 786432000 sdc
8 33 786429913 sdc1

También aparecerá si ejecutamos fdisk

1	# fdisk -l

Podemos también vía iscsiadm, ver que targets hemos descubierto

1 2	# iscsiadm -m node 10.0.0.10:3260,-1 iqn.2011-11.com.local:raid

Y ver las sesiones activas

1 2	# iscsiadm -m session tcp: [1] 10.0.0.10:3260,-1 iqn.2011-11.com.local:raid

9. En este punto, tenemos el disco ISCSI accesible. Vamos a formatearlo.

1	# mkfs.ext3 -L psbm-1 /dev/sdc1

Podemos probar de montarlo en una carpeta, como prueba extra para ver que es totalmente accesible.

1 2	# mkdir /vz_local # mount mount LABEL=psbm-1 /vz_local

10. Ahora queda montar /vz en nuestro volúmen ISCSI. Es probable que tengamos problemas para cambiar /vz a una carpeta temporal. Describimos un proceso en el que con toda seguridad podemos hacer el cambio.

1	# rsync -v -a /vz/* /vz_local/.

Editamos fstaba y comentamos la línea del montaje actual de /vz. Rebotamos

# reboot

Una vez devueltos al sistema, comprobaremos que /vz no se ha montado. Es hora de editar fstab para que monte automáticamente /vz con nuestro volúmen ISCSI. Para ello, debemos tener en cuenta que cada vez que asignamos, descubrimos, un volúmen ISCSI en linux, le otorga un nombre de partición-disco diferente, para ello los LABELS etiquetas son muy útiles. Tomo prestado un buen consejo al respecto:

“Si el iniciador iSCSI solo se va a conectar a un target con una única partición podemos utilizar los LABELs sin problemas, en cambio, si nos conectamos a un target que está exportando varios volumenes, puede ocurrir que algunos tengan el mismo LABEL. En la medida de lo posible, se recomienda el uso del parámetro UUID para evitar montar una partición equivocada con el mismo LABEL.”

Ejectuamos blkid , para ver que UUID tiene nuestro disco ISCSI

1
2
3
4

# blkid
...
/dev/sdc1: LABEL="psbm-1" UUID="74fb6429-4a74-4af1-8488-42d61122b766" TYPE="ext3"
...

Con esta información editamos nuestro fstab y añadimos la siguiente línea:

1 2	# vim /etc/fstab UUID=74fb6429-4a74-4af1-8488-42d61122b766 /vz ext3 _netdev,rw 0 0

“Añadir el parámetro _netdev a las opciones de montaje del dispositivo, de este modo durante el arranque de la máquina el script rc.sysinit no lo montará. Posteriormente el script netfs se encargará de montar todos aquellos puntos de montajes marcados con esta opción, una vez inicializada la red y tras conectar a los targets iSCSI. Si no utilizamos el parámetro _netdev será imposible montar la partición, ya que Linux tratará de montar el punto de montaje antes de tener habilitado el soporte de red.”

Sólo quedará hacer un último reinicio del sistema para comprobar que, el montaje de /vz sobre el disco ISCSI al inicio del sistema es correcto.

Links
http://download.parallels.com/doc/psbm/v5/rtm/Deploying_Clusters_in_Parallels-Based_Systems.pdf
http://wiki.woop.es/Configuracion_iniciador_iSCSI_CentOS

MongoDB en CentOS

Rubén Ortiz — Thu, 06 Oct 2011 11:17:49 +0000

¿Qué es MongoDB? Buena pregunta, ¿hay algún médico en la sala? Pues es una base de datos orientada a documentos, un concepto bastente diferente del SQL.

MongoDB wasn’t designed in a lab. We built MongoDB from our own experiences building large scale, high availability, robust systems. We didn’t start from scratch, we really tried to figure out what was broken, and tackle that. So the way I think about MongoDB is that if you take MySql, and change the data model from relational to document based, you get a lot of great features: embedded docs for speed, manageability, agile development with schema-less databases, easier horizontal scalability because joins aren’t as important. There are lots of things that work great in relational databases: indexes, dynamic queries and updates to name a few, and we haven’t changed much there. For example, the way you design your indexes in MongoDB should be exactly the way you do it in MySql or Oracle, you just have the option of indexing an embedded field.
– Eliot Horowitz, 10gen CTO and Co-founder

Acabamos de conocernos pero lo poco que he visto me gusta, al menos, la documentación es amplia y precisa. En este post tratamos la instalación y cuatro comandos de newbie

La instalación se lleva a cabo en CentOS 6 64 bits.
Editamos nuestro repositorio de CentOS:

1 2	# cd /etc/yum.repos.d # vim mongodb.10gen.repo

1
2
3
4

[10gen]
name=10gen Repository
baseurl=http://downloads.mongodb.org/distros/centos/5.4/os/x86_64/
gpgcheck=0

1
2
3

# sudo yum install mongo-stable-server
# sudo /etc/init.d/monod start
# chkconfig mongod on

Primeros pasos:

Accedemos por consola a nuestro MongoDB

1
2
3
4

-bash-4.1# mongo
MongoDB shell version: 1.6.5
connecting to: test
>

Una vez dentro, listamos bases de datos a las que estamos conectados

1
2
3

> show dbs
admin
local

Cambiamos a otra base de datos o creamos una de cero

1 2	> use prueba switched to db prueba

Añadimos y salvamos un documento

1
2
3
4
5
6
7
8
9

> post={
... 'title':'aprendiendo mongodb',
... 'content':'base de datos orientada a documentos???? lol'
... }
{
"title" : "aprendiendo mongodb",
"content" : "base de datos orientada a documentos???? lol"
}
> db.blog.insert(post)

Hacemos query de todos los documentos

1 2	> db.blog.find() { "_id" : ObjectId("4e8d8a2b9699783129d48d61"), "title" : "aprendiendo mongodb", "content" : "mongodb es una base de datos orientada a documentos...LOL" }

Query de un documento

1
2
3
4
5
6
7

> db.blog.findOne()
{
"_id" : ObjectId("4e8d8a2b9699783129d48d61"),
"title" : "aprendiendo mongodb",
"content" : "mongodb es una base de datos orientada a documentos...LOL"
}
>

Query de documentos en base a un valor especifico

1
2
3

> db.blog.find({'title':'aprendiendo mongodb'})
{ "_id" : ObjectId("4e8d8a2b9699783129d48d61"), "title" : "aprendiendo mongodb", "content" : "mongodb es una base de datos orientada a documentos...LOL" }
>

Links

Linux – montar swap

Rubén Ortiz — Mon, 03 Oct 2011 13:18:51 +0000

Apunte sobre swap. Mejor que esté y lo puedas utilizar, que lo tengas que utilizar y no lo hayas montado. Tenemos una máquina sin swap activo pero con la partición ya formateada.

1
2
3
4
5
6
7
8

# fdisk -l
Disk /dev/sda: 274.8 GB, 274877906944 bytes
255 heads, 63 sectors/track, 33418 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

...
/dev/sda4 33158 33419 2096128 82 Linux swap / Solaris
...

Utilizamos mkswap para configurar el área de swap

1	# mkswap -f /dev/sda4

Y finalmente, activamos la swap del sistema

1	# swapon /dev/sda4

Link
http://lissot.net/partition/partition-08.html

Windows 2003 – No tiene acceso al dispositivo

Rubén Ortiz — Thu, 29 Sep 2011 06:20:23 +0000

Intentamos ejecutar un archivo y nos devuelve este error:

“windows no tiene acceso al dispositivo, ruta de acceso o archivo especificado”

Haz click derecho, haz click sobre propiedades y haz click sobre el boton desbloquear al lado de donde indica: “Este archivo provino de otro equipo y puede que se bloquee para ayudar a proteger este equipo”