Bitácoras en estadística

Repositorio Institucional de la Universidad Nacional

noreply@blogger.com (Alex Zambrano) — Wed, 22 Jun 2011 17:46:45 PDT

Fuente: http://www.bdigital.unal.edu.co/style/images/body_repositorio_home.jpg

El Repositorio Institucional de la Universidad Nacional de Colombia es un proyecto con el cual se desea administran, preservan y difunden todas las obras monográficas que se han producido en dicha Universidad. Esto incluyende libros, tesis y trabajos de grado, trabajos docentes, entre otros.

Este ha sido una base de información valiosa con el cual se cuanta muchos trabajos de Maestría, Doctorado y pregrado que se han venido realizando en cada una de las sedes que tiene esta Universidad y en cada uno de las facultades y demás. Se las recomiendo.

Encuentro Nacional de Matemáticas y Estadística

noreply@blogger.com (Alex Zambrano) — Fri, 29 Apr 2011 11:35:06 PDT

Próximamente la Facultad de Ciencias Básicas de la Universidad del Tolima, realizara el Primer Encuentro de Matemáticas y Estadística, los días del 11-13 de Mayo del 2011 en Ibagué Colombia.

Se contara en este evento con personalidades muy reconocidas en el ámbito Nacional como Fabio Nieto, Liliana Lopez Klein, Julio Luque, Arnold Oostra, Andrés Gutiérrez, entre otros.

Se esperamos una participación masiva por parte de toda la comunidad academia interesadas en este espacio.

Cualquier información en este link

http://matestaut.videocomercio.net/

RStudio

noreply@blogger.com (Alex Zambrano) — Fri, 04 Mar 2011 04:05:11 PST

Hace poco los usuarios de R ahora pueden contar un plataforma muy amigable de este programa. Se llama el RStudio.

Algo que me llama la atención de este la versatilidad de funcionar bajo cualquier plataforma, incluso si tenemos un servidor también se puede montar este.

Ver también: Estadística y el R-Coomander, Software R

[;\LaTeX;] en Gmail

noreply@blogger.com (Alex Zambrano) — Fri, 04 Mar 2011 07:03:47 PST

Gracias a Daniel Díaz, encontramos esta simpática ayuda para añadir a nuestros correos y chats de gmail formulas en $\LaTeX$. Para los usuarios de FireFox solo es instalar el greasemonkey y posteriormente instalar un script el $\TeX$ the World. Los invito a ver la siguiente entrada.

Ver también: LaTeXLab y Google, Googledoc y $\LaTeX$

Análisis de la Informalidad y Subempleo en Ibagué 2008

noreply@blogger.com (Alex Zambrano) — Fri, 22 Jul 2011 12:03:25 PDT

El semestre pasado realice un trabajo sobre la informalidad y subempleo en Ibagué 2008 para la materia Análisis Multivariado de Datos. Este trabajo lo realice desde la Perspectiva Estadística y la verdad ha sido un desarrollo bastante interesante. La idea de este trabajo fue realizar un estudio multivariado acerca de la informalidad y subempleo en esta ciudad ya que durante bastante tiempo en Colombia esta ciudad ha tenido la tasa de desempleo más alta. En vista de la falta de empleo, las personas optan por inventarse un empleo (Informalidad) o emplearse bajo condiciones precarias, renunciando a las condiciones laborales que tiene un trabajador (subempleo).

Descargar informe aquí

Este trabajo me ha parecido bueno ya que en la actualidad, solo se desarrolla análisis de estas variables ya sea en forma separada o solamente realizando estudios descriptivos univariados, sin tener en cuenta las muchas relaciones que se pueden dar con las variables si se trabajan en conjunto.

La idea del Análisis fue aplicar Análisis de Correspondencia Multiple (ACM) a conjuntos de variables las cuales están descritas en el documento y a su vez Clasificación Mixta para realizar una descripción de estas variables.

Este es un trabajo preliminar ya que deseo considera un estudio más en conjunto utilizando Análisis Factorial Multiple (AFM).

Espero les guste este trabajo, al igual que regalen sus sugerencias para seguir mejorando el documento.

Actualización
En el Simposio de Estadística 2011, celebrado en Bogotá, he adelantado un poco este trabajo. Aquí dejo la presentación

Presentación

Feliz Navidad con R

noreply@blogger.com (Alex Zambrano) — Mon, 20 Dec 2010 17:37:37 PST

Se acerca la navidad, se finaliza año y las personas van reuniéndose con sus familiares para celebrar estas fechas. Por lo cual Bitácoras en Estadística no quiere dejar pasar esta fecha sin dar a sus lectores una feliz navidad con R.

Por cierto este es el código con el cual se realizo la animación en R:


f.x = c(0.193,0.703,0.703,0.295,0.295,0.703,0.703,0.295,0.295,0.193,0.193)

f.y = c(0.935,0.935,0.835,0.835,0.575,0.575,0.475,0.475,0.063,0.063,0.935)

e.x = c(0.222, 0.787, 0.787, 0.324, 0.324, 0.757, 0.757, 0.324, 0.324,0.804, 0.804, 0.222)

e.y = c(0.935, 0.935, 0.834, 0.834, 0.564, 0.564, 0.464, 0.464, 0.163,0.163, 0.063, 0.063)

l.x = c(0.222,0.324,0.324,0.804,0.804,0.222)

l.y = c(0.935,0.935,0.163,0.163,0.063,0.063)

a1.x = c(0.433, 0.546, 0.865, 0.746, 0.656, 0.328, 0.242, 0.136)

a1.y = c(0.935, 0.935, 0.063, 0.063, 0.326, 0.326, 0.063, 0.063)

a2.x = c(0.488, 0.629, 0.355)

a2.y = c(0.841, 0.418, 0.418)

n.x = c(0.189, 0.295, 0.707, 0.707, 0.804, 0.804, 0.701, 0.287, 0.287, 0.189)

n.y = c(0.935, 0.935, 0.248, 0.935, 0.935, 0.063, 0.063, 0.747, 0.063, 0.063)

d.x = c(0.218,0.56,0.56,0.56,0.56,0.32,0.218,0.32,0.32)

d.y = c(0.935,0.933,0.832,0.518,0.418,0.063,0.063,0.518,0.834)

d.cir.th = seq(pi/2, -pi/2, length.out = 50)

d1.cir.x = 0.32  + 0.515 * cos(d.cir.th)

d1.cir.y = 0.499 + 0.436 * sin(d.cir.th)

d2.cir.x = 0.32 + 0.4147 * cos(d.cir.th)

d2.cir.y = 0.499 + 0.3 * sin(d.cir.th)

d1.x = c(0.218, d1.cir.x, 0.32, 0.218)

d1.y = c(0.935, d1.cir.y, 0.063, 0.063)

d2.x = c(0.32, d2.cir.x, 0.32)

d2.y = c(0.799, d2.cir.y,0.199)

n.x = c(0.189, 0.295, 0.707, 0.707, 0.804, 0.804, 0.701, 0.287, 0.287, 0.189)

n.y = c(0.935, 0.935, 0.248, 0.935, 0.935, 0.063, 0.063, 0.747, 0.063, 0.063)

i.x = c(0.189, 0.295, 0.295, 0.189, 0.189)

i.y = c(0.935, 0.935, 0.063, 0.063, 0.935)

e.x = c(0.222, 0.787, 0.787, 0.324, 0.324, 0.757, 0.757, 0.324, 0.324,0.804, 0.804, 0.222)

e.y = c(0.935, 0.935, 0.834, 0.834, 0.564, 0.564, 0.464, 0.464, 0.163,0.163, 0.063, 0.063)

z.x = c(0.222,0.787,0.787,0.322,0.804,0.804,0.222,0.222,0.687,0.222)

z.y = c(0.935,0.935,0.834,0.163,0.163,0.063,0.063,0.163,0.834,0.834)

v.x = c(0.136, 0.259, 0.496, 0.734, 0.853, 0.543, 0.441)

v.y = c(0.935, 0.935, 0.163, 0.935, 0.935, 0.063, 0.063)

draw.ch = function(x1, y1, x2 = NULL, y2 = NULL, center.x,

    color, alpha, xscale) {

    rgb.col = col2rgb(color)/255

    x1 = x1 * xscale + center.x - 0.5 * xscale

    x2 = x2 * xscale + center.x - 0.5 * xscale

    polygon(x1, y1, col = rgb(rgb.col[1], rgb.col[2], rgb.col[3],

        alpha = alpha), border = NA)

    polygon(x2, y2, col = "black", border = NA)

}

x1 = list(f.x, e.x, l.x, i.x, z.x, n.x, a1.x,v.x,i.x,d1.x,a1.x,d1.x)

y1 = list(f.y,e.y,l.y,i.y,z.y,n.y,a1.y,v.y,i.y,d1.y,a1.y,d1.y)

x2 = list(NULL,NULL,NULL,NULL,NULL,NULL,a2.x,NULL,NULL,d2.x,a2.x,d2.x)

y2 = list(NULL,NULL,NULL,NULL,NULL,NULL,a2.y,NULL,NULL,d2.y,a2.y,d2.y)

th = seq(pi/6, 2 * pi, length.out = 12)

cols = rainbow(200)

library(animation)

saveMovie({

 for (j in 1:238) {

        th = th - pi/120

        center.x = 3 + 5 * cos(th)

        cols = c(cols[-1], cols[1])

        alpha = 0.1 + (50 * (1 - sin(th)))/100

        alpha = ifelse(alpha > 1, 1, alpha)

        xscale = -sin(th) * 1.2

        plot(1, xlim = c(-2, 8), ylim = c(-2.5, 3.5), type = "n")

        plot.order = (1:12)[order(xscale > 0)]

        for (k in 1:12) {

            i = plot.order[k]

            draw.ch(x1[[i]], y1[[i]], x2[[i]], y2[[i]], center.x[i],

                color = cols[k + 60 * ( i >= 6 & i <= 8 ) + 120 *

                    (i > 8)], alpha[i], xscale[i])

        }

        text(8, -2.5, "Bitácoras en Estadística (http://experienceinstatistics.blogspot.com)",

            adj = c(1, 0), col = "white", cex = 0.8)


    }

}, interval = 0.05,para = list(mar = rep(0,4), bg = "black"), width = 640, height = 320)

Esto se puede realizar con el paquete animation. Gracias Yihui Xie.

Ver también: Nuevo año 2010 con R.

Peirce y la Estadística

noreply@blogger.com (Alex Zambrano) — Wed, 17 Nov 2010 19:10:37 PST

Hace poco el profesor Arnold Oostra, gran Matemático de la Universidad del Tolima, presentaba en su seminario permanente de Peirce, una exposición sobre Peirce y la Estadística. Quienes hemos tenido la oportunidad de ser alumnos del profesor Arnold, hemos conocido el gran legado que nos dejo este Matemático y Filósofo Charles S. Peirce. Personalmente a mi me llamo mucho la atención esta presentación, ya que los trabajos en Lógica, Filosofía y Matemáticas de este personaje son muy conocidos, pero no se conoce mucho sobre el desarrollo que dejo en Estadística, por esta razón quería averiguar de primera fuente cuales han sido los trabajos que este Matemático a dejado en Estadística. El profesor Arnold muy amablemente me regalo una nota resumen de estos trabajos y me sorprende mucho, ya que algunos conceptos tan familiares y tan acuñados ha algunos Estadísticos de renombre, Peirce los había estudiado en su momento mucho antes de que ellos.

A continuación dejo la nota resumen que el profesor Arnold me regalo muy gentilmente.

Charles S. Peirce (1839 – 1914) era, sobre todo, un científico. También un científico experimental, quien vio la importancia de la Estadística para la ciencia y la fue adaptando a sus necesidades, incluso mucho antes que el resto de la comunidad científica.

Peirce era además un filósofo universal, y como tal procuraba enmarcar todos sus trabajos en un esquema global de pensamiento. Pueden citarse de manera muy sucinta algunos principios generales relacionados con la Estadística que, aunque parecen muy comunes hoy en día, eran casi revolucionarias en la mitad del siglo XIX.

El azar, llamado por Peirce espontaneidad, existe en la realidad.
La ciencia no obtiene certezas, solo se aproxima a la verdad con mayor o menor probabilidad.
La probabilidad puede interpretarse como una frecuencia relativa.

Los trabajos de Peirce que hacen referencia directa a la Estadística moderna fueron elaborados entre 1876 y 1885, aproximadamente. En esa época Peirce tenía alrededor de 40 años y era un reconocido científico activo, en particular entre 1879 y 1884 fue profesor de Lógica en la recién fundada Universidad Johns Hopkins. Con todo, sus escritos están muy adelantados al desarrollo de la Estadística actual, reconocida hacia los años 1930.

Algunos anticipos puntuales de Peirce son: diseño óptimo para experimentos sobre la gravedad, que incluyeron detalles técnicos como la corrección de la media; regresión logística; correlación; eliminación de datos atípicos (iniciada por su padre, Benjamin Peirce); introducción de los términos “confianza” y “verosimilitud” mucho antes que Neyman (1934) y Fisher (1935); pruebas controladas aleatorias (RCT, por sus siglas en inglés), también décadas antes que Fisher.

Los siguientes son los principales escritos de Peirce sobre temas de Estadística. Casi todos se pueden encontrar en Intenet.

Peirce, C. S. (1876), "Note on the Theory of the Economy of Research", Appendix No. 14 in Coast Survey Report, pp. 197–201.
Peirce, C. S. (1877–1878), "Illustrations of the Logic of Science" (series), Popular Science Monthly, vols. 12-13.
Los artículos individuales más relevantes de esta serie son:
- (1878 March), "The Doctrine of Chances", Popular Science Monthly, v. 12, March issue, pp. 604–615.
- (1878 April), "The Probability of Induction", Popular Science Monthly, v. 12, pp. 705–718.
- (1878 June), "The Order of Nature", Popular Science Monthly, v. 13, pp. 203–217.
- (1878 August), "Deduction, Induction, and Hypothesis", Popular Science Monthly, v. 13, pp. 470–482.
Peirce, C. S. (1883), "A Theory of Probable Inference", Studies in Logic, pp. 126-181, Little, Brown, and Company.
Peirce, C. S. and Jastrow, J. (1885), "On Small Differences in Sensation" in Memoirs of the National Academy of Sciences 3: pp. 73–83.

El profesor Arnold, ha llevado este seminario permanente en la Universidad del Tolima desde el año 2007 (ver aquí) estudiando todos los trabajos que este gran Matemático a dejado en el ámbito académico. Hago una invitación extensiva a quienes deseen seguir acompañando al profe Arnold en esta aventura del conocimiento.

De esta primera, y en un sentido, única regla de la razón, que para aprender debes desear aprender y deseándolo así no estar satisfecho con lo que ya estás inclinado a pensar, se sigue un corolario que en sí mismo es digno de ser inscrito en cada pared de la ciudad de la filosofía:
No bloquees el camino de la investigación. - C.S. Peirce.

Ver también: Reflexiones sobre la investigación científica, un trabajo de grado en matemáticas.

Debemos hacer Cultura Estadística

noreply@blogger.com (Alex Zambrano) — Thu, 04 Nov 2010 16:13:52 PDT

Hace algunos días se celebro el día mundial de la estadística. Este acontecimiento a gustado mucho a la comunidad estadística no solo porque le ha dado estatus por así decirlo a una ciencia que poco a poco se abre caminos, si no también se le ha dado la importancia que esta ha tenido en el surgimiento de otros campos.

Sin embargo, desde la óptica del no estadístico, esta ciencia todavía deja muchos sin sabores. Ellos argumenta la desconfianza en los procedimientos, ya que muchos de esto aluden (sin tener conocimiento del tema) a los famosos supuestos que solo se escriben en el papel. La verdad esto no es así. La Estadística al igual que otras ciencias, establecen algunos criterios para "modelar" e interpretar los fenómenos que en el mudo ocurren (aunque la definición "modelo" tiene un contexto más filosófico el cual no voy a entrar a debatir en este post). Al realizar esto encuentra patrones comunes que trata de especificarlos en el papel. Esto confirma que la Estadística es un camino para interpretar estos hechos y los supuestos no son colocados de la nada.

El problema no es la Estadística sino la interpretación, así lo afirmaron expertos en el programa UN Análisis de UN Radio, quienes consideran que el trabajo estadístico se hace de manera rigurosa pero no se interpretan bien las cifras. Esto afirma que hace falta hacer Cultura Estadística.

Esta es una propuesta, soluciones hay muchas. Cuando iniciaba este blog, escribía un post en el cual estaba de acuerdo con Arthur Benjamin matemático del Harvey Mudd College, el cual afirmaba que es mejor enseñar Estadística que Matemáticas.

Recalco nuevamente que

Si el mundo no tiene ningún conocimiento de la variación de los datos, no podría interpretar el mundo en que vivimos — A. J. Zambrano

Posdata. Recomiendo escuchar el programa radial que realizaron la UN sobre Estadística.

Gráficos en LaTex con LaTeXDraw

noreply@blogger.com (Alex Zambrano) — Thu, 04 Nov 2010 01:51:59 PDT

Fuente: http://latexdraw.sourceforge.net/images/screenshot.png

Hace rato no he podido escribir tan seguido en este blog ya que la Maestría me absorbe bastante tiempo, pero al final de cuentas estoy muy contento y yo se que muy pronto se verán los resultados. Quiero comentar de un programa bastante útil para realizar gráficos en $\LaTeX$. Se trata del programa LaTeXDraw. Este consiste en un programa con el cual se genera el código necesario para realizar gráficos con el PSTricks de $\LaTeX$. Lo interesante es que es muy intuitivo, fácil de manejar, funcionaba bajo cualquier SO, es libre bajo licencia GNU y GPL y también el idioma es ajustable. Se los recomiendo.

Ver también: Poster en $\LaTeX$, como escribir documentos con $\LaTeX$, bibliografías en $\LaTeX$, ventajas de escribir el $\LaTeX$, hoja de vida con $\LaTeX$, presentaciones en PowePoint con formulas en $\LaTeX$, googledoc y $\LaTeX$, $\LaTeX$ Lab y google.

Día Mundial de la Estadística

noreply@blogger.com (Alex Zambrano) — Wed, 20 Oct 2010 13:53:52 PDT

Hoy 20 de octubre de 2010, se celebra el Día Mundial de la Estadística proclamado por la Asamblea de las Naciones Unidas con el fin de reconocer la importancia que ha venido tomando la Estadística en todos los ámbitos de las sociedades. La estadística en la actualidad a crecido bastante ya que ha permitido realizar predicciones, inferencias, estudiar conjuntos de datos grandes, estudio de poblaciones entre otras cosas. Ha sido la Estadística un instrumento fundamental para el mundo ya que a permitido crecer a otras ciencias en pro de analizar sus investigaciones. Por ello hoy y cada unos de los institutos más grandes de Estadística celebran este día, como un aliento por parte de Naciones Unidas. El día Mundial de la Estadística, debe congregar y unir a cada unos de los usuarios y apasionados de esta materia. Feliz día estadísticos por el "Día Mundial de la Estadística".

Si el mundo no tiene ningún conocimiento de la variación estadística de los datos, no podría interpretar el mundo en que vivimos. - A.J. Zambrano.

Ver también: La estadística entre los 10 mejores empleos

Monitoreo de perfiles para datos de conteo

noreply@blogger.com (Alex Zambrano) — Sat, 09 Oct 2010 17:09:11 PDT

En el marco del 1er Encuentro de Matemáticas y Estadística de la Universidad del Tolima, presente mi tema de tesis de Maestría, el cual comparto con uds espero les interese.

Resumen
Actualmente el monitoreo de perfiles en el control de procesos estadísticos es una técnica en la cual se trata de hacer seguimiento a la relación funcional entre una variable respuesta y una o más variables explicatorias. Esta relación depende de la naturaleza de los datos y el tipo de relación que se da. No siempre los datos son de tipo continuo ni tampoco la relación entre los parámetros es sencilla. Este trabajo pretende esbozar algunas ideas al estudio del monitoreo de perfiles a datos de conteo. Se presentara algunos conceptos teóricos para el estudio de esta temática, como también la metodología a trabajar para esta investigación.

Presentación.

Ver también: Definiciones en control de calidad, evaluación del método de Murphy, evaluación de la descomposición MYT, R para datos autocorrelacionados

Algunas definiciones en Control de Calidad Estadística

noreply@blogger.com (Alex Zambrano) — Wed, 22 Sep 2010 13:39:10 PDT

Uno de mis temas de interés en Estadistica, es el Control de Calidad Estadístico ya que siempre me ha parecido interesante por su aplicación en la empresa. Actualmente del Control de Calidad estoy estudiando el Monitoreo de Perfiles y realizando una lectura de algunos conceptos claves que se deben tener en cuenta note que hay términos para los cuales algunos autores no los definen, simplemente describen. Stoumbous et. al. (2000) logra definir estos términos y me pareció importante tener en la web

Definición 1. (Control Estadístico de Procesos) Hace referencia a algún método usado ampliamente para monitorear y mejorar la calidad y producción de un proceso de manufactura y operaciones de servicios.

Definición 2. (Control Estadístico) Sea $X$ una variable de calidad de interés, y suponga que $f_{\theta} (x)$ es la función de distribución de $X$, donde $\theta$ es un vector de uno o más parámetros. Un proceso estable que está operando con $\theta=\theta_0$ es considerado en control estadístico. El valor de $\theta_0$ puede o no corresponder a un valor ideal (o objetivo).

Definición 3. (Estadístico de Control) Un estadístico de control $Y$ es una función de medida de una muestra de los valores de una variable de calidad de interés $X$, con función de distribución $f_{\theta} (x)$, tal que sirve para estimar el vector de parámetros $\theta$.

Definición 4. (Carta de Control) Una carta de control es un gráfico el cual refleja el monitoreo de una variable de calidad de interés $X$ en un proceso, atraves de un estadístico $Y$, para determinar si el control estadístico esta funcionando dentro de unos límites de variación esperada.

Definición 5. (Límites de Control) Considere un estadístico de control $Y$. Los límites de control son construidos tal que el valor de $Y$ es muy poco probable que este fuera de esto cuando $\theta=\theta_0}$. Un valor de $Y$ que se encuentre fuera de los límites de control es tomado como una señal cuando un cambio en $\theta$ ha ocurrido, y que alguna acción apropiada es requerida.

Al comienzo del proceso, los valores de algún o de todos los componentes pueden ser desconocidos, y así una fase preliminar de recolección de datos, estimación de parámetros y prueba de estabilidad del proceso son requeridas. El proceso de monitoreo puede comenzar después de que $\theta_0$ ha sido estimado en la fase preliminar.

En adición a la detección de cambios no deseados en $\theta$, existen cartas de control que son usadas para identificar el mejoramiento continuo en el proceso. Por ejemplo, si $X$ es normalmente distribuida y $\theta = (\mu,\sigma)$, entonces el mejoramiento de la calidad puede corresponder a hacer el proceso ajustado a reducir $\sigma$.

Referencia

Stoumbos, Z. G., Reynolds, M. R. Jr., Ryan, T. P. & Woodall, W. H. (2000). The state of statistical process control as we proceed into the 21st century. Journal of American Statistical Association, 95(451), 992-998.

Lectura de archivos grandes en R.

noreply@blogger.com (Alex Zambrano) — Mon, 06 Sep 2010 13:24:13 PDT

Victor Flores me envía el siguiente e-mail:

Asunto: Pregunta sin respuesta.

Hola Alex,

He leído parte de tu blog y te doy la enhorabuena por tus escritos.

Te escribo personalmente porque tengo una duda desde hace mucho tiempo que no consigo resolver, y es con la capacidad de almacenamiento de los objetos R.

He recibido un Rdata de más de 100Mb pero mi ordenado no es capaz de leerlo. Además cuando yo ejecuto mis propios scripts no consigo almacenar mas de 8 MB, de ahí me da un error de almacenamiento excesivo.

¿tu sabes cual puede ser la causa?

Mi respuesta

Gracias por leer el blog, en cuento a tú pregunta te cuento lo siguiente. Recuerdo un post que realice acerca del tiempo de lectura rápida y compresión de archivos de archivos con R. Aunque tu problema es otro. La memoria de trabajo del programa R se realiza sobre la memoría RAM a diferencia de programas como SAS o SPSS que su memoria de trabajo la realiza sobre el disco duro, razón por la cual al tratar de leer un archivo tan grande no se puede leer tan fácilmente. Este ha sido uno de los limitantes que tiene el programa R, sin embargo, muchos usuarios estan investigando como se puede resolver este inconveniente. Algunos soluciones que recuerdo las dio Carlos J. Gil Bellota (ver aquí) el cual utilizo el paquete colbycol creado por él, también a cbc (ver aquí y aquí) utilizan los paquetes ff y filehash.

Te recomiendo averiguar en el campo de Minería de Datos ojala usando R, posiblemente te puede dar ayuda (Por ejemplo tengo entendido una de las técnicas es particionar el archivo en varios pedazos y leerlos uno por uno y luego unirlos). Tres paquetes que te pueden dar ayuda son bigmemory, biganalytics y rpart. Espero te ayude un poco estas ideas.

Saludos.

Experience in Statistics

noreply@blogger.com (Alex Zambrano) — Sat, 07 Aug 2010 16:30:31 PDT

Hola a todos, hoy comienza un nuevo inicio para Curso de Estadística y Bitácoras en Estadística. Tras de mucho pensar y tomando una decisión, he optado por dejar un solo blog centralizando lo mejor de cada uno de los post que he desarrollado. Un traslado conlleva muchas cosas, nuevos lectores, nuevos posts, nuevo formato, esperamos que este nuevo espacio se un espacio que se acrecenté con personas interesadas no solo en Estadística y Matemáticas, también con publico en general que nos visiten y acompañen en estas "Vivencias en estadística" que hoy comienza con un nuevo estilo.

Un saludo a todos.

Reparametrización de un Modelo de Rango Incompleto

noreply@blogger.com (Alex Zambrano) — Sun, 01 Aug 2010 21:04:06 PDT

Cuando consideramos un modelo de rango incompleto (o modelo de diseño) se considera una reparametrización del mismo. Esto con el fin "estimar" los parámetros con las técnicas de rango completo. Una definición clásica de una reparametrización podría ser la siguiente:

Definición (Reparametrización) Considere un modelo $Y=X\beta+\varepsilon$, donde $X$ es $n\times p$ de rango $r$. Sea $L$ de tamaño $p\times m$ matriz conocida y sea $\theta=L^t\beta$. Denótese la $i$-ésima columna de $L$ por $l_i$ tal que $L=[l_1,\ldots,l_m]$. Entonces $L^t\beta$ se define como una reparametrización del vector $\beta$ por el vector $\theta$ si y solo si cada $\theta_i=l_i^t\beta$ es estimable para $i=1,\ldots,m$, donde $L$ tiene rango $r$ , y $r=m$; esto es, $\theta$ es un conjunto base de funciones estimables.

Observando la definición debemos encontrar un conjunto base de funciones estimables. Una manera práctica de encontrar un conjunto de funciones estimables es utilizando el Teorema de la Descomposición Espectral el cual dice de la siguiente manera

Teorema (Descomposición Espectral) Sea $A$ una matriz simétrica de orden $n$. Existe una matriz ortogonal $P$ tal que $A=P\Lambda P$, donde $\Lambda=\text{diag}(\lambda_1,\ldots,\lambda_n)$ es una matriz diagonal cuyos elementos en la diagonal son los valores propios de $A$. Las columnas de $P$ son los vectores propios de $A$ correspondientes a cada $\lambda_i$.

Demostración. Ver Basilevsky (1983, Teorema 5.8).

Usando el teorema anterior podemos descomponer la matriz $X^t X$ de la siguiente manera
\[ X^t X =P\text{diag}(\Lambda,0)P,\]
donde $\Lambda$ es una matriz diagonal de tamaño $r\times r$ cuyos elementos den la diagonal son los valores propios no nulos de $X^tX$, $0$ es una matriz nula de tamaño $(p-r)\times(p-r)$, $P$ es una matriz ortonormal de vectores propios ortonormales de $X^tX$.

Sea $P$ una partición de $P=[P_1\mid P_2]$, donde $P_1$ es de orden $p\times r$ cuyas columnas son los valores propios ortonormales de $X'X$ correspondientes a los elementos de la diagonal de $\Lambda$, y $P_2$ es de tamaño $p\times (p-r)$ cuyas columnas son nulas correspondientes a los valores propios nulos, cuya multiplicidad es de $(p-r)$. De la ecuación anterior tenemos que
\[\begin{bmatrix}P_1^t \\ P_2^t \end{bmatrix}X^tX[P_1\mid P_2]=\text{diag}(\Lambda,0)\]
Por lo tanto,
\[\begin{aligned}P_1^tX^tXP_1&=\Lambda\\P_2^tX^tXP_2&=0\end{aligned}\]
De donde $XP_1$ es de tamaño $n\times r$ y de rango $r$ y $XP_2=0$. Ahora reescribiendo el modelo tenemos que
\[\begin{aligned}Y&=X\beta+\varepsilon\\ &=XPP^t\beta+\varepsilon\\ &=[XP_1\mid XP_2]\begin{bmatrix}P_1^t\\P_2^t\end{bmatrix}\beta+\varepsilon\\
&=[XP_1\mid 0]\begin{bmatrix}P_1^t\beta\\P_2^t\beta\end{bmatrix} +\varepsilon\\
&=XP_1P_1^t \beta +\varepsilon\end{aligned}\]
Sea $\tilde{X}=XP_1$ y $\tilde{\beta}=P_1^t\beta$. Por lo tanto tenemos que
\[Y=\tilde{X}\tilde{\beta}+\varepsilon\]
Notese que el último modelo es un modelo de rango completo ya que es de rango columna completo.

Referencias

Basilevsky, A. (1983). Applied Matrix Algebra in the Statistical Sciences. North-Holland, New York.

Graybill, F. (1976). Theory and Application of the Linear Model. Duxbury, Canada.

Khuri, A. (2010). Linear Model Methodology. Chapman & Hall/CRC, New York.

LaTeX Lab y Google

noreply@blogger.com (Alex Zambrano) — Fri, 04 Mar 2011 06:45:20 PST

Si se creo un editor de ecuaciones de $\LaTeX$ en Googledocs, porque no crear un editor de texto en $\LaTeX$ en Google. Esa es la nueva propuesta de trabajo (ver aquí). LaTeX Lab es una interfaz gráfica en Google Docs del conocido editor de texto $\LaTeX$. Nosotros editamos el documento de $\LaTeX$ en la nube y podemos visualizar el resultado del mismo archivo con posibilidad de publicarlo inmediatamente. Excelente opción.

Ver también: : Como escribir en $\LaTeX$, Ventajas del editor de texto $\LaTeX$, PowerPoint con formulas en $\LaTeX$

Googledocs y LaTeX

noreply@blogger.com (Alex Zambrano) — Sat, 07 Aug 2010 09:23:59 PDT

Hoy en día la computación en la nube ha sido bastante útil. Google ha sido uno de los pioneros en este campo (ya es costumbre de este gigante informático de ser pionero en todo). Básicamente el trabajo en la nube consiste en editar, publicar, diseñar, todo desde Internet. No son necesarios los programas de ofimática, ya que está disponible en la red, editores de texto, de presentaciones y hojas de cálculo. Googledocs permite trabajar en este sentido y ha sido excelente.

Imagínese realizar documentos de Word y tenerlos en Internet y editarlos desde cualquier lugar del mundo. Ahora para nosotros los usuarios de $\LaTeX$ está alternativa de uso puede utilizarse para realizar los documentos en este campo. Googledocs ha permitido trabajar documentos con un editor de ecuaciones en $\LaTeX$. Así como lo leen ahora es posible tener archivos de Word en internet, publicarlos si desean y utilizar un editor de ecuaciones en $\LaTeX$ (ver aquí). Me parece increíble, espero les guste.

Ver también: Como escribir en $\LaTeX$, Ventajas del editor de texto $\LaTeX$, PowerPoint con formulas en $\LaTeX$

Excel y el software R (RExcel)

noreply@blogger.com (Alex Zambrano) — Sat, 07 Aug 2010 09:22:01 PDT

Hoy en día las personas poco a poco han encontrado en el software R un programa de estadística bastante interesante y muy útil para cada uno de los campos en los que se ha trabajado. Algunos se quejan de que este software no es muy amigable y es un error épico, simplemente por el costo del aprendizaje del lenguaje y la documentación de este mismo. Personalmente no encuentro sentido a estos comentarios posiblemente son usuarios que se han familiarizado mucho con el entorno de MS Excel y cuando encuentran un programa que no se le parece entonces no les gusta. No quiero polemizar porque a mi gusto R es un software baste útil, muy intuitivo, académico y es un software de uso libre (ver aquí).

Hace poco tuve la oportunidad de comentar la posibilidad de utilizar una interfaz de R (R-coomander) bastante sencilla de utilizar. Esta interfaz tiene un parecido peculiar al programa MS Excel cosa que llama mucho la atención a estos usuarios y ha sido bastante funcional puesto se le han integrado paquetes útiles en muchos campos de la estadística. Leyendo un post bastante interesante existe una forma de utilizar el programa R y el programa Excel llamado RExcel. Básicamente consiste en trabajar datos bajo la plataforma de MS Excel e importar los cálculos realizados en R. Incluso se puede trabajar los comandos del R-coomander bajo Excel con esta conexión. Quien logra realizar esto es Erich Neuwirth bajo la plataforma de VBA, esto para los usuarios de Visual pueden encontrarlo bastante útil.

Se puede descargar un paquete completo del programa R y el RExcel llamada RAndFriends en la pagina de statconn, quienes desean ver la aplicación de este mismo puede ver el video narrado por el propio creador y un libro bajo la colección Use R! cuyos autores Richard M. Heiberger y Erich Neuwirth lo han llamado R through Excel.

Bueno espero les interese a todos y comiencen a ver el potencial que este programa tiene, usuarios y los no tanto.

Larga vida al Software R!!!

Ver también: Creación de paquetes con R, Tiempo de lectura rapida y comprensión de archivos con R,

Relación entre la ley de cosenos y correlación de variables

noreply@blogger.com (Alex Zambrano) — Sat, 07 Aug 2010 09:20:17 PDT

Existen varias conexiones que se pueden dar entre las Matemáticas y la Estadística. Una de ellas la describe Jhon Cook en su blog, sobre una relación existente entre la probabilidad y la geometría. Más específicamente entre las desviaciones estándar entre variables independientes y el Teorema de Pitagoras, la correlación entre variables aleatorias dependientes y la ley de cosenos. Esto debe ser que la correlación es un coseno según Cook.

A continuación vamos a describir la relación que se encuentran.

Variables independientes

En primer lugar, vamos a empezar con dos variables aleatorias independientes $X$ e $Y$. Las desviaciones estándar de $X$ e $Y$ son tomadas como los lados de un triángulo rectángulo (ver Figura 1)

En la Figura 1, la Desviación Estándar ($Sd$) es la raíz cuadrada de la varianza. La figura nos indica que la fórmula de la Varianza es

\[\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y)\]

el cual la formula es análoga al Teorema de Pitágoras

\[c^2 = a^2 + b^2.\]

Variables dependientes

Ahora supongamos que las variables son dependientes. Si $X$ e $Y$ están correlacionadas, la fórmula de la varianza es análoga a la ley de los cosenos (ver Figura 2).

La generalización de la fórmula anterior para la varianza entre variables dependientes es

\[\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y) + 2\text{Cov}(X, Y).\]

$\text{Cov}(X, Y)$ es la covarianza de $X$ e $Y$. La ley de los cosenos es análoga

\[c^2=a^2+b^2-2ab\cos(\theta).\]

$a$, $b$ y $c$ son las Desviaciones Estándar de $X$, $Y$ y $X +Y$, respectivamente, entonces el $\cos (\theta) =-\rho$ donde $\rho$ es la correlación entre $X$ e $Y$ se define como

\[\rho(X,Y)=\frac{\text{Cov}(X,Y)}{\text{Sd}(X)\text{Sd}(Y)}.\]

Cuando $\theta$ es $\pi/2$ las variables aleatorias son independientes. Cuando $\theta$ es mayor, las variables se correlacionan positivamente. Cuando $\theta$ es menor, las variables tienen una correlación negativa. Dicho de otra manera, como $\theta$ aumenta de $0$ a $\pi$, los aumentos de correlación $-1$ a $1$.

La analogía anterior es un poco torpe, debido al signo menos.Reformulemos la formula anterior utilizando el ángulo suplementario $\varphi =\pi-\theta$. Deslice la línea que representa la desviación estándar de $Y$ sobre el extremo izquierdo de la línea horizontal que representa la desviación típica de $X$ (Ver Figura 3).

El $\cos(\varphi) =\rho=\text{Corr} (X, Y)$.

Cuando $\varphi$ es pequeño, los dos segmentos de línea están apuntando en casi la misma dirección y las variables aleatorias son altamente correlacionados positivamente. Si $\varphi$ es grande, cerca a $\pi$, los dos segmentos de línea están apuntando en direcciones opuestas y cerca de las variables aleatorias son altamente correlacionados negativamente.

Explicación de la conexión

El origen de la conexión entre la correlación y el teorema del coseno esta en el espacio producto entre $X$ e $Y$ el cual el producto interno $\langle X,Y\rangle$ estadísticamente es $\text{E} (XY)$. Entonces

\[\langle X+Y, X+Y\rangle=\langle X,X\rangle +\langle Y,Y\rangle +2\langle X,Y\rangle.\]

En un espacio con producto interno,

\[\langle X,Y\rangle=\left \| X \right\|\left\| Y \right\|\cos\varphi ,\]

donde la norma de un vector $\left\| X \right\|$ es la raíz cuadrada del producto escalar del vector por sí mismo. La ecuación anterior define el $\varphi$ ángulo entre dos vectores. Se podría justificar esta definición al ver que está de acuerdo con la geometría plano ordinario en el plano que contiene los tres vectores $X$, $Y$ y $X + Y$.

Ver también: Teorema del Límite Central.

Presentaciones de PowerPoint con formulas en LaTeX

noreply@blogger.com (Alex Zambrano) — Sat, 07 Aug 2010 09:12:55 PDT

Agregar formulas matemáticas en una presentación de PowerPoint, muchas veces es complicado, incluso si esta es muy técnica. Ahora se hace más sencillo, incluso si se sabe escribir en $\LaTeX$.

Hace poco encontré una herramienta muy útil para incluir formulas en presentaciones de PowerPoint llamado TeXPPT. Básicamente lo que realiza el programa es convertir un objeto que tiene código en $\LaTeX$ en un archivo de gráfico vectorial, eso significa que por más que agrandamos la formula esta no se distorsionara, tal como aparece en el vídeo que acompaña este post. Solo se requieren tres cosas

Tener PowerPoint 2007.

Tener instalado una versión de MiKTeX.

Saber escribir en $\LaTeX$.

Pueden descargar el programa aquí.

Ver también: Hoja de vida con $\LaTeX$, Ventajas con$\LaTeX$, Bibliografía con $\LaTeX$, Como escribir un documento en $\LaTeX$, Posters con $\LaTeX$.

Vivencias en estadística

noreply@blogger.com (Alex Zambrano) — Sat, 07 Aug 2010 09:03:23 PDT

En esta época que es tan complicada para uno, el trabajo, la universidad, todo llega al tiempo pero también hay que resolverlo lo antes posible, por ello no he podido escribir en el blog y espero mis amigos lectores me entiendan.

Como algunos sabrán para este año 2010 estoy realizando mi Maestría en Estadística, una de las materias que tome fue Modelos Lineales con el profesor Luis Alberto López de la Universidad Nacional de Colombia. Hoy que estamos terminando el curso y haciendo un balance de cómo fue este, el profesor nos pedía pros y contras, sugerencias y críticas, que fue malo y bueno del curso (esto se debería realizar habitualmente por los profesores, los mismos estudiantes son los que enriquecen mucho más a los profesores con estas retroalimentaciones). Quienes estábamos allí hacíamos comentarios del curso y en general fue un buen curso. Un compañero comento acerca de lo mucho que se aprendido de la materia y el vasto mundo que hay detrás de los Modelos, también hacía referencia de las diferentes líneas de trabajo que hay en la Estadística y lo poco que se ha conocido de esta, en particular del Modelamiento Experimental. Personalmente esto me atrajo poderosamente la atención y es lo que me motivo a escribir este post.

La estadística nos brinda un sin fin de herramientas para analizar los datos y obtener información que uno como "pequeño investigador" debe saber tomar la mejor herramienta e interpretar sus resultados, y esto no está fácil. Pero la pregunta del millón es, ¿Cuál línea de la Estadística que mejor utiliza las herramientas para estudiar e interpretar los resultados de una información que nos llega de un conjunto de datos? Considero que la respuesta me la da el hecho de entender algunas de estas y saber aplicarlas bien, que ser un teórico de tiempo completo y no abrirme a otras líneas de trabajo. En alguna ocasión leía a mi buen amigo Andrés Gutiérrez cuando comenzaba a crear este blog y leía un post acerca de lo zorros que podemos ser los estadísticos. El asunto es el siguiente, si conocemos muchos trucos de la Estadística y los sabemos aplicar bien somos más íntegros en el conocimiento, entendemos mejor el entorno del problema al cual nos enfrentamos y sabremos diferenciar cual o que herramienta es la más útil. El Conocimiento es bastante amplio y debemos aprender a ser más zorros, no solo como estadísticos, también como investigadores y eso poco a poco nos brinda más entendimiento de lo que pasa alrededor de los problemas a los que nos enfrentamos. Esto es lo que me motivo a realizar la Maestría en Estadística, y ojala algunos también se animen a realizar sus estudios de postgrados con estas pocas líneas de motivación.

Se o mundo não têm nenhum conhecimento da variação estatística dos dados, não podia interpretar o mundo em que vivemos. A. J. Zambrano.

Sobre una evaluación del método de Murphy

noreply@blogger.com (Alex Zambrano) — Tue, 08 Feb 2011 15:13:27 PST

En la VIII Jornada Regional de Matemáticas y Estadística realizado por el Departamento de Matemáticas y Estadística de la Facultad de Ciencias de la Universidad del Tolima, se presento el profesional en Matemáticas y Estadística, Hector Fabian Lopez Casas, quien personalmente dirigí su trabajo de pregrado titulado Evaluación del método de Murphy para la interpretación de señales en la carta $T^2$ multivariada. A continuación dejo el resumen y su presentación en el evento.

Resumen

Existen situaciones en las cuales es necesario controlar dos o más características de un producto o proceso de calidad, es frecuente encontrar decisiones de control basadas en procesos de control de calidad multivariado, ya que la calidad generalmente es medida por el control simultáneo de varias variables aleatorias posiblemente correlacionadas. En este trabajo se presenta un método para detectar las causas asignables de señal de fuera de control en cartas de control de calidad multivariadas, mediante algún método adecuado de selección de variables. Se propone una prueba para seleccionar variables fuera de control y una interpretación de los valores de la estadística. Además se realiza un ejemplo en el programa R, donde se muestran los resultados y gráficas obtenidas.

Descargar Presentación

Actualización

Este trabajo ha sido publicado en la revista TUMBAGA, el cual fue una continuación de mi trabajo de pregrado el cual se titulaba Evaluación de la descomposición MYT.

R para datos autocorrelacionados

noreply@blogger.com (Alex Zambrano) — Sat, 07 Aug 2010 08:56:37 PDT

Nuevamente la VIII Jornada Regional de Matemáticas y Estadística realizado por el Departamento de Matemáticas y Estadística de la Facultad de Ciencias de la Universidad del Tolima ha terminado con muchísimo éxito. Una de las cosas que note y que hay que resaltar de este evento, es la acogida no solo de los estudiantes y profesores del programa, también de los profesores, egresados y estudiantes de otras facultades que nos acompañaron en este evento y es muy beneficioso, por que se ve un crecimiento exponencial y todos salimos beneficiados no solo academicamente, sino también culturalmente.

Una de las conferencia la realizamos el profesor Joaquín González y yo, a continuación dejamos el resumen, las diapositivas y los respectivos archivos que utilizamos.

Resumen

Las cartas de control estadísticas son gráficas que permiten controlar la(s) característica(s) de calidad de un proceso industrial o de servicios y son ampliamente usadas en la actualidad. Una condición estándar en la metodología de cartas de control tradicionales es que las observaciones son independientes, sin embargo, muchos procesos de interés en aplicaciones las observaciones pueden estar autocorrelacionadas. Lo anterior, produce en las cartas una proporción alta de falsas alarmas y una detección baja del cambio en el proceso. Varios autores en los últimos 30 años, han abordado dicho inconveniente proponiendo diversas alternativas de solución en la construcción de cartas de control donde se considere la estructura de autocorrelación de los datos. Una de estas alternativas de cartas es dada por Montgomery y Mastrangelo (1991) teniendo en cuenta la estructura de la estadística EWMA y el modelamiento de las observaciones a un ARIMA. En esta comunicación se presenta la implementación de dicha carta apoyado de librerías y rutinas de programación en el paquete especializado R, determinando las ventajas que se tienen en el aspecto de enseñanza-aprendizaje y en el área investigativa en temáticas que se aborden del control de calidad estadístico el uso de la herramienta computacional en mención.

Descargar Presentación

Descargar Programas en R

Desacargar Datos

Acerca de las encuestas electorales Colombianas y sus mañas

noreply@blogger.com (Alex Zambrano) — Sat, 07 Aug 2010 08:55:10 PDT

Me permito difundir en resumen el siguiente post que trae un buen amigo blogger Andrés Gutíerrez acerca de una encuesta realizada por una empresa de investigaciones de renombre en Colombia contratada por unos medios de comunicaciones bien influyentes de mismo país del Sagrado Corazón de Jesús.

En ella se desea conocer el favoritismo de los candidatos presidenciales. Los resultados primarios obtenidos no favorecen a su candidato, por ello piden realizar nuevamente la encuesta dando a conocer resultados totalmente diferentes, claro favoreciendo a este personaje (me imagino que piden manipular los instrumentos para obtener estos resultados desconociendo muchos hechos evidentes). Los medios de comunicación por lo visto no saben como desprestigiar la oleada de favoritismo que tiene que tiene el candidato de la oposición. Bueno no es de extrañar que las empresas dizque de "investigaciones" se presten para esto (sino como se ganan la platica) y es que aprovechan el desconocimiento que tiene el pueblo acerca de una herramienta como el muestreo. Lo peor del caso es que en estas empresas de investigaciones hay estadísticos con muy buena fundamentación teórica y se presta para realizar esto, mi pregunta es donde queda la integridad, la ética de la profesión?, muy seguramente en los bolsillos de estos mismos.

Los expertos se promulgaron y evidenciaron un documento que esta circulando en la Internet, espero se haga conciencia con esto, no solo por la marea de un candidato de verdad, sino también evitar estas practicas que se dan entorno de algo tan crucial para un país como lo es la política. Por favor difundamos este mensaje.

Video de enseñanza estadística

noreply@blogger.com (Alex Zambrano) — Mon, 20 Dec 2010 16:38:35 PST

El blog de Consultoría Estadística nos trae hoy un vídeo muy interesante del profesor Roberto Bhear, profesor de la Universidad del Valle y estudioso de la mejor manera de enseñar la estadística quien realizo una conferencia en el año 2004, en la Universidad Politécnica de España, a continuación dejo el resumen de su vídeo

Resumen

En la actualidad, cada vez hay más consenso alrededor de lo que se conoce como aprendizaje significativo en estadística. El interés, en los cursos introductorios de estadística, está cada vez menos en lograr objetivos propios del método deductivo de la matemática, y mucho más en la naturaleza inductiva que exige la aplicación de la estadística. Se hace necesario por tanto que el estudiante construyan relaciones, entre sus experiencias, conceptos, esquemas y principios de orden superior. El razonamiento por analogía parece ser un camino promisorio para que ese proceso de generación de nuevo conocimiento estadístico, se desarrollo sobre la base de cosas que son ya familiares para los estudiantes. Las analogías pueden ser una valiosa herramienta pedagógica para generar nuevos marcos conceptuales que potencializan la creación de nuevos esquemas representacionales que permiten corregir sesgos e interpretaciones erróneas.

El vídeo lo pueden ver aquí

Y su conferencia en MP3 aquí