Desarrollo de software

Formado Satelital 2017 (Comando, control y telemetría satelital de próxima generación)

2017-09-19T13:16:00.003-03:00

Formado Satelital 2017

Este video es un resumen del trabajo realizado por la Maestría en Desarrollos Informáticos de Aplicación Espacial para el proyecto integrador. La maestría es dictada por el instituto Gulich (CONAE) y su socio académico la Universidad Nacional de La Matanza. Parte del trabajo es explicado en el post: Comando, control y telemetría satelital de próxima generación

Comando, control y telemetría satelital de próxima generación

2017-07-31T16:06:00.000-03:00

I. Introducción

En la industria cuando se trata de comandar un equipo remoto existen varios enfoques dependiendo de las necesidades. Desde sencillas implementaciones Maestro-Esclavo sin ningún tipo lógica de control asociada, pasando por sistemas algo mas complejos donde se aplican restricciones o sistemas basados en maquinas de estado. En el área espacial, una práctica común, es el uso de secuencias de comandos sobre estructuras de control. Empresas y agencias espaciales en todo el mundo han desarrollados sus propios lenguajes e intérpretes para cumplir con este objetivo:

STOL: Satellite Test and Operation Language. Desarrollado por la Nasa y ampliamente utilizado en varias misiones.
PLUTO: presente en algunas misiones de la
ESA (Satellite Control and Operation Sys- tem 2000).
Otros: desarrollados o utilizados por difer- entes compañias SOL(GMV), CCL(Harris), PIL(Astrium), SCL(ICS).

En el caso del segmento terreno del FS2017 se optó por usar un lenguaje de propósito general en lugar de crear un lenguaje especifico o utilizar los existentes en la agencia espacial. Este enfoque presenta múltiples ventajas,

Portabilidad: escogiendo correctamente la herramienta se puede lograr una buena portabilidad entre distintas plataformas.
Capacidad: las herramientas y capacidades generales de un buen lenguaje y entorno de desarrollo de propósito general su- peran ampliamente las posibilidades que puede ofrecer un entorno de propósito es- pecifico.
Base de usuarios: una importante base de usuarios implica soporte, documentación y mejoras además de una base de posibles recursos ya capacitados.

En el caso de este proyecto la opción de lenguaje propio de la misión se descartó por no disponer del tiempo que implica desarrollar y validar un intérprete de propósito específico. La opción de utilizar los interpretes disponibles en la agencia espacial quedó relegada por sobre la opción Python, con una base de usuarios mucho más grande, multiplataforma, con mejores capacidades de depuración, documentación disponible en la comunidad y de dominio de todos los estudi- antes.

II. Arquitectura

La solución propuesta propuesta para el segmento terreno se basa en una arquitectura cliente-servidor estándar y está influenciada por el framework de desarrollo Django, el que también influyo en un análisis y diseño orientado a objetos. Como repositorio de datos se utiliza un Postgresql 9.0 donde se almacenan la definición de datos y los datos mismos. Todo el acceso se realiza mediante el ORM (Object Relational Mapping) y no hay en todo el software un acceso directo al motor. Los componentes de software son los siguientes:

Database server (1): Un servidor SQL Post- gres donde se almacenan telemetría, tele- comandos y sus definiciones para todas las misiones.
Application server (1): Un servidor de apli- cación responsable de la generación de interfaces y lógica de operación.
Telemetry and Telecomand Processor (n): modulo encargado de decodificar, calibrar y transformar en variables de ingeniería la telemetría según su definición y de codificar y enviar los comandos al segmento de vuelo. En este caso existe un proceso por satélite incluso si son del mismo fabricante. Para el caso de FS2017

III. Python y Django

Python es un lenguaje portable, abierto, de alto nivel. Es dinámico y tiene orientación a objetos no estricta (Permite programación estructurada). Concebido durante los 80 se pop- ularizó en los 90, muestra una performance superior a otros interpretes, producto de su código intermedio (bytecode). Además de la portabilidad, que no mostró ninguna fisura, su punto fuerte es la gran comunidad que brinda soporte y la buena integración con entornos de desarrollo como Eclipse. El lenguaje tiene buena productividad [3], estructuras complejas de datos ya incorporadas, manejo de excepciones, recolector de basura y capacidad de reflexión, mandatoria para cumplir con el obje- tivo. Otros beneficios de trabajar con Python, o con otro lenguaje maduro de propósito general, son las capacidades de depuración, los test unitarios y la generación de documentación automatizada. Este enfoque además permite pleno acceso a herramientas de comunicación como Sockets, http, RPC (Remote Procedure Call), Web Services, email y a bibliotecas de manejo de archivos XML entre otros. Django es el framework web para python más popular, además de ofrecer herramientas para el desarrollo web incorpora un ro- busto ORM que se ha usado intensivamente en todos los módulos del segmento terreno, incluyendo los que no tienen interfaces web. Django propone un desarrollo basado en modelos, con una orientación a objetos estricta, pudiendo aprovechar las capacidades de abstracción, herencia, polimorfismo y las ventajas de un mejor modelo de reusabilidad. El acceso al motor de base de datos es transparente al de- sarrollador de la aplicación como al operador, ingeniero o equipo encargado de desarrollar los scripts de comandos, toda la responsabil- idad sobre la recuperación y persistencia de datos recae sobre el ORM.

IV. Telemetría

Si bien la arquitectura del segmento terreno es agnóstica de la fuente de datos se ha utilizado como segmento de vuelo el satélite denominado FS2017. El FS2017 envía la telemetría en tramas AX.25 por TCP/IP 1 puerto 3210 según especificación del fabricante. La trama tiene un fragmento de Payload donde viene codificada la telemetría. La definición de la telemetría esta persistida en una entidad (TlmyVarType) donde se establece el tipo, valor, rangos, límites, posición den- tro del fragmento de payload y la función que la transforma en una variable de ingeniería. En el área satelital y en algunos sistemas de control y automatización es común recibir la telemetría en valores crudos o raw. A estos val- ores crudos se les debe aplicar una función que los transforme en unidades de ingeniería. En algunas áreas, incluida la satelital, esta trans- formación también es utilizada para calibrar sensores o equipos que puedan sufrir desgaste o variaciones por las condiciones de uso. Estos ajustes pueden ir desde un simple ajuste por función lineal hasta una discretización de val- ores por tablas de look-up. El sistema debe ser lo suficientemente flexible como para permitir

Figure 2: Selección de método de calibración

aplicar cualquier función de transformación a toda variable de telemetría y permitir ajustarla a medida que el desgaste de los sensores lo requiera. La figura 2 muestra como al configurar una variable de telemetría se selecciona la función a aplicar para convertirla en variable de ingeniería.

Mediante técnicas de reflexión se carga en tiempo de ejecución la función seleccionada de calibración y se le aplica al valor raw extraído de la trama de telemetría proveniente del pa- quete AX.25. La función de calibración puede ser cualquier secuencia de comandos program- able en python sin ningún tipo de restricción mas allá del tiempo de procesamiento. To- das las bibliotecas y estructuras de datos están disponibles incluyendo funciones matemáticas e incluso el acceso al la base de datos completa mediante ORM. Al tener acceso a la base de datos se pueden obtener coeficientes actualiza- dos de calibración permitiendo:

Reutilizar funciones: es posible crear una única función para ajustes típicos (lineal, cuadrático) y reutilizarla con distintos co- eficientes según la variable de telemetría requiera.
Calibración fina: creada una función modifi- cando los coeficientes se puede realizar un ajuste fino, por ejemplo por desgaste de un sensor, sin necesidad de recodificar la misma.

Como ejemplo, el segmento de vuelo FS2017 requiere que a muchos de sus valores crudos se les aplique una ganancia (GAIN) y un de- splazamiento (OFFSET). En todos los casos se realiza mediante una única función llamada linealCalibration aunque cada tipo de variable de telemetría posea sus propios valores para ambos coeficientes.

Para que un método sea considerado de calibración o ajuste debe estar desarrollado como método de una clase heredada de BaseCalibration. El software realiza periódicamente una exploración de todos los métodos públicos de clases derivadas de BaseCalibration y los disponibiliza para su aplicación a las distintas variables de telemetría 2. La figura 6 muestra la clase GCalibration, heredada de BaseCalibration, donde se implementan algunos métodos de calibración incluido el seleccionado en la figura 2.

self.tmlyVarType.calibrationLogic(self.tmlyVarType, raw )

elif self.tmlyVarType.varType==self.tmlyVarType.FLOAT:

self.tmlyVarType.lastCalFValue =

self.tmlyVarType.calibrationLogic(self.tmlyVarType, raw ) else:

self.tmlyVarType.lastCalSValue =

self.tmlyVarType.calibrationLogic(self.tmlyVarType, raw ) else:

if self.tmlyVarType.varType==self.tmlyVarType.INTEGER:

self.tmlyVarType.lastCalIValue = raw elif self.tmlyVarType.varType==self.tmlyVarType.FLOAT:

self.tmlyVarType.lastCalFValue = raw else:

self.tmlyVarType.lastCalSValue = raw

""" Si el tipo no es cadena llevo el dato a cadena """ value = self.tmlyVarType.getValue()

if self.tmlyVarType.varType!=self.tmlyVarType.STRING: if (value>=self.tmlyVarType.limitMaxValue and

value<=self.tmlyVarType.limitMinValue): raise Exception("Invalid value in var "+

self.tmlyVarType.code)

if saveifchange:

self.tmlyVarType.lastUpdate = datetime.now(utc) self.tmlyVarType.save()

if self.tmlyVarType.varType==self.tmlyVarType.INTEGER:

self.calIValue = self.tmlyVarType.lastCalIValue self.calSValue = str(self.calIValue) elif self.tmlyVarType.varType==self.tmlyVarType.FLOAT:

self.calFValue = self.tmlyVarType.lastCalFValue self.calSValue = str(self.calFValue) else:

self.calSValue = self.tmlyVarType.lastCalSValue

return self.tmlyVarType.getValue()

Cuando se recibe un nuevo valor de telemetría se persiste mediante una instancia de TlmyVar. Toda recepción de nueva telemetría se registra en el histórico, haya cam- biado o no su valor. También se deja el último valor en la variable TlmyVarType, esta desnormalización tiene como objetivo ganar eficiencia al consultar los valores de tiempo real. En lugar de consultar a la tabla de histórica de valores recibidos, se consulta a la tabla de tipos que tiene un tamaño acotado. Si el valor raw para una variable determinada no cam- bió desde la ultima actualización entonces se guarda el registro de la recepción pero no se aplican las calibraciones. Esto ultimo hace ganar eficiencia ya que no se vuelve a transformar cuando se sabe que el resultado sera el mismo, se debe tener en cuenta, sin embargo, que ante un cambio en las funciones de calibración se debe forzar mediante software a una nueva evaluación aunque el raw no haya cambiado.

Figure 3: Clase TlmyVarType

Figure 4: Clase CommandType

El siguiente código muestra parte de la implementación del método setValue de la clase TlmyVar.

class TlmyVar(models.Model):

... if raw!=self.tmlyVarType.lastRawValue:

self.tmlyVarType.lastRawValue = raw if self.tmlyVarType.calibrationMethod:

if not self.tmlyVarType.calibrationLogic:

klass =

globals()[self.tmlyVarType.calibrationMethod.aClass] instance = klass() methodToCall =

getattr(instance,

self.tmlyVarType.calibrationMethod.aMethod) self.tmlyVarType.calibrationLogic =

methodToCall else:

pass #Calibracion ya cargada

if self.tmlyVarType.varType==self.tmlyVarType.INTEGER:

self.tmlyVarType.lastCalIValue =

self.tmlyVarType.calibrationLogic solo si no fue cargada anteriormente.

La carga del método de calibración a una atributo del tipo de variable de telemetría se realiza, si no ocurren cambios, una única vez durante la ejecución. Esto también permite mejorar los tiempos de ejecución ya que evita la carga por cada valor de telemetría recibido. Con una frecuencia configurable, el software analiza si alguna función de calibración fue ac- tualizada, si asi ocurriera se procede al limpiar el atributo que contiene la función para forzar su recarga 3. La figura 5 muestra los tiempos de procesamiento para un bloque de 15 pa- quetes donde se decodifican 5000 variables de telemetría, cantidad compatible con un satélite científico de envergadura.

La primera decodificación demora mas que las siguientes dado que tiene que realizar la carga de las funciones de transformación. La primera telemetría recibida difiere de la ante- rior y al ser la primera calibración la función no esta precargada. Luego el tiempo se estabiliza entre 3 y 3.5 segundos para el conjunto de las 5000 variables con una probabilidad de cambio de 10% entre muestra y muestra. El tiempo de procesamiento incluye además la verificación de que los valores de las variables de ingeniería estén dentro del rango de seguridad y el alma- cenamiento en el histórico. Los pruebas han sido realizadas en maquinas virtuales sobre equipos de escritorio.

El siguiente código muestra una calibración lineal (que puede ser usada en muchas tipos de variable de telemetría) y que obtiene sus coeficientes utilizando el ORM.

Figure 5: Tiempo de decodificación

#Clase GCalibration hereda de BaseCalibration class GCalibration(BaseCalibration):

...

#Metodo generico de calibración lineal def linealCalibration(self, obj, raw):

#Multiplica el valor raw por la ganancia y #offset configurado para ese tipo de #de variable de ingeniería. Los obj tiene #el tipo de variable de ingeniería y #por medio del ORM se accede a los #valores configurados. return raw*

obj.coefficients.get(code="GAIN").value + obj.coefficients.get(code="OFFSET").value

V. Telecomandos

En el caso del FS2017 los telecomandos deben ser enviados al segmento de vuelo por el mismo canal en donde se recibe la telemetría, TCP/IP puerto 3210. Los comandos deben ser codificados en una trama AX.25. Para permitir el la creación de scripts de comandos, de la misma forma que con la telemetría IV se utilizaran las capacidades de reflexión para analizar, en tiempo de ejecución los scripts a ejecutar. Los scripts de comandos pueden ejecutarse por acción explicita de un operador o porque fueron aplicados a una pasada. El operador tiene pleno acceso al ORM de donde se

Figure 6: GCalibration

puede obtener el diccionario de comandos y los valores de telemetría si necesitara aplicar condicionales que dependieran del estado del segmento de vuelo u otro valor disponible en el sistema. El siguiente código muestra como se envía un comando de encendido de heater si la temperatura de la OBC esta por debajo de un valor determinado.

#Instancio el satélite FS2019 sat = Satellite.objects.get(code="FS2019") ...

if not sat.isConnected():

raise Exception("Abort, flight segment offline")

#Consulto si la temperatura de la OBC esta por #debajo de 10 grados y tambien #Verifico que el heater este apagado if(sat.tmlyVarType.get(code="obcT1").getValue()<

sat.parameters.get(code="MinTolOBCTemp")) and (sat.tmlyVarType.get(code="HeaterOn").getValue()

==False):

#Creo un nuevo comando para el satelite, con fecha #de vencimiento 5 minutos desde la #fecha de creación. #Es un comando de ejecución en tiempo real #y por tanto no se agrega un tercer parametro #de fecha de ejecución cmd = sat.SendRTCommand("HeaterTurnOn",

datetime.utcnow()+ timedelta(minutes=5))

Por consola se obtiene el satélite con el que se desea trabajar. Se consulta por la temperatura de la OBC mediante una lectura del valor en tiempo real de la variable de telemetría obcT1. Si ese valor es inferior a limite parametrizado (El método getValue() siempre retorna variable de ingeniería) y los heaters esta apagados entonces se envía un comando de encendido. Sentencias como sat.tmlyVarType.get(code="obcT1").getValue() que retornan la instancias de TlmyVarType son provistas por el ORM de django a pesar de ser utilizadas por consola.

VI. Resultados

i. Interprete y Framework de desarrollo

El lenguaje (python) es sencillo aprender, pero por sobre todo, esta disponible una extensa comunidad con ayudas ante los problemas o desafíos que puedan aparecer. Para las posibles limitaciones es fácil encontrar soluciones alternativas (workarounds). Las experiencias realizadas con lenguajes de propósito especifico requirieron de la asistencia constante de un experto. Trabajando sobre python esto no fue necesario y la mayoría de los problemas pueden ser resueltos mediante información disponible en la comunidad. Las herramientas de depuración y análisis se mostraron poderosas, incluso superando las expectativas. Como contrapartida el hecho de ser un lenguaje dinámico limita las capacidades de Code Insight/IntelliSense que el entorno de desarrollo puede ofrecer (comparando con lenguajes compilados) aunque sigue superando las capacidades que la mayoría de las herramientas propietarias tiene al alcance ofrece.

ii. Desarrollo multiplatafoma

La solución fue ejecutada en ubuntu linux 15.10 como en windows 10.0 y windows 7.0. Se re- alizaron pruebas sobre dispositivos físicos y virtuales. En todos casos el software se ejecuto sin cambios. En este punto tanto el interprete como el framework mostraron uno de sus atributos mas destacables.

iii. ORM

El ORM de Django se mostró estable, se registraron pocos problemas o bugs y cuando ocurrieron se encontró información disponible que lo documentaba. Para la creación y modificación de modelos, su flujo divido en dos etapas Make Migrations y Migrate permitió el trabajo colaborativo y con múltiples servidores. El acceso a datos requiere de la práctica de convenciones propias que, aunque muy bien documentadas, afectan la curva de aprendizaje por poseer particularidades propias de la filosofía de convención por sobre configuración (Convention over configuration/coding by convention). Por otro lado el modelo no acepta atributos privados, cuestión que afecta el encapsulamiento. La capacidad del ORM para trabajar con polimorfismo esta limitada y se requiere añadir paquetes especiales, este últimos puntos se pueden considerar como una limitación de relevancia.

iv. Reflexión

Quizá por ser un lenguaje híbrido y su definición algo mas antigua, se juzga a los mecanismos de reflexión disponibles en python mas complejos que los disponibles en otras herramientas como C#.Net. Estos, sin embargo, fueron suficientes para cumplir el objetivos. Los tiempos de respuesta no presentan una limitación a su implementación. La reutilización de métodos previamente cargados colabora en mantener los tiempos entre margenes aceptables.

VII. Discusión

Los lenguajes específicos del sector espacial fueron creados hace décadas. Durante los 70, si bien existían opciones interpretadas , están no eran de uso extendido. En la actualidad existen varias opciones con una amplia cantidad de usuarios de base y múltiples proyectos que avalan su robustez. Python, Perl, VB- Script, JavaScript son solo algunas opciones. Incluso la técnica aplicada en este trabajo es implementable, con algunas restricciones, en lenguajes compilados, siempre y cuando ten- gan capacidades de reflexión avanzadas. Java o C#, herramientas que generan código interme- dio son aplicables así como compilados puros. Delphi mediante su RTTI (Run-time type information) para citar un ejemplo, requeriría que los métodos de calibración sean compilados previamente para luego ser cargados dinámica- mente como complementos o plug-ins durante la ejecución del modulo principal. A esta op- ción se la juzga mas compleja y si bien puede ofrecer mejoras en cuanto a rendimiento, los resultados, como los mostrados en 5, no justifi- can su implementación. Las opciones amplia- mente probadas de la actualidad no justifican el desarrollo de un lenguaje propietario, no

tener una base de usuarios implica ausencia de documentación, soporte, herramientas y por sobre todo recursos como explica [4] refiriéndose a ADA. “Using Ada could potentially offer lower life cycle costs compared to other programming languages, but it seems more likely that using Ada would raise life cycle costs due to a dearth of tools and compilers and lack of trained, experienced programmers”. La creación de una herramienta propietaria limita las capacidades disponibles en términos de es- tructuras de datos y bibliotecas en general y obliga a su desarrollo con el costo que esto conlleva y su aprendizaje resta mucho valor al ser inaplicable por fuera del ámbito donde se implemente.

Referencias

[1] Garcia, Gonzalo, Use of Python as a Satel- lite Operations and Testing Automation Lan- guage, GSAW2008 Conference, Redondo Beach, California, 2008.

[2] Galal, Ken and Hogan, Roger P, Satellite Mission Operations Best Practices, Space op- erations and support technical committe american institute of aeronautics and as- tronautics, 2001.

[3] Prechelt, Lutz, An empirical comparison of

seven programming languages, IEEE, 2000.

[4] Smith, II and others, What About Ada? The State of the Technology in 2003, Software Engineering Institute, 2003.

ISIS cubesat Telemetry (Part 2)

2017-05-23T10:18:00.001-03:00

Introduccion:

En la parte uno de esta entrada ISIS Cubesat Telemetry (Part 1) explicamos brevemente algunas particularidades de la telemetría en el área satelital. Encontramos un XML que describía parcialmente los paquetes que llegan del satelite por TCP/IP y decimos parcialmente porque en la practica si intentamos desempaquetar la trama utilizando unicamente el XML el proceso falla.

La razón es que ese XML describe el paquete (packet) de una trama mayor que viene dada de la siguiente manera.

En las siguientes lineas vamos a desarmar completamente la trama hasta llegar a las variables de telemetria.
Primero establecemos hasta donde nos es posible posición y tamaño de las cosas. Como se observa en la tabla 7.1 existen campos de tamaño variable (Ejemplo: modulation name con tamaño indicado por modulation name length) que impiden presetear todo de antemano.

PosFrameCommand         = 0

LenFrameCommand         = 1

   

PosFrameLen             = PosFrameCommand+LenFrameCommand

LenFrameLen             = 4

   

PosDataRate             = PosFrameLen+LenFrameLen

LenDataRate             = 4

   

PosModuluationNameLen   = PosDataRate+LenDataRate

LenModuluationNameLen   = 1

   

PosModulationName       = PosModuluationNameLen+LenModuluationNameLen

LenModulationName       = 0

   

PosRSSI                 = PosModulationName+LenModulationName

LenRSSI                 = 8

   

PosFrequency            = PosRSSI+LenRSSI

LenFrequency            = 8

   

PosPktLen               = PosFrequency+LenFrequency

LenPktLen               = 2

Luego en un bucle infinito desarmamos los paquetes que van llegando hasta llegar al payload que es lo que nos interesa. Esta variable es la que en futuras entradas vamos a desarmar en función del xml de configuración. Por lo pronto el siguiente código recibe en un bucle infinito la trama (chunk) del socket y la desarma hasta llegar al payload, el código tiene una breve descripción de lo que hace antes de cada linea y se puede observar que el mismo es no bloqueante porque por el mismo canal debe enviarse los comandos....

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

try:

    s.connect( (uhfServerIp, int(uhfServerPort)) )

    print("Successfully connection to..", uhfServerPort)

        while True:

            try:

                """

                Establezco un timeout para la bajada, con o sin bajada los comandos deben ser enviados

                """

                s.settimeout(5.0)

                   

                """

                Me quedo esperando recibir informacion del socket (IPC)

                """                       

                chunk = s.recv(int(BUFFER_SIZE))

                             

                unconnectionLimit = 0

                               

                """

                Buena o mala la telemetria fue recibida, reseteo el watchdog

                """

                wd.reset()

                               

                """

                Si recibo telemetria, defenitivamente estoy en contacto

                """

                sat.setInContact(True)

                               

                """

                Si la informacion es una trama de bits completa la proceso

                """

                if chunk == b'':

                    raise RuntimeError("socket connection broken")

                else:

                    
                    os.system('cls||clear')

                    print(bcolors.OKGREEN+"--------------------Data Received-------------------"+bcolors.OKGREEN)

                    print("Data length:", len(chunk))

                    #Me guardo el crudo tal cual llego antes de procesarlo, la tabla donde se guarda es UHFRawData


                    data = UHFRawData()

                    data.source = source

                    data.data = chunk

                    data.processed = False

                    data.save()

                                 

                    framecommand = unpack("<B",chunk[PosFrameCommand:PosFrameCommand+LenFrameCommand])[0]

                    frameLength  = unpack("<I",chunk[PosFrameLen:PosFrameLen+LenFrameLen])

                    datarate     = unpack("<I",chunk[PosDataRate:PosDataRate+LenDataRate])

                    modulationnamelen = (unpack("<B",chunk[PosModuluationNameLen:PosModuluationNameLen+LenModuluationNameLen]))[0]

                    modulationname    = chunk[PosModulationName:PosModulationName+modulationnamelen]

                    PosRSSI           = PosModulationName+modulationnamelen

                    rssi              = unpack("<d", chunk[PosRSSI:PosRSSI+LenRSSI])

                    PosFrequency        = PosRSSI+LenRSSI

                    freq                = unpack("<d", chunk[PosFrequency:PosFrequency+LenFrequency])

                    PosPktLen           = PosFrequency+LenFrequency

                    pktLen             = unpack("<H",  chunk[PosPktLen:PosPktLen+LenPktLen])

                    PosUtcTime = PosPktLen+pktLen[0]

                    LenUtcTime = 4

                                   

                    PosPayload = PosPktLen+int(LenPktLen)

                    ax25 = chunk[PosPayload:PosPayload+pktLen[0]]

                                   

                                   

                    destination  = ax25[0:7]

                    asource      = ax25[7:7+7]

                    control      = ax25[7+7:7+7+1]

                    protocol     = ax25[7+7+1:7+7+1+1]

                                   

                           

                                        

                    vardataoffset = 7+7+1+1

                    payload = ax25[ vardataoffset: ]

                                   

                    pn = unpack("<H",  payload[1:3])

                    print("Packet number:", pn)

                                   

                    frameTypeId = payload[0]

                                   

                    dl = DownlinkFrame()

                                   

                    dl.frameCommand     = framecommand

                    dl.frameLength      = frameLength[0]

                    dl.dataRate         = datarate[0]

                    dl.modulationName   = str(modulationname)

                    dl.rssi             = rssi[0]

                    dl.frequency        = freq[0]

                    dl.packetLength     = pktLen[0]

                    dl.satellite        = sat

                    dl.ax25Destination  = "Pending"#destination.decode("utf-8")

                    dl.ax25Source       = "Pending"#asource.decode("utf-8")

                    dl.ax25Protocol     = "Pending"#protocol.decode("utf-8")

                    dl.ax25Control      = "Pending"#control.decode("utf-8")

                    dl.packetNumber     = pn[0]

                    dl.frameTypeId      = frameTypeId

ISIS cubesat Telemetry (Part 1)

2017-05-14T16:02:00.000-03:00

Introducción

El los últimos meses estuve cursando una maestría en desarrollo software de aplicación espacial. Una de las asignaturas exige algunas practicas mínimas sobre un pequeño satélite. El satélite fue comprado hace algunos años por la agencia espacial donde se desarrollan las practicas, pero nunca había sido utilizado. El problema es que también había caducado el periodo de soporte y no teníamos documentación para nuestro primer objetivo que era procesar la telemetría de este diminuto satélite.

Telemetría vs Telemetría Satelital

Se denomina telemetria a la medición y transmisión remota de magnitudes, físicas o lógicas. ¿Que diferencia hay entre la telemetría de cualquier equipo remoto y de un satélite? Las diferencias son muy pocas pero existen y son generadas por los siguientes problemas:

Eficiencia de la transmisión:

En el area espacial existe un obsesión (Relativamente justificada) por el ahorro de bytes a transferir. Las capacidades y tiempos de transmisión son limitadas. El hardware en los sistemas de vuelo suele ser viejo, muy viejo o con limitaciones en términos de capacidad de computo. Esto se traduce en que pueden no ser aplicables técnicas de compresión o protocolos que utilicen exhaustivamente la lógica para reducir la cantidad de bytes como por ejemplo Google Protocols Buffers.

Desgaste de componentes:

Los componentes en el espacio sufren un desgaste y ya no es posible remplazarlos. Los valores de telemetria recibidos pueden estar modificados por ese desgaste y no representan el verdadero valor.

Estas cuestiones definen y acotan el margen de acción, en contraste con el mundo informático actual donde nos damos el lujo de transferir por protocolos autocontenidos, de transferir texto, XML etc, acá se opta por trabajar, como antaño, con protocolos binarios y los datos transferidos no representan el valor final de la variable que se pretende analizar tanto por la necesidad de reducir la cantidad de bytes transferidos al mínimo como la necesidad de ajustar los valores.

RF checkout box

Afortunadamente el kit del satélite disponía de un equipo de radio conectable a un PC por USB y un sencillo software de test que alcanzaba a mostrar algunos valores de telemetria. El manual indicaba que ese software publicaba la trama en un server TCP/IP pero no indicaba el formato completo de la trama. Con estos escasos recursos algunos compañeros comenzaron a decompilar los .class del software y llegaron a la conclusion de que utilizaba un XML para desarmar parte de la trama...buena parte del problema esta resuelto.

De un golpe de vista se entiende el formato de este paquete (o subpaquete). Por ejemplo, el frame type 1 es el de toda la telemetria (allTelemetry), esto viene indicado en un valor char en la posición 0. En la posición 8 tenemos la temperatura 1 de la OBC, viene en un short (2 bytes calculados a prueba y error) y offset y gain indican los valores por los que hay que multiplicar y sumar ese short para transformarlo en el valor real de temperatura Celsius.
Como dijimos RF checkout box publica las tramas por un server TCP/IP puerto default 3210, si el satélite esta conectado y funcionando con conectarse al server se comienzan a recibir las tramas.

 s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

 s.connect( (uhfServerIp, int(uhfServerPort)) )

 ...

 chunk = s.recv(int(BUFFER_SIZE))

Sin embargo estas tramas contienen información de cabecera previa al paquete que describe el XML. Esto lo iremos desarmando en la Parte 2 (Part 2) de esta entrada.

Continua en...Parte 2

Misión Cubesat FS2017

2017-05-10T13:28:00.000-03:00

La función del software del segmento terreno es la operación y mantenimiento del estado de salud del satélite (bajada y análisis de Telemetría -TM- y subida de Telecomandos -TC) y la bajada, procesamiento y publicación de datos de ciencia. A tal fin se ha estudiado el diseño y desarrollo de un SW multimisión que, ademas de contar con un alto nivel de robustez, posea atributos de generalidad que permitan su aplicación a futuras misiones. El sistema esta desarrollado sobre una arquitectura cliente-servidor clásica utilizando Python sobre el framework Django, el cual fuerza el uso del paradigma orientado a objetos y un diseño del tipo Model-Driven Architecture (MDA). La aplicación esta hosteada sobre apache en Linux Ubuntu 15.10. El sistema intenta ser una alternativa a otros desarrollos ad-hoc ofreciendo una variante multiplataforma y multimisión que maximiza los atributos de: interoperabilidad, eficiencia, accesibilidad/disponibilidad, integridad, seguridad y recuperación.

Django: Test en eclipse

2016-09-22T12:21:00.002-03:00

El problema

Ejecutar un test automático desde el eclipse sin necesidad de trabajar con una consola aparte. Existen librarias que mejoran el soporte a los test automáticos (seran tema de otro post), pero si no queremos llegar a tanto y pretendemos realizar la ejecución o, también imprescindible, el debug de algunos test no es tan directo como seleccionar simplemente Run As->Python unit-test

Debería ser así, pero la realidad es que no funciona y obtendrán el mensaje...

raise AppRegistryNotReady("Apps aren't loaded yet.")
django.core.exceptions.AppRegistryNotReady: Apps aren't loaded yet.

Seguramente se ejecutan los unit-test sin antes cargar cuestiones básicas del ORM y demás, todavía no me queda claro porque.

La solución

Para resolver este tema, sin instalar librerias adicionales tenemos el siguiente workaround:

1.Ir a Run Configurations...

2.Crear una nueva configuración de ejecución, muy importante estar parado sobre PyDev Django como indica la siguiente imagen.

3.Luego colocar un nombre descriptivo, tener en cuenta que esta es una configuración para correr test, luego seguramente necesitemos una para depurar, por tanto no esta demás indicar esta característica en el nombre

4.Luego indicar para que proyecto estamos armando la configuración

5.Indicar la ubicación del manage.py del proyecto

6.En argumentos colocar la palabra "test", como si lo hiciéramos por consola

7.Salvar y ejecutar el test....

Para debug:

Para debug realizar los mismos pasos pero al utilizar el debug configuration en lugar del run configuration...

Conclusion

Rápidamente se puede acceder a los test automáticos sin necesidad de componentes de terceros y cuando se entiende la idea se configura muy rápido.

Espero haya servido.

Django: Log de consultas SQL

2016-09-20T23:20:00.001-03:00

El problema

La verdad que en el poco tiempo que llevo jugando con Django no he tenido grandes problemas con código SQL generado automáticamente por el ORM de Django, y cuando tuve algun inconveniente el mensaje de error fue lo suficientemente descriptivo como para resolverlo sin mas.

Esto no me hace creer que no pueden aparecer problemas un poco mas complejos y que no estaría de mas tener un buen registro de todo lo que el ORM esta ejecutando sobre el motor relacional. Tiempo atrás, trabajando con Delphi/DataSnap procuraba guardar toda consulta generada en un tabla para posterior analisis/auditoria. ¿Como hacer los mismo en Django?

La solución

Yo no he pedido hacer en django que las consultas SQL se persistan en una tabla de la base de datos, pero al menos si que se guarden en un archivo del proyecto.

Tan simple como agregar la siguiente entrada en el settings.py

LOGGING = {

'version': 1,

'disable_existing_loggers': False,

'handlers': {

'console': {

'level': 'DEBUG',

'class': 'logging.StreamHandler',

'file': {

'level': 'DEBUG',

#'class': 'logging.FileHandler',

'class': 'logging.handlers.RotatingFileHandler',

'filename': os.path.join(BASE_DIR, 'logs/django.log'), #'/path/to/django/debug.log',

'maxBytes': 16745#16777216, # 16megabytes

#'formatter': 'verbose'

'loggers': {

'django.db.backends': {

'handlers': ['file'],

'level': 'DEBUG',

}

Revisar tener la carpeta en el proyecto, en mi caso llamada logs.

Algunas pruebas

Ahora para verificar vamos a realizar algunas pruebas por consola, si aun no sabes como hacerlo en eclipse te recomiendo un post anterior Django: Testeo de escritorio sobre consola de eclipse.

Desde ORM:

Plato.objects.all()

[<Plato: Flan Casero>, <Plato: Omelette>, <Plato: Milanesa de soja>, <Plato: Tortilla>]

Consulta SQL:

(0.001)

SELECT "djSisitia_plato"."id", "djSisitia_plato"."descripcion", "djSisitia_plato"."tipo_id", "djSisitia_plato"."imagen"

FROM "djSisitia_plato" LIMIT 21; args=()

Plato.objects.all().filter(tipo__descripcion="Postre")

(0.000)

SELECT "djSisitia_plato"."id", "djSisitia_plato"."descripcion", "djSisitia_plato"."tipo_id", "djSisitia_plato"."imagen"

FROM "djSisitia_plato" INNER JOIN "djSisitia_tipoplato" ON ("djSisitia_plato"."tipo_id" = "djSisitia_tipoplato"."id")

WHERE "djSisitia_tipoplato"."descripcion" = 'Postre'

LIMIT 21; args=('Postre',)

Django: Testeo de escritorio/interactivo sobre consola de eclipse

2016-09-20T19:45:00.001-03:00

Trabajar sobre la consola

Seguramente para quienes tengan experiencia en lenguajes dinámicos este post les parecerá trivial, para quienes venimos del mundo de los lenguajes estáticos (En mi caso delphi, C++ o C#) la posibilidad de trabajar sobre una consola no esta contemplada, de hecho no existe la posibilidad y tampoco se me hubiese ocurrido como opción.

Siendo python un lenguaje dinámico técnicamente es posible y esta muy bien tener en mente esta idea porque compensa, al menos un poco, las penurias de no tener un compilador hecho y derecho

La idea general

Al trabajar sobre un lenguaje dinámico no tenemos un intelligent code completion decente, tenemos que trabajar mucho con la memoria y ser muy estrictos con la convenciones. Con todo, la memoria tiene limitaciones, la ide puede ayudar pero si tenemos la posibilidad de probar alguna implementacion sobre la marcha se agradece, y como se puede prever la consola lo permite probar ahí, en caliente.

El ejemplo

Para entender la idea imaginemos un ejemplo muy chico, un ejemplo mínimo de un software gastronómico donde se declara la clase"Seleccion", el objeto de la clase puede contener una serie de platos pero no puede contener mas de un plato del mismo tipo, es decir, puede tener, entrada, plato principal, postre, merienda y tanto como se quiera siempre y cuando se cumpla que no existen 2 del mismo tipo (No se agrega al ejemplo la clase Plato, ni la clase TipoPlato, la cual indica su tipo)

Para asegurarnos el control creamos un método "agregarPlato", solo se debería poder agregar platos a la selección por este método (tristemente python no permite restringirlo verdaderamente)

class Seleccion(models.Model):

platos = models.ManyToManyField(Plato, related_name="selecciones")

comenzal = ....

otros atributos...

def agregarPlato(self, plato):

"""

Controlar aqui regla de que solo

un plato de cada tipo!

"""

pass

La consola

Para abrir la consola de python en eclipse hacer lo siguiente:

Boton derecho en raiz del proyecto->Django->Shell with django environment

El resultado deberia ser el siguiente,,,

El proceso de prueba

Importaciones

Ahora bien, vamos a codificar y probar. Lo primero es importar nuestras clases.

Tip: No es necesario realizar el proceso de importación manualmente, la ide puede ayudar. Simplemente tratemos de instanciar un objeto y con ctrl-space podemos tocar en las sugerencias de importación como indica la imagen

esta técnica puede ahorrar mucho tiempo...

Datos maestros

Volviendo a nuestro tema, vamos a investigar un poco si tenemos los datos que nos permitan realizar la prueba....

plts = Plato.objects.all()
plts

[<Plato: Flan Casero>, <Plato: Omelette>, <Plato: Milanesa de soja>, <Plato: Tortilla>]

Tenemos platos, veamos los tipos de esos platos...

for p in plts:
print(p.tipo.descripcion)

Postre
Principal
Principal
Principal

Como vemos los ultimo tres platos son del tipo "Principal" si intento meter mas de uno en una "Seleccion" la clase no debería permitirlo

La prueba

Primero creamos una Seleccion:

from djSisitia.models.Seleccion import Seleccion

sel = Seleccion()

Como la relación es many to many tengo que salvar primero (aun no tengo estudiado el tema).

#Completar todos los datos obligatorios y guardar

sel.save()

Ahora dejamos la consola como esta e intentamos codificar el método "agregarPlato"

Para lograr el objetivo vamos a aplicar una logica muy simple, si ya existe un plato del mismo tipo lanzamos un excepción...

Como estamos aprendiendo a desarrollar en django vamos a usar la consola para investigar como seria preguntar si la selección tiene ya un plato de un tipo determinado, primero metemos platos por izquierda, utilizando el add de la coleccion

plts

[<Plato: Flan Casero>, <Plato: Omelette>, <Plato: Milanesa de soja>, <Plato: Tortilla>]

#Agrego un postre

sel.platos.add(plts[0])

#Pregunto si en la lista de platos de la seleccion existe un plato del tipo plts[0].tipo (que es postre)

sel.platos.filter(tipo=plts[0].tipo)

[<Plato: Flan Casero>]

Listo! Funciona, ahora si a implementar...

def agregarPlato(self, plato):

pl = self.platos.filter(tipo=plato.tipo)

if not pl:

self.platos.add(plato)

else:

raise Exception("Se esta intentando meter mas de plato del mismo tipo")

return self.platos.all().count()

probemos....

sel.agregarPlato(plts[0]) #Se agrega un plato del tipo postre

1 #Exito

sel.agregarPlato(plts[0]) #Se otro plato del tipo postre

Traceback (most recent call last):

File "<input>", line 1, in <module>

File "C:\Users\pabli\git\djSisitia\djSisitia\djSisitia\models\Seleccion.py", line 29, in agregarPlato

raise Exception("Se esta intentando meter mas de plato del mismo tipo")

Exception: Se esta intentando meter mas de plato del mismo tipo #Error

sel.agregarPlato(plts[1]) #Se agrega un plato del tipo principal

2 #Exito

sel.agregarPlato(plts[1]) #Se otro plato del tipo principal

Traceback (most recent call last):

File "<input>", line 1, in <module>

File "C:\Users\pabli\git\djSisitia\djSisitia\djSisitia\models\Seleccion.py", line 29, in agregarPlato

raise Exception("Se esta intentando meter mas de plato del mismo tipo")

Exception: Se esta intentando meter mas de plato del mismo tipo #Error

Conclusion

Lo mas importante a destacar es que al estar limitados con las capacidades del ide para autocompletar código y especialmente cuando uno esta en la etapa de aprendizaje esta técnica realmente ayuda a probar características, métodos, soluciones. En el ejemplo queda especialmente visible cuando se debió probar las técnicas del filtrado que (aunque son muy básicas) quien esta aprendiendo no domina totalmente.

Tip: Se debe tener en cuenta que ciertos cambios en el código requieren volver a lanzar la consola para que el interprete vuelta a interpretar las implementaciones, desconozco si existe una forma de deshabilitar esto y que reinterprete cualquier cambio, es un tema que voy a investigar y puede ser la próxima entrada dado que me parece que es muy factible que exista.

Generacion de inserts con Sql Management Studio

2012-11-03T11:34:00.000-03:00

Generacion de inserts Sql Management Studio

¿Qué queremos hacer?

Lo que intentamos hacer es crearnos los comandos de insert de los registros de una tabla determinada.

¿Cómo lo hacemos?

Decidí escribir esta simple entrada porque es una funcionalidad tan útil como oculta. Sabiendo incluso que existe la posibilidad de hacerlo no es fácil encontrar donde. Así que vamos paso por paso.

1.Abrir y autenticarse al Sql Management Studio

2.Acceder a la carpeta que muestra las bases de datos

3.Ir por menú contextual a la opción de menú Generate Script como indica la siguiente imagen

4.Next a la pantalla de bienvenida del wizard

5.Selecciona la base de donde necesitas generar los scripts y obviamente luego next

6. Aca viene lo importante, la siguiente pantalla muestra una serie de opciones de configuración que no vamos a ver en detalle en este post y ademas la mayoría se puede deducir simplemente analizando el nombre. Ahora hay una propiedad que nos interesa especialmente, es la propiedad Script Data , la misma deberá ser true si queremos generar los insert.

7.Luego el wizard nos ofrece los tipos de objetos a generar, en mi humilde base de datos, creada para esta entrada solo tengo tablas, selecciono entonces esa opción.

8.El wizard esta ahora interesado en saber cual o cuales tablas quiero generar. Indico entonces la que me interesan

9.Siguiente paso nos pregunta donde queremos dejar el script, básicamente si queremos generar un archivo, si queremos poner el script en el portapapeles o si lo dejamos en una query window de nuestro sql management studio

10.Ahora sumarizado de las opciones tomadas durante la ejecución del wizard y finish para la generación del efectiva del script

11.Finalmente el script generado donde se pueden ver los comandos de script perfectamente generados.

Espero haya sido de utilidad.

DB Stress Generator

2012-10-17T16:54:00.002-03:00

El DB Stress generator es un software que programe yo para simular algunas situaciones de stress en la base de datos.
A la fecha no es un software comercial, profesional ni mucho menos pero me ayuda bastante y no encontré en el mercado nada que hiciera lo que DB Stress Generator hace y como el lo hace.
Muchas veces desarrolladores simulan carga de trabajo generando consultas desde el administrador de la base de datos pero esto es una sola conexión una sola instancia. Yo estaba buscando la manera de generar n instancias para ejecutar repetidamente una consulta determinada pero ademas me interesaba mucho que los parámetros fueran random y que oscilaran.

Importante aclarar que solo fue probado con SqlServer 2005/2008

Modo de uso

Configurar la conexión, utiliza ADO para conexión, por tanto la maquina debe tener instalado MDAC.

Configurar driver, host y base según corresponda

2.Conectar y colocar usuario y contraseña

Una vez conectado puede presionar el botón “New Stress panel” un nuevo panel aparecerá para realizar el test.

Escriba la query en el editor de texto de la derecha colocando los parámetros de la consulta con el anteponiendo carácter “:” . Puede también abrir un archivo con la consulta previamente guardada.

Presione luego el botón Refresh parameters para que se generen automáticamente los parámetros de la consulta. Luego escriba el valor del parámetro o seleccione alguna de las opciones de random que se despliegan con el combo donde se indica el valor del parámetro Espero que en futuras versiones se permita traer una valor aleatorio de una columna de una tabla.

Configurada la consulta y los parámetros se debe indicar el nivel de stress indicando cantidad de conexiones y ejecuciones en cada conexión:

#Threads: indica la cantidad de hilos, cada hilo tendrá una conexión a la base de datos.

Sleep between initial exe...: delay en milisegundos para la primera ejecución del thread, la idea es evitar sincronismos de ejecución

Iteration per Thread: cantidad de ejecuciones por hilo

Delay between iterations: espera entre ejecuciones dentro del hilo.

Configurado todo esto darle “Play” para que comience la ejecución.

Para verificar en cualquier momento la cantidad de hilos activos puede ir al panel inferior, solapa Statistics y ver Active Threads, cuando ese valor este en 0 indica que el test finalizo completamente.

Se puede crear varios paneles de stress simultáneamente!!

Aquí el link de descarga de la aplicación:

https://skydrive.live.com/redir?resid=E40DE9FCAF976AD3!679&authkey=!AO6GrLeGAFEOzkM

Blackberry browser y ASP.NET

2012-10-04T20:09:00.000-03:00

Problemas con ASP.NET y navegadores Blackberry

Y si, me sorprendió que me aplicación que tan bien funcionaba, probada en varios navegadores, presentaba un extraño comportamiento ejecutada sobre un browser de blackberry.

Se presentaban problemas con los postback de los controles, los mismos parecían no ejecutarse.

El problema es fácil de solucionar aunque molesto a esta altura del partido.

La solución requiere de la registración del browser de blackberry en ASP.NET, realmente muy molesto.

Cree un archivo con nombre Blackberry.browser y copie el siguiente texto dentro:

<browsers>
  <browser id="BlackBerry" parentID="Default">
    <identification>
      <userAgent match="BlackBerry(?'model'\d+)/(?'version'((?'major'\d+).
(?'minor'\d+).(?'other'\d+)))" />
    </identification>

    <capabilities>
      <capability name="browser"             value="BlackBerry" />
      <capability name="isMobileDevice"      value="true" />
      <capability name="javascript"          value="true" />
      <capability name="ecmascriptversion"   value="1.3" />          
      <capability name="version"             value="${version}" />
      <capability name="majorVersion"        value="${major}" />
      <capability name="minorVersion"        value="${minor}" />
      <capability name="supportsCss"         value="true" />
      <capability name="frames"              value="false" />
      <capability name="cookies"             value="true" />
    </capabilities>
  </browser>
  
</browsers>

Salvar el archivo en el siguiente directorio:

C:\\WINDOWS\Microsoft.NET\Framework\V2.0.50727\CONFIG\Browsers o directorio analogo según instalación del SO

Ahora el siguiente paso es registrar el browser de blackberry en ASP.NET. Para registrarlo deberá utilizar la aplicación aspnet_regbrowsers.exe con el parámetro -i, como ejemplo:

C:\\WINDOWS\Microsoft.NET\Framework\v2.0.50727\aspnet_regbrowsers.exe -i

El path puede cambiar en virtud del path de instalación del SO.

Realmente es muy molesto tener que hacer esta registración previa al deploy, como contrapartida una vez realizada las aplicaciones ejecutadas sobre navegadores blackberry pasan a comportarse normalmente

SqlServer, plan de consulta y optimización (Tuning) (3)

2012-10-04T00:37:00.001-03:00

SqlServer, plan de consulta y optimización (Tuning) (3)

El problema

En la entrada pasada vimos al sql server meter la pata groseramente al intentar estimar la cantidad de registros a recibir en una consulta con datos correlacionados.
Quedo en evidencia el problema y se dijo que dado lo grosero del error dificilmente el motor pudiera escoger un plan optimo de consulta.
El problema radica en que el sql server no entiende que existe relación entre dos columnas, hay múltiples ejemplos de datos correlacionados, edad y altura, peso y tamaño, calidad y precio etc.
La situación es que el sql server calcula la probabilidad de que se cumpla una condición múltiple basicamente como el producto de ambas, esto es correcto y es lo que aprendimos en probabilidad y estadista, la probabilidad de que ocurran dos eventos es el producto de la probabilidad de que ocurra cada uno de ellos.
Lo que también nos enseñaron es que los experimentos deben ser independiente y no deben afectarse mutuamente cosa que aquí no pasa. Difícilmente encontremos una persona con cintura estrecha, que mida menos de 1.6 metros y que pese mas de 100 kg, las tres variables están correlacionadas.
Podemos encontrar ejemplo donde el motor descarta un indice por errores de estimación en columnas correlacionadas, no es tan fácil encontrar ejemplos donde el motor escoja una estrategia de join equivocada.

Hagamos un experimento con la siguiente consulta :

declare @marca char(20)
declare @Modelo char(20)
declare @Motor char(20)
declare @Origen char(20)
declare @Ranking int

set @marca='VW'
set @Modelo='GOL'
set @Motor='VW 1.6'
set @Origen='BRASIL'
set @Ranking=1

select *
from Vehiculo as v1 inner JOIN Vehiculo as v2
On v1.IdVehiculo=v2.IdVehiculo inner JOIN Vehiculo as v3
On v2.IdVehiculo=v3.IdVehiculo inner join Vehiculo as v4
On v3.IdVehiculo=v4.IdVehiculo
Where v1.Marca=@marca and
v1.Modelo=@Modelo and
v1.Motor=@Motor and
v1.Origen='BRASIL' and
v1.Ranking=1

La ejecución de la consulta otorga la siguiente información,

La estrategia de join del motor es "nested loop", el motor piensa que va a recibir pocos registros y por tanto escoge esta estrategia, seguramente la mas conveniente con conjuntos de 1500 registros (Los que estima recibir).
La realidad demuestra que se reciben 200000, y el join es por IdVehiculo, indice cluster, por tanto los conjuntos están ordenados.
Se ve marcado en rojo la enorme diferencia que existe entre lo que el sql espera recibir y lo que verdaderamente recibe

La solución ( MERGE JOIN )

Existe un mecanismo de join llamado MERGE_JOIN es un mecanismo que es eficiente solo con conjuntos ordenados de determinado tamaño. Si forzáramos MERGE JOIN en conjuntos no ordenados el sql los tendría que ordenar previamente y generalmente esto no da buenos resultados.
No es este el caso donde ex profeso hemos hecho el join por el indice cluster.
Vemos también que no es la opción elegida por nuestro Sql Server, a pesar de que los conjuntos están ordenados la cantidad de registros que espera obtener no a merita el uso de Merge join.
Forzamos entonces al sql a utilizar MERGE_JOIN a sabiendas de que el motor tiene enormes problemas para predecir la cantidad de registros que cumplen la condición.

declare @marca char(20)
declare @Modelo char(20)
declare @Motor char(20)
declare @Origen char(20)
declare @Ranking int

set @marca='VW'
set @Modelo='GOL'
set @Motor='VW 1.6'
set @Origen='BRASIL'
set @Ranking=1

select *
from Vehiculo as v1 inner MERGE JOIN Vehiculo as v2
On v1.IdVehiculo=v2.IdVehiculo inner MERGE JOIN Vehiculo as v3
On v2.IdVehiculo=v3.IdVehiculo inner MERGE join Vehiculo as v4
On v3.IdVehiculo=v4.IdVehiculo
Where v1.Marca=@marca and
v1.Modelo=@Modelo and
v1.Motor=@Motor and
v1.Origen='BRASIL' and
v1.Ranking=1

Observemos y comparemos el rendimiento en uno y otro caso

Mas allá de esta medición puntual en varias pruebas observe que el tiempo de ejecución se reduce a la mitad, en fin los datos correlacionados hicieron desastres con las estimaciones y destruyeron los intentos del motor por obtener un buen plan de consulta.

Consideraciones finales

Para cerrar, mucho cuidado, el problema se da bajo las condiciones actuales de la tabla, pero atención mas registros, un cambio en la distribución y correlación de los datos, o un cambio en la estructura invalidaría lo expuesto, por eso precaución al forzar el plan de consulta

SqlServer, plan de consulta y optimización (Tuning) (2)

2012-09-29T18:26:00.001-03:00

SqlServer, plan de consulta y optimización (Tuning) (2)

Datos correlacionados

En la entrada anterior hablamos sobre cuando puede fallar el optimizador, que podría hacer fallar el path suboptimo pensado por el motor.
Se me ha hecho muy fácil engañar algunos motores y hacerles meter la pata, con sql server se complica un poco mas y las situaciones por donde podemos hacer "pinchar" al optimizador son pocas. Una de ellas es tener datos correlacionados.
Para el ejemplo de la entrega vamos a manejarnos con una tabla de vehiculos con campos marca, modelo y motor, la tabla seria la siguiente:

Tabla

CREATE TABLE [dbo].[Vehiculo](
[IdVehiculo] [int] IDENTITY(1,1) NOT NULL,
[Dominio] [char](20) NOT NULL,
[Observacion] [text] NOT NULL,
[Marca] [char](20) NOT NULL,
[Modelo] [char](20) NOT NULL,
[Motor] [char](20) NOT NULL,
CONSTRAINT [PK_Vehiculo] PRIMARY KEY CLUSTERED
(
[IdVehiculo] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]

En la misma insertamos aproximadamente 100000 VW GOL POWER con motor VW 1.6, insertamos también alrededor de 50000 de otros vehículos, de otras marcas y modelos

¿Porque es difícil que se equivoque el sql server?

El sql server maneja estadísticas para tablas con mas de 500 registros con una buena precisión, el sql server sabe en muchos casos, y por ejemplo para nuestra tabla de vehículo cuantos FIAT, cuando VW o cuantos FORD hay, sabe también cuantos GOL POWER hay y cuantos PALIO (Las estadisticas las fue generando a medida que se ejecutaron selects con condiciones de selección aplicadas a los campos).
Si pidiéramos al sqlserver que nos retorne todos los vehículos PALIO el mismo sabría con buena precisión cuantos hay, escogería una estrategia de búsqueda adecuada.

Lo que no sabe y no puede saber es la correlación que existe entre, por ejemplo, el modelo GOL POWER y la marca VW, hay una relación estricta entre marca y modelo y sí alguien podría decir,

-El problema es que la base esta mal diseñada, deberías tener tabla de modelos y tabla de marcas, ambas relacionadas

Si es cierto para este caso, la realidad es que las bases con las que nos toca trabajar no siempre están bien diseñadas y ademas hay casos donde la relación es muy estrecha pero no definitiva.
Por ejemplo si preguntáramos Franceses que hablan Francés obtendríamos a casi todos los Franceses, pero no necesariamente a todos.
En cualquier caso si pidiéramos al SqlServer que nos retorne todos los VW que son GOL POWER es probable que lo pongamos en un aprieto a la hora de estimar la cantidad de registros que retornaría la consulta, una mala estimación de este tipo desencadena una serie de malas decisiones a la hora de elegir la estrategia de join, la estrategia de búsqueda etc.

En las ultimas versiones de sql server (2008 o superior) existe la posibilidad de explicarle al motor la situación mediante indices especiales, es una opción valida pero algo oscura.
Me da la sensación que esos indices tan específicos pueden generar problemas entre implementaciones o durante el ciclo de vida de la base de datos si no se tiene control de su existencia y de su carácter especifico.

Miren todos como se equivoca el sql server

En la siguiente imagen se puede ver la pésima estimación que hace el sqlserver .

Si examinamos el plan de consulta el mismo espera recibir algo así como 1125 filas, veamos que fue lo que efectivamente recibimos luego de ejecutar la consulta...

La consulta devolvió 100001 registros, la diferencia es importante en una tabla con 150000 registros, y como se menciono antes ya no se puede esperar mucho del plan de consulta después de semejante error.

En la próxima entrada vamos a ver como este error degenera en la perdida de rendimiento de la consulta.

SqlServer, plan de consulta y optimización (Tuning) (1)

2012-09-28T15:46:00.002-03:00

SqlServer, plan de consulta y optimización (Tuning) (1)

De mi parte, siempre di la derecha al plan de consulta que el motor escogía, si el rendimiento no es el esperado sera porque diseñe mal la base o porque me faltan indices o directamente porque el software esta trabajando de manera incorrecta. Tengo desarrollos completos, algunos de tiempo real con bastante exigencia al motor donde la cantidad de planes de consulta forzados en todo los módulos del software es 0.

Hace mucho años trabajando para una compañía bastante grande observaba horrorizado como se había instalado la cultura de crear la consulta e indicar porque indice ir.
Meses después tuve mi revancha cuando nos mandaron a todos a hacer un curso de tuning de sql, y si no fue lo primero, lo segundo que dijo el instructor fue “No fuercen el plan de consulta, es muy probable que no tengan el conocimiento y la cantidad de información necesaria para hacerlo”
Los mismo dice microsoft en su msdn, traducción mediante “Típicamente sqlserver encuentra el mejor plan posible, no lo cambie salvo que sea un experto programador o experto administrador de base de datos”.

Probablemente todos nos sentimos expertos programadores, sea así o no, con eso no alcanza. Ademas de la experiencia se necesita conocimiento del modelo, de los indices y de la distribución y naturaleza de la información, en la mayoría de los casos conocer todo esto es poco probable y casualmente el sqlServer (Correctamente configurado) en sus estadísticas tiene esta información con un nivel de confiabilidad superior al 80%.

Entonces si no hay posibilidades de mejora y el motor es perfecto ¿Por que existen los hints?
Bueno de hecho el motor sí se equivoca, poco, pero se equivoca con especial énfasis en las siguientes situaciones:

Datos correlacionados
Poda por heuristica
Bug optimizador
Estadísticas no actualizadas

¿Entonces modifico o no el plan de consulta?

Entiendo que modificar el plan de consulta es la solución mas tentadora a un problema de rendimiento, generalmente parece ser también la solución menos probable hasta puede ofrecer mejoras marginales en muchos casos.
En posteriores entradas voy a intentar desgranar situaciones donde malos diseños, bugs del optimizador, datos correlacionados, podas o malas estadísticas puedan hacer que el sql se equivoque groseramente.

Desarrollo WAP en Visual Web Developer 2010

2012-09-25T14:48:00.001-03:00

Primero, si buscan los templates para desarrollo wap en visual studio 2010 notaran que ya no existen. Los componentes aun vienen pero la gente de microsoft argumenta que ya no tiene sentido incorporar al IDE los mismos, o disponibilizar templates dado que es un tipo de desarrollo obsoleto.

Cualquier dispositivo móvil moderno soporta html básico, el soporte para desarrollo WAP no parece ser una necesidad.

Esto es casi cierto, me ha tocado desarrollar una pequeña aplicación para dispositivos móviles, y los dispositivos móviles no soportaban html, solo WAP.

¿Como podemos encarar este desarrollo?

¿Sera necesario instalar un viejo Visual Studio 2003?

No necesariamente, veamos los pasos para un efectivo desarrollo.

1.Descargar templates

Primero tenemos que descargar los templates para forms WAP, estos template pueden ayudar, se pueden descargar de aquí:

http://blogs.msdn.com/cfs-file.ashx/__key/communityserver-components-postattachments/00-01-43-76-61/Mobile-Web-Form-Templates-for-WAP.zip

Luego descomprimir y seguir las instrucciones, las cuales básicamente dicen de colocar los templates en la carpeta

[My Documents]\Visual Studio 2010\Templates\ItemTemplates\Visual C#

o si prefiere

C:\Users\FulanoDeTal\Documents\Visual Studio 2010\Templates\ItemTemplates\Visual Web Developer

2.Si todo fue bien cree una Aplicación WEB ASP.NET vacía

3.Luego Agregar->Nuevo elemento y seleccione Mobile Web Form.

Ahora tenemos nuestro mobile web form, el cual vamos a editar y efectivamente puede ser accedido desde equipos que solo manejan WAP.

La mala noticia:

No estará disponible el diseño visual.

La buena noticia:

Tampoco es estrictamente necesario, la interfaces WAP son tan pobres y la cantidad de componentes tan pocos que no debería quitarnos el sueño no tener el tan cómodo diseñador visual, especialmente para quienes no son totalmente del palo web.

4.Diseñar

Bien, como dijimos no tenemos diseñador visual, ¿Como hacemos?

Bueno ayudarse con el asistente de VS para ir armando el formulario, es muy similar a un formulario html. Colocar el carácter “<” escribir “mob” y alli aparecerán las opciones de componente, como es de esperar muy pocos pero suficientes para lo que tenemos que hacer, que también seguramente sera muy simple (No se le puede pedir mucho a una aplicación WAP).

Recordar agregar las referencias al asembly con los componentes mobile...puedes usar con copia local si te trae problemas

El código abajo muestra como quedaría el formulario. Observe que he creado dos textbox, los he identificado como Runat=”Server”, les he puesto un ID como corresponde y otras propiedades adicionales cuando fue necesario.

También puse un command, algo asi como el botón de asp.net en webforms, he declarado también y codificado la función DoClick y se la he asignado al OnClick del comando. Si no me he equivocado con los nombre cuando se haga click sobre el boton se deberia ejecutar mi evento DoClick. A no tener miedo de usar los textbox del lado servidor, ya están disponibles como indica el código.

<%@ Page Language="C#" AutoEventWireup="true" Inherits="WAPTEST.WAPLogin" Codebehind="WAPLogin.aspx.cs" %>

<%@ Register TagPrefix="mobile" Namespace="System.Web.UI.MobileControls" Assembly="System.Web.Mobile" %>

<body>

<mobile:Form id="Form1" runat="server">

Usuario: <mobile:TextBox Runat="server" ID="tbUsuario"></mobile:TextBox>

Password: <mobile:TextBox Runat="server" ID="tbPassword" Password="True"

></mobile:TextBox>

<mobile:Command ID="btnAceptar" Runat="Server" OnClick="DoClick">Aceptar</mobile:Command>

</mobile:Form>

</body>

</html>

using System;

using System.Collections;

using System.ComponentModel;

using System.Data;

using System.Drawing;

using System.Web;

using System.Web.Mobile;

using System.Web.SessionState;

using System.Web.UI;

using System.Web.UI.MobileControls;

using System.Web.UI.WebControls;

using System.Web.UI.HtmlControls;

namespace WAPTEST

{

public partial class WAPLogin : System.Web.UI.MobileControls.MobilePage

{

protected void Page_Load(object sender, EventArgs e)

{

}

protected void DoClick(object sender, EventArgs e)

{

//Codificar aca....

//Se tiene acceso a los controles sin problemas por ej.

//string s = tbUsuario.Text; es perfectamente posible.

}

Aca el resultado en un navegador

Aca en un navegador wap

WebServices y certificados vencidos

2012-06-20T15:06:00.002-03:00

Perdí varias horas de pruebas y repruebas por un problema que ya había tenido pero que tarde días en recordar. Según algunos informes, internet paso a ser una extensión de nuestra memoria y en general muchas situaciones se olvidan rápidamente para dejar lugar a cuestiones mas inmediatas.
El problema era la imposibilidad de consumir un servicio https y que tenia un certificado vencido. Tarde mucho tiempo en recordad la solución como para dejarla pasar y no registrarla en el blog.
La cuestion se resuelve seteando una simple opcion que no esta tan visible ni es tan accesible asi que aqui el codigo con la explicacion.

var
r:Integer;
msg:string;
ss:ServiceSoap;
RIO : THTTPRIO;
begin
{ Place thread code here }
//Creo un componentes http RIO
RIO := THTTPRIO.Create(nil);
//Aca lo importante, colocar la opcion soIgnoreInvalidCerts para que haga caso omiso de certificados //vencidos y que siga trabajando
RIO.HTTPWebNode.InvokeOptions :=
[soPickFirstClientCertificate ,soIgnoreInvalidCerts, soAutoCheckAccessPointViaUDDI];

//Pasar el componentes THTTPRIO como parametro, y listo funciona!!
ss :=GetServiceSoap(false, defURL, RIO);

try

r := ss.MiMetodo('Hola mundo')

...................
...................

Carga dinámica de paquetes y reflexión (Una agradable sorpresa)

2012-04-29T18:24:00.002-03:00

Introducción

Hacia años que no tenia que meterme con las características de reflexión de delphi. Había trabajado bastante en .Net pero en Delphi poco y nada. Sabia que en la version 2010 de delphi se había evolucionado mucho en este sentido pero no sabia cuanto y a priori imagina las restricciones obvias de un lenguaje compilado.
La reflexión seria como la capacidad que tiene nuestro compilador de analizar y accionar sus elementos en tiempo de ejecución.
En lo que nos toca en esta entrada apuntamos a analizar una clase totalmente desconocida para investigar sus método y eventualmente ejecutarlos.

¿Para que puede servir?

Bueno, seguramente habrá mas casos el aqui expuesto, lo que aquí intentamos es simplemente cargar una serie de bpls, investigar sobre las clases y métodos que las mismas contienen y exponerlos. ¿Para que puede servir esto?, en mi caso particular lo que quiero es que se carguen las bpls a modo de funcionalidad agregada, luego quien configura el sistema determina que método se ejecuta según condiciones, pero los métodos disponibles se cargan dinamicamente de las bpls con las que se compra el sistema. Para mejor, se puede ir agregando bpls con mas funcionalidad sin afectar el core del producto.
Al decidir el configurador/analista que se ejecuta y cuando yo tendré que buscar y ejecutar un método mediante su nombre y para eso necesito las capacidades de reflexión que encuentro mas que aceptables en la versión actual de Delphi.
Los ejemplos de abajo han sido pelados de todas las cuestiones de bases de datos que tiene que ver con guardar los métodos disponibles y recuperar el método a ejecutar. Solo nos concentramos en lo importante: Como bucear en las bpls y como instanciar una clase y ejecutar un método por sus nombre.

¿Como cargar las bpls?

El siguiente código revisa una carpeta determinada y bpl que encuentra bpl que carga por medio del LoadPackage.

DynamicPackageNames := TStringList.Create;
sda := TDirectory.GetFiles(ExtractFilePath( Application.ExeName)+'PlugIns\', '*.bpl');

for s in sda do begin
hndl := LoadPackage(s);
DynamicPackageNames.Add(s);
end;

Ahora lo bueno, analizo las clases, pero solo lo hago para los librerias cargadas de las bpls.

....

c : TRttiContext;
m : TRttiMethod;
c : TRttiContext;
t : TRttiType;
p:TRttiPackage;
...
for p in c.GetPackages do begin
//Solo las cargadas de las bpls...
if DynamicPackageNames.Find(p.Name, Index) then begin
//Recorro las clases
for t in p.GetTypes do begin
//Recorro los metodos
for m in t.GetMethods do begin
//Esto elimina metodos de clases anteriores, como por ejemplo de la
//Classe TComponent
if t.Name=m.Parent.ToString then begin
//Recorro los parametros de los metodos
for param in m.GetParameters do begin
end;
end;
end;
end;
end;
end;
end;

Con el código anterior, se puede bucear hasta el nivel deseado en las clases presentes en la bpls cargadas dinamicamente.

Cuando encuentro lo que busco, ¿Como lo ejecuto?

c := TRttiContext.Create;
ty := c.FindType('MiClase') as TRttiInstanceType;
if Assigned(ty) then begin
//Encontro la clase que buscaba
m := ty.GetMethod('MiMetodo');
if Assigned(m) then begin
//Encontro el metodo que buscaba
//Construyo una instancia de la clase en cuestion
SL := ty.GetMethod('Create').Invoke(ty.MetaclassType,[Self]);
//Ejecuto el metodo
m.Invoke(SL, [param1, param2, paramx]);
//Libero el objeto creado
SL.AsObject.Free;
end;
end;

Espero que el código aquí expuesto sea de utilidad ya que no se encuentra con facilidad documentación sobre estos temas. Me parece mas importante el código expuesto que explicar todos los casos donde se puede utilizar la reflexión.

IOUtils

2012-03-06T17:10:00.000-03:00

Introducción

Esta entrada va a ser sumamente corta, estoy preparando algunas cosas mas complejas como carga dinámica de paquetes o reflection pero eso me va a llevar algo mas de mi escaso tiempo.

Mirando el código de un amigo hace unos días, amigo que tiene varios años de experiencia en desarrollo Delphi note algo de desconocimiento sobre las capacidades incluidas dentro de la herramienta en las ultimas versiones.

Se veía mucha programación con le tema de codificación y decodificación de fechas y también mucho código a mano para lo que voy a mostrar ahora, y lo muestro porque justamente lo tuve que hacer para un proyecto en el trabajo y rápidamente me acorde de lo largo y complicado que lo había hecho mi amigo.

El objetivo

El objetivo es sencillo, borrar, mover o lo que sea con algunos archivos que cumplen determinada característica. En este caso particular es simplemente borrar archivos viejos.

Las Herramientas

Vieja forma, sacada de internet y que casi todos los desarrolladores Delphi hemos usado para encontrar archivos...

procedure FileSearch(const PathName, FileName : string) ;

var
Rec : TSearchRec;

Path : string;

begin

Path := IncludeTrailingPathDelimiter(PathName) ;

if FindFirst (Path + FileName, faAnyFile - faDirectory, Rec) = 0 then

try

repeat

ListBox1.Items.Add(Path + Rec.Name) ;

until FindNext(Rec) <> 0;

finally

FindClose(Rec) ;

end;

Nueva Forma....busco archivos, si son viejos los borro

cachePath := ExtractFilePath( Application.ExeName ) + 'AuxFiles\';

for s in TDirectory.GetFiles(cachePath) do begin //<-Observar la forma de recorrer el array "For in"

if TFile.GetCreationTime(s)<IncDay(now, -3) then begin

TFile.Delete(s);

end;

En las próximas entradas quiero mostrar como cargar packages de manera dinámica y lo que veo mas importante, poder crear clases y llamar a métodos sin siquiera conocerlos previamente.
Nos vamos a ayudar con el mejorado (En delphi 2010) RTTI para cumplir con el objetivo.

Mi aplicación en Internet

2011-09-01T16:20:00.001-03:00

Con Delphi tenemos la posibilidad de meter casi todo los componentes y otros recursos dentro del ejecutable. Una aplicacion delphi tradicional no requiere de mucho mas que el ejecutable mismo. Esto facilitaría el deploy.
En el caso de trabajar con datasnap podriamos publicar nuestra aplicacion en una pequeña aplicacion web y podria ser ejecutada desde cualquier lugar siempre y cuando el servidor datasnap este publico.
Hasta aca todo parece ir sobre ruedas pero aparecen algunas cuestiones, que casi todo pueda embeberse en el ejecutable no significa que absolutamente todo este incluido, pueden quedarnos cosas afuera.
Podemos poner como ejemplo alguna DLL imprescindible con algún driver que no puede faltar, incluso algún archivo ini para guardar configuraciones básicas, previas a todo, IP/Puerto etc y no puedo exigirle al usuario que descargue ademas de un ejecutable un archivo ini, un driver de base de datos etc, esto tiene que funcionar con un click
Solución
Arrancamos con el ejemplo mas sencillo, supongamos un archivo ini, donde vamos a guardar dirección ip de mi servidor datasnap y alguna que otra cosa que necesite.
Cuando alguien descargue nuestra aplicación puede ponerla en alguna carpeta o ejecutarla directamente

Si decide ejecutar la aplicación correrá en algún directorio que el sistema operativo determine, si se selecciona guardar se pedirá donde colocar el ejecutable. Vamos a tomar como general el caso mas problemático que es cuando seleccionan directamente "Ejecutar". La solución pensada es colocar un ini inicial en alguna carpeta propietaria del usuario o de la aplicación (Para evitar problemas de permisos entre otras cosas), pero hacerlo si y solo si este archivo aun no existe. Entonces primer problema preguntarle al sistema operativo por la carpeta del usuario, aquí el código con algunos comentarios (Solo coloco la implementación, son métodos de clase) :
....uses SHFolder, windows, Classes, SysUtils;
{Opciones posibles
CSIDL_DESKTOP
CSIDL_INTERNET
CSIDL_PROGRAMS
CSIDL_CONTROLS
CSIDL_PRINTERS
CSIDL_PERSONAL
CSIDL_FAVORITES
CSIDL_STARTUP
CSIDL_RECENT
CSIDL_SENDTO
CSIDL_BITBUCKET
CSIDL_STARTMENU
CSIDL_DESKTOPDIRECTORY
CSIDL_DRIVES
CSIDL_NETWORK
CSIDL_NETHOOD
CSIDL_FONTS
CSIDL_TEMPLATES
CSIDL_COMMON_STARTMENU
CSIDL_COMMON_PROGRAMS
CSIDL_COMMON_STARTUP
CSIDL_COMMON_DESKTOPDIRECTORY
CSIDL_APPDATA
CSIDL_PRINTHOOD
CSIDL_ALTSTARTUP
CSIDL_COMMON_ALTSTARTUP
CSIDL_COMMON_FAVORITES
CSIDL_INTERNET_CACHE
CSIDL_COOKIES
CSIDL_HISTORY
CSIDL_SYSTEM
}
class function TGenericsUtils.GetUserIniFile(ApplicationExeName:String):String;
begin
result := ChangeFileExt(IncludeTrailingBackslash( TGenericsUtils.GetSpecialFolderPath(CSIDL_APPDATA))+ExtractFileName(ApplicationExeName), '.ini');
end;

class function TGenericsUtils.GetSpecialFolderPath(folder : integer) : string;
const
SHGFP_TYPE_CURRENT = 0;
var
path: array [0..MAX_PATH] of char;
begin
//[Current User]\My Documents
//CSIDL_PERSONAL;
//All Users\Application Data
//CSIDL_COMMON_APPDATA;
//[User Specific]\Application Data
//CSIDL_LOCAL_APPDATA;
//Program Files
//CSIDL_PROGRAM_FILES;
//All Users\Documents
//CSIDL_COMMON_DOCUMENTS;

if SUCCEEDED(SHGetFolderPath(0,folder,0,SHGFP_TYPE_CURRENT,@path[0])) then
Result := path
else
Result := '';
end;

Aquí el método GetUserIniFile me retornara el nombre del ini de mi aplicación, ademas del nombre del archivo esta la ruta completa a el, ruta solicitada al sistema operativo por medio del método GetSpecialFolderPath.

fn := TGenericsUtils.GetUserIniFile(Application.ExeName);
if not FileExists(fn) then begin
//Si no existe genero un ini basico.....
TGenericsUtils.ExtractResource('ARCHIVOINI', fn);
end;

El código anterior pregunta por la existencia del ini, en caso de no existir llama a una método "ExtractResource" que extrae un recurso del ejecutable, un recurso llamada "ARCHIVOINI" porque yo previamente embebí un ini de arranque en el ejecutable, tema que veremos mas adelante, para no tener que tomarme el trabajo de crear todas las secciones y claves que en un archivo ini grande puede exigir varias lineas de código.
Aquí el código de "ExtractResource":

class procedure TGenericsUtils.ExtractResource(ResName: String; Filename: String);
var
ResStream: TResourceStream;
begin
ResStream:= TResourceStream.Create(HInstance, ResName, RT_RCDATA);
try
ResStream.Position:= 0;
ResStream.SaveToFile(Filename);
finally
ResStream.Free;
end;
end;

Ademas esto me sirve para cuando tenga que embeber una dll y otro elemento que no puedo generar por código.
¿Como meto recursos en el ejecutable?
El delphi XE es muy sencillo, seleccione el item del menu como indica la figura

Luego añada los recursos colocando le tipo correspondiente y un nombre que luego sera usado para pedirle al método ExtractResource que realice la extracción deseada

En la próxima entrada extendemos la solución a modulos, dll, bpls etc

DBExpress - Many to Many (Relaciones muchos a muchos) Parte 2

2011-08-03T16:47:00.001-03:00

En la ultima entrada vimos como trabajar relaciones muchos a muchos con dbexpress. Analizamos como relacionar los datasets y demás componentes de tal forma que casi sin escribir código logramos que moviéndome sobre un registro me muestre los elementos incluidos en el y los disponibles a ser incluidos. Hasta acá funciono todo sin problemas, ahora llega el momento de meter elementos dentro de los asignados, es decir, tomar elementos disponibles y meterlos en el lote de asignados para dejar luego que dbexpress se encargue de los inserts/deletes relacionados. Usamos un ejemplo de usuarios-permisos por ser sencillo y descriptivo y armamos un form con una grilla superior que muestra los usuarios y dos grillas inferiores mostrando permisos asignados y disponibles.

Pongamos ahora dos botones para que se puedan enviar los permisos de disponibles a asignados y viceversa.

Hagamos luego también una primera aproximación a la solución en términos de código

procedure TFrmUsuario.btnAsignarClick(Sender: TObject);

begin

cdsPermisosAsignados.Insert;

cdsPermisosAsignadosIdPermiso.Value := cdsPermisosDisponiblesIdPermiso.Value;

cdsPermisosAsignados.Post;

cdsPermisosDisponibles.Delete;

end;

procedure TFrmUsuario.Button1Click(Sender: TObject);

begin

cdsUsuario.ApplyUpdates(-1);

end;

procedure TFrmUsuario.Button2Click(Sender: TObject);

begin

cdsUsuario.CancelUpdates;

end;

Esto funciona y funciona bien si hablamos solo de asignación de permisos.

Asigna correctamente los permisos y se encarga de actualizar la nueva realidad en la tabla de relación, pero solo funciona correcta y completamente hacia un lado, si intentara la inversa, quitar un permiso asignado tendría el problema de que no tengo el campo nombre para llenar el clientDataSet del los permisos disponibles. Algunas modificaciones en el dataset que provee los datos podrían ayudar.

Lo que originalmente fue:

select *

from UsuarioPermiso

Where Login=:Login

Ahora es:

select UsuarioPermiso.*, Permiso.Nombre

from UsuarioPermiso inner join Permiso

On UsuarioPermiso.IdPermiso=Permiso.IdPermiso

Where Login=:Login

Muy importante ver que el campo Nombre no pertenece a la tabla relación y por tanto no debe ser parte de los inserts y delete, mediante los providerflags de este campo desactivar su participacion en pfInUpdate y en pfInWhere, (En ClientDataSet y DataSet), es un campo invitado en la consulta simplemente para mejorar aspectos de interfaz de usuario.

Ahora la interfaz muestra el nombre de los permisos

Finalmente el código quedaría así:

procedure TFrmUsuario.btnAsignarClick(Sender: TObject);

begin

cdsPermisosAsignados.Insert;

cdsPermisosAsignadosIdPermiso.Value := cdsPermisosDisponiblesIdPermiso.Value;

cdsPermisosAsignadosNombre.Value := cdsPermisosDisponiblesNombre.Value;

cdsPermisosAsignados.Post;

cdsPermisosDisponibles.Delete;

end;

procedure TFrmUsuario.btnDesasignarClick(Sender: TObject);

begin

cdsPermisosDisponibles.Insert;

cdsPermisosDisponiblesIdPermiso.Value := cdsPermisosAsignadosIdPermiso.Value;

cdsPermisosDisponiblesNombre.Value := cdsPermisosAsignadosNombre.Value;

cdsPermisosDisponibles.Post;

cdsPermisosAsignados.Delete;

end;

procedure TFrmUsuario.Button1Click(Sender: TObject);

begin

cdsPermisosDisponibles.CancelUpdates;

cdsUsuario.ApplyUpdates(-1);

cdsUsuario.Refresh;

end;

procedure TFrmUsuario.Button2Click(Sender: TObject);

begin

cdsUsuario.CancelUpdates;

end;

procedure TFrmUsuario.cdsUsuarioBeforeScroll(DataSet: TDataSet);

begin

if cdsUsuario.ChangeCount>0 then begin

ShowMessage('Hay cambios pendientes en el registro actual, los perdera');

cdsUsuario.CancelUpdates;

cdsUsuario.Refresh;

end;

Observe que antes de aplicar los cambios cancelo los cambios referentes los registros disponibles, los mismos son resultado del calculo de la consulta sobre lo que esta en la base y no deben tener injerencia sobre la misma. Observe también que esta consulta debe actualizarse constantemente, si aplique un cambio a la base necesito actualizar esto, si me intentan cambiar de registro en usuario y no guardaron los cambios debe preguntar que se debe hacer y guardo y refresco o cancelo todo.

El objetivo de la entrada es entender la forma el concepto principal, el lector luego puede mejorarlo, incluso se pueden activar/desactivar los botones de asignación y desasignación segun disponibilidad, ese tipo de detalles no serán contemplados aquí.

DBExpress - Many to Many (Relaciones muchos a muchos) Parte 1

2011-07-20T10:31:00.000-03:00

Así como en la entrada http://pablosoligo.blogspot.com/2011/07/dbexpressmaster-detail.html se presento el tema de las relaciones master-details aparece ahora el interrogante de si podemos tambien manejar las relaciones muchos a muchos de una manera similar.
Yo digo que si, lo he probado, podemos manejar casi de manera completamente automática las relaciones muchos a muchos, lo único que haremos es ayudarnos con comandos sql para producir el resultado esperado.
Para empezar pensemos una situación de relación muchos a muchos, propongo la siguiente, didáctica y bien sencilla

Creo se sobreentiende un usuario tiene muchos permisos y un permiso puede estar en muchos usuarios.

Para plantear esto como un maestro detalle o mejor dicho como un maestro y doble detalle pongamos a cada elemento en su posición

Usuario->Maestro

Permisos asignados->Detalle 1

Permisos no asignados->Detalle 2

¿Como quedan las consultas?

sqlUsuario

select *

from Usuario

sqlPermisosAsignados

select *

from UsuarioPermiso

Where Login=:Login

sqlPermisosDisponibles

select *

from Permiso as p

Where p.IdPermiso not in

(Select IdPermiso

from UsuarioPermiso as up

Where up.Login=:Login)

Bueno ahí esta la primera aproximación, luego veremos si es suficiente o tenemos que mejorar algún aspecto,

sqlUsuario no merece explicación, sqlPermisoAsignados casi que tampoco, son los permisos que le usuario ya tiene asignado y podemos considerarlo como un detalle del usuario, sqlPermisosDisponibles son todos los permisos que no tiene el usuario tema resuelto con un "Not In" el lector puede usar un Exists si prefiere y también lo podemos considerar un detalle del usuario, de hecho como esta planteado el único parámetros de las consultas a las que consideramos detalle es el login del usuario, dato presente en el maestro, condición necesaria y suficiente para armar nuestros master-details en DBExpress

Así quedaría la cosa, recordar enlazar los dataset detalle por su propiedad DataSource al DataSource llamado en este caso "datUsuario"

Llegado este punto terminamos con el servidor, llega la hora del cliente.

Siguiente lo mostrado en la entrada http://pablosoligo.blogspot.com/2011/07/dbexpressmaster-detail.html la cosa quedaría así, tanto los permisos disponibles como los permisos asignados son detalles del usuario

Relaciono las grillas los datasources etc, pongo algunos datos y abro solo el clientedataset maestro al abrir la ventana

procedure TFrmUsuario.FormCreate(Sender: TObject);

begin

cdsUsuario.Open;

end;

y lo pruebo a ver que tal funciona.

Perfecto, me muevo entre usuarios y sus permisos disponibles y asignados se actualizan automáticamente.

Claro, la critica acá puede ser de que debo mostrar las descripciones de los permisos en permisos asignados, es un tema que dejamos para mas adelante ya que no hace a la diferencia en cuanto a programación, lo importante es entender la idea. Con esto tenemos el 70% del problema resuelto y solo escribimos una linea de código.

En la próxima entrada vemos la actualización de los permisos con este mismo esquema.

Master-Details y Autoincrementales

2011-07-14T20:34:00.001-03:00

Ahora si, este tema no puedo decir que no esta documentado, he encontrado tutoriales y papers que describen el problema, eso si, siempre en Ingles y tampoco son tantos los lugares donde uno pueda encontrar una solución a este asunto.
Como vimos en la entrada

http://pablosoligo.blogspot.com/2011/07/dbexpressmaster-detail.html

DBExpress maneja muy bien la idea de maestro detalle, lo maneja como un elemento único simplificando el desarrollo, es mas, solo se encarga de llenar el campo de relación en el detalle y lo llena correctamente con el identificado del maestro.

Rapidamente aparece un problema con los autoincrementales, el valor clave del maestro lo pone la base, cuando dbexpress intenta insertar los registros detalles no sabe la clave del maestro, de hecho el problema aparece antes ¿Que clave lleva el detalle en el ClientDataSet cuando siquiera se la clave que va a tener el maestro?

Primero ataquemos el problema que acabamos de mencionar, voy a cambiar la base de datos de ejemplo vista en las entradas anteriores para indicar que ahora el idPedido es autoincremental, en una oracle sera colocar un trigger, en Interbase un generator o como sea según motor, la idea es que el valor lo pone la base y no yo.

Como ven, el clientDataSet(Maestro) tiene un evento que se ejecuta cuando hay un nuevo registro, tomemos esto para colocar un IdPedido temporal o comodín si así lo quieren llamar. Luego los detalles se generaran con este IdPedido comodín.

procedure TFrmPedido.cdsPedidoNewRecord(DataSet: TDataSet);

begin

DataSet.FieldByName('IdPedido').Value := -1;

end;

Esto es una simplificación, si yo intentara ingresar mas registros maestros fallaría porque crearía dos registros con IdPedido=-1, solución y truco para esto.

procedure TFrmPedido.cdsPedidoNewRecord(DataSet: TDataSet);
begin
DataSet.FieldByName('IdPedido').Value := DataSet.FieldByName('IdPedido').Tag - 1;
DataSet.FieldByName('IdPedido').Tag := DataSet.FieldByName('IdPedido').Value;
end;

Ayudándonos con la propiedad tag y sin declarar mas variables hacemos que nuestro IdPedido comodín se incremente hacia el negativo. Vamos a usar es breve este valor comodín.

Ahora el siguiente problema, si el valor lo IdPedido lo pone la base, entonces no lo pongo yo.

¿Como le digo a DBExpress insertame todos los campos menos este que lo hace la base de datos?

La respuesta es simple, del lado servidor (Suponiendo trabajo con DataSnap) buscamos el DataSet, seleccionamos en campo y en providerflags ponemos el pfInUpdate en false, con esto cuando se genere el insert DBExpress dejara fuera a este campo. La figura muestra como hacerlo.

En esta entrada http://pablosoligo.blogspot.com/2011/07/logica-del-negocio.html se demuestra que puedo tener injerencia en los datos justo antes de ser insertados efectivamente, ¿Como usar esto a mi favor y poner en orden el tema de las claves en este maestro-detalle?

El SqlServer se encargara de poner el valor de IdPedido al maestro, es mi responsabilidad ponerlos en el detalle. Como vimos en la entrada anterior puedo meterme justo antes de que se inserte el registro e interferir en la operación, veamos como:

procedure TSMPedido.dspPedidoBeforeUpdateRecord(Sender: TObject;

SourceDS: TDataSet; DeltaDS: TCustomClientDataSet; UpdateKind: TUpdateKind;

var Applied: Boolean);

begin

inherited;

if (UpdateKind=ukInsert) and (SourceDS=sqlPedido) then begin

DeltaDs.FieldByName('FechaHora').NewValue := Now();

end;

if (UpdateKind=ukInsert) and (SourceDS=sqlItemPedido) and (DeltaDS.FieldByName('IdPedido').NewValue<0) then begin

sqlTableIdentity.Close;

sqlTableIdentity.ParamByName('TableName').Value := 'Pedido';

sqlTableIdentity.Open;

DeltaDS.FieldByName('IdPedido').NewValue := sqlTableIdentity.FieldByName('Identidad').Value;

end;

sqlTablaIdenty es un TSqlDataSet con el siguiente CommandText

SELECT IDENT_CURRENT(:TableName) as Identidad

En sqlServer retorna la identidad para una tabla en una conexión determinada, el lector sabrá como hacerlo en su motor de base de datos favorito, si utilizo un esquema de herencia para la creacion de servermodules mucho mejor porque puede poner este sqldataset en el servermodule padre y tenerlo listo en cualquier server module donde lo necesite usar.

Por lo demas lo que se hace es preguntar si es una inserción, si el dataset origen es el del detalle y si el valor de idPedido del detalle es negativo, pensemos que me puede estar insertando un detalle mas en un pedido previamente creado que ya tiene su IdPedido correctamente generado, ahí no necesito preguntar a la base y asignarlo por la fuerza.

Lógica del negocio

2011-07-10T16:44:00.003-03:00

Es sabido, y existen tutoriales y vídeos que explican como crear métodos en datasnap y consumirlos desde una aplicación cliente, ya sea Delphi, ASP.NET, PHP etc. Existe también muchos tutoriales y vídeos que explican como utilizar la interfaz IAppServer.
Muchos nos sentimos muy tentados a utilizar intensivamente la interfaz IAppServer, principalmente por su facilidad y rapidez. En entradas anteriores dejamos pendiente el tema de los autoincrementales en relaciones maestro-detalle con DataSnap

http://pablosoligo.blogspot.com/2011/07/dbexpressmaster-detail.html

lo que voy a mostrar es por un lado la puerta de entrada es a resolver el problema mencionado, pero es mucho mas que eso.

¿Si utilizo la interfaz IAppServer como y donde genero mi lógica del negocio?

La tentación de usar esta interfaz es muy grande, pero si los componentes generar automáticamente todo, ¿Como puedo yo meter mi lógica en todo este automatismo?
Existen varios lugares pero quiero proponer el que viene acompañado de mas información para la aplicación efectiva

Como muestra la figura el TDataSetProvider tiene dos eventos que nos serán muy útiles, BeforeUpdateRecord y AfterUpdateRecord. Tomemos el primero, generemos el código del evento y veamos que podemos hacer.

procedure TSMPedido.dspPedidoBeforeUpdateRecord(Sender: TObject;
SourceDS: TDataSet; DeltaDS: TCustomClientDataSet; UpdateKind: TUpdateKind;
var Applied: Boolean);
begin
inherited;

if (UpdateKind=ukInsert) and (SourceDS=sqlPedido) then begin
DeltaDs.FieldByName('FechaHora').NewValue := Now();
end;

end;

Aunque muy simple el código de arriba nos presenta una idea de lo que podemos hacer. El evento como su nombre lo indica se ejecuta justo antes de insertar/modifica/borrar el registro.
En el ejemplo, muy simple, lo único que hacemos es preguntar si es una inserción, de ser así ponemos la fecha hora que nos de el sistema. DeltaDS contiene los registros que cambiaron, la diferencia entre los datos que salieron del servidor y los que volvieron del cliente.
Parándonos sobre un registro y un campo con OldValue, NewValue podemos acceder a esa diferencias, incluso en este caso pisamos la fecha con el valor que nos retorne el sistema. Podemos incluso liberar a la aplicación cliente de esta responsabilidad y dejar que el servidor de aplicación lo haga.

Esto que ponemos aquí es didáctico, pero ya nos da la pauta de que es posible justo antes o justo después de actualizar un registro poner nuestra lógica, modificar valores, remplazar, e incluso tocar otras tablas que estén relacionadas. A modo de ejemplo luego de insertar/modificar/borrar un ítem de un pedido debo actualizar los stocks, luego de actualizar la temperatura de algún sensor puedo generar alguna alarma etc.
Para mejor, los parámetros me dan acceso a los elementos involucrados en la operación e incluso me dejan ver si es un insert, un update o un delete.

DBExpress - Master-Detail

2011-07-04T17:00:00.001-03:00

Es posible anidar dataset en dbexpress, utilidad muy interesante para casos de tablas relacionadas tipo master-detail. Existe buena documentación sobre esto en internet y quiero usar esta entrada como introducción a las próximas donde se ve un tema menos documentado que es el de los autoincrementales en casos de maestro-detalle.

DBExpress permite anidar DataSet para tablas de tipo maestro-detalle hasta un limite cercano a los 15 o 16 dataset, quien escribe nunca supero los 5 o 6 y en este sentido nunca tuve mayores problemas.

¿Por que yo querría trabajar con dataset anidados?

Bueno las ventajas son varias, en principio manejar todos los elementos de manera única, cosa que es una realidad, si el maestro fuera una tabla de pedidos y me paro sobre un pedido particular quiero ver, borrar, editar y añadir items de ese pedido y no de otros.

Para mejor cuando actualizo quiero una actualización en un bloque transaccional, para todo lo relacionado, maestro y detalle.

¿Como genero un conjunto de dataset maestro-detalle en delphi?

Es fácil, con un poco de practica sale como pan caliente, pero obviamente hay que relacionar varias cosas de manera ordenada así que naturalmente puede aparecer alguna complicación las primeras veces.

Una imagen, mil palabras.

La imagen anterior muestra los diferentes componentes y sus conexiones, figura en el texto de la propiedad a conectar y la flecha la dirección de conexión. Las consultas en cada uno de los datasets serian las siguientes.

SqlPedido: Select * from Pedido

SqlItemPedido: Select * from ItemPedido Where IdPedido=:IdPedido

Se observa en la consulta de SqlItemPedido un parametro, IdPedido, el parametro debe tener el mismo nombre que la columna de la tabla maestra.

Añadiendo un y solo un datasetProvider conectado al dataset maestro (En este caso sqlPedido) tenemos solucionada “la parte servidora” independientemente de si es una aplicación multicapa o no. Si fuera una simple aplicación cliente/servidor entendamos que la parte servidora son las conexiones a la base de datos, los datasets y los providers, la parte cliente son los clientsdataset involucrados.

La "Parte servidora" quedaría entonces así

Ahora llega el momento de configurar la parte cliente, aca la cosa puede ser muy simple o se puede complicar un poco depende del diseño de base de datos.
Esta seria la forma del lado cliente, dos clientdatasets uno para la tabla maestra y otro para la tabla detalle, dos datasources enlazados y dos grillas, completando dos navigators por si son necesarios y un boton para efectuar el applyUpdate que llevara los cambios a la base de datos.

Muy importante, el ApplyUpdate solo debe ejecutarse sobre el clientdataset maestro, DBExpress se encargara del detalla en el orden correspondiente según sea inserción, edición o borrado.

procedure TFrmPedido.btnApplyUpdateClick(Sender: TObject);
begin
cdsPedido.ApplyUpdates(-1);
end;

Para saber si todo va bien basta con generar los campos en el clientdataset maestro como se indica abajo.

Si se observa un campo mas con el nombre del dataset detalle del lado servidor nos quedamos tranquilos, conectamos todo bien y estamos listos para dar el toque final.
Lo que nos queda por hacer ahora es hacer apuntar en el clientDataSet detalle el DataSetField al campo sqlItemPedido del clientDataSet maestro.

Con esto es suficiente para el clientDataSet detalle, todo lo va a manejar el maestro y en el detalle solo veremos los registros correspondiente al registro maestro actual. Incluso podemos ver que dbexpress genera automáticamente en el detalle el id del maestro correspondiente.
Podemos añadir, borrar, editar y el applyUpdate que usaremos es el del clientDataSet maestro que se encargara de todo.

Hilando un poco mas fino

En aplicaciones reales algunos cosas que no debemos dejar pasar.

¿Traemos todos los detalles juntos o los traemos a medida que nos vamos desplazando por el maestro?

Esto en realidad depende de la cantidad de datos, del tamaño etc, lo importante es saber donde determinar esto y yo he encontrado sumamente útil en variedad de casos retrasar el envío del detalle en el momento que se necesite
Como muestra la figura una de las opciones del datasetProvider es poFetchDetailsOnDemand, esta propiedad determina si los detalle se envían sobre demanda o todos al mismo tiempo.

Ahora sabemos crear master-detail condición necesaria para encarar un problema un poco mas dificil y menos documentado de como combinar esto con los autoincrementales que tanto nos gustan, incluso si no fueran autoincrementales es muy probable que el IdPedido sea responsabilidad de la base de datos y no nuestra.
La manera de resolver esto y otros temas quedan para próximas entradas.

¿Y cuanto duran tus transacciones?

2011-06-20T12:26:00.004-03:00

Mientras miraba de reojo un servidor de aplicación funcionando observo el mensaje "Begin transaction module bla bla..", le presto un poco de atención y me pongo en espera del "Commit transaction.....". (Este servidor de aplicación va logueando en pantalla algunas de las tareas que va realizando).
Sucede entonces que los segundos pasan y nada....y pasan y nada, y de repente "Commit transaction". ¿Que paso acá? La base de datos no esta sobrecargada, yo la monitoreo, ¿Como puede tardar tanto una transacción ? Nos han enseñado una y otra vez que las transacciones deben ser cortas, tan cortas como sea posible. Cuando profundizo en el tema veo con horror los siguiente, esta transacción abarca entre 6 y 10 tablas y ante una situación anormal (Bastante improbable por suerte) la aplicación comienza a preguntar al usuario si quiere resolverlo de tal o cual manera, y mientras tanto la transacción abierta. Problema encontrado, problema solucionado y ahora acá viene el tema ¿Esta esto pasando en varios lugares o fue esta la única "patinada" de toda la aplicación? ¿Como saberlo?

En la entrada
http://pablosoligo.blogspot.com/2011/06/dbexpress-trace.html
se explico como llevar a una tabla de log las operaciones que realiza DBExpress con la base de datos, entre esas operaciones están los begin transaction/commit/rollback entre otras muchas cosas. ¿Y si sacamos la diferencia de tiempo entre un begin transaction y su correspondiente commit/rollback? podriamos ver si hay irregularidades, incluso podemos ordenar la cosa y saber cuales son las que mas demoran.
Desgraciadamente quien les escribe no sabe ni investigo como pedirle al DBExpress o al sqlserver el numero de transaction si es que existiera, tampoco tenemos en la tabla un campo que una un begin transaction con su commit/rollback, por tanto tendremos que usar las neuronas un poco mas.
La siguiente consulta es la base sql que podría resolver el misterio,

select DateDiff(millisecond, s1.FechaHora, s2.FechaHora) as 'Demora', *
from SqlLog as s1 inner join SqlLog as s2
On s1.Module=s2.Module and s1.Login=s2.Login
Where (s1.Message like 'OLEDB - StartTransaction') and
(s2.Message like 'OLEDB - Abort' or s2.Message like 'OLEDB - Commit')and
(s2.IdSqlLog>s1.IdSqlLog) and
(s2.IdSqlLog<(
Select top 1 IdSqlLog
from SqlLog as i
Where i.Login=s1.Login and
i.Module=s1.Module and
i.IdSqlLog>s1.IdSqlLog and
i.Message like 'OLEDB - StartTransaction'
Order by i.IdSqlLog))

Traducido lo que hace es un join de la tabla de log con sigo misma juntando por Module y login, esto es porque es una aplicación multicapa, en una aplicación Cliente/Servidor una campo hostname en la tabla de log soluciona el problema del join.
Hecho el join busca un begin transaction y para ese busca o un commit o un rollback cuidando de que el idLog sea mayor y que no exista ningún otro begin transaction en el medio (Begin transaction del mismo Login/Module o hostname según corresponda).
Mañana estaré probando esto en un entorno de producción, con datos reales
WARNING
No hace falta pedir el plan de consulta para ver que esta consulta es explosiva especialmente en una tabla que crece sin descanso y que se puede volver gigante en un par de días

Así que mucho cuidado, ejecutarla sobre un set de datos pequeño o en un servidor de testing.