Lunar Designer

Как подружить Python 3 и Firebird а результат их дружбы выгрузить в таблицу.

2012-02-12T03:03:00.005+04:00

Оказывается драйвер для взаимодействия с FireBird (KInterbasDB) доступен только для Python 2.x, так что будем использовать ODBC. Для этого качаем:

Python for Windows Extensions – Python расширение для работы с COM, сервисами, буфером обмена и т.д.
Firebird ODBC Driver

Результат работы скрипта будем писать в csv-файл с помощью csv-модуля.

Затем создаем файл конфигурации conf.ini

[base]
base=127.0.0.1:D:\BASE\BASE.FDB
user=SYSDBA
password=masterkey

Затем создаем сам скрипт, с таким содержанием:

import configparser

import os

import sys

import odbc

import csv

# --- читаем настройки ---

ini_file = os.path.dirname(sys.argv[0]);

if ini_file[-1] != os.sep:

    ini_file = ini_file + os.sep

ini_file = ini_file + 'conf.ini'

print('Файл кофигурации: ' + ini_file)

if not os.path.exists(ini_file):

    print('!!! Файл конфигурации не найден.')

    sys.exit(0)

try:

    config = configparser.ConfigParser()

    config.read(ini_file)

    if not config.has_section('base'):

        print('В ini файле не обнаружена секция "Base"')

        sys.exit(0)

    pBase = {}

    list_key = config.options('base')

    for key in list_key:

        pBase[key] =config.get('base',key)

except Exception as info:

    print('!!! Ошибка чтения настроек: ' + str(info))

    sys.exit(0)

# --- работаем с базой ---

str_connect = "Driver=Firebird/InterBase(r) driver;UID=%s;PWD=%s;DBNAME=%s;" % (pBase['user'],pBase['password'],pBase['base']);

print(str_connect)

db = odbc.odbc(str_connect)

cursor = db.cursor()

cursor.execute("select * from AVTO_IN_TMP")

result = cursor.fetchall()

# ---- writing results ----

with open('some.csv', 'w+', encoding='cp1251', newline='') as f:

    writer=csv.writer(f, dialect=csv.excel)

    writer.writerows(result)

    f.close()

db.close()

Всё оказывается очень просто;)
Идея http://borisnote.wordpress.com/2010/04/26/pythonodbcfirebird/

Трёп

2011-12-18T13:20:00.002+04:00

Что ж когда работа отнимает все время это не гуд))

А вообще заметил что MS не использует MFC в Office, собственно как и в большей части стандартных приложений виндовс за исключением WordPad, там используется MFC 4.2 (времен моего дедушки). При этом рассматривал 2к3, 2к7, 2к10.
Из этого следует, что не стоит, не имея большого желания, использовать MFC в своих проектах.

UPD: потыкал MS VS 2011 developer preview, что-то сыроват еще или у меня так глючил, но работать не возможно!

О расцвечивании исходников

2011-06-17T11:30:00.002+04:00

Выложил вчера исходники и понял - чего-то не хватает, а не хватает подсветки кода! Решать проблему буду с помощью полюбившегося "Питона".

Продолжение следует...

Update on 29-09-11
Жаль не было времени писать((
Правда полностью отпала идея писать highlighter, так что решил пользоваться http://quickhighlighter.com/, но у него нет поддержки кириллических символов, так что иногда использую http://highlight.hohli.com/.

Бот для админа

2011-06-16T11:17:00.002+04:00

С наступлением лета пришла пора выездов на природу, дачу, отдых и т.д.
Встала проблемам как же управлять сервером или другим удаленным компьютером находясь в отрыве от цивилизации ;)
Для решения этой проблемы я решил создать Jabber-бота на прекрасном языке Python. Для упрощения написания использую библиотеку XMPPPY В процессе понял, что хочется добавить еще некоторый функционал, в следствии чего реализовал систему плагинов для легкой расширяемости ;)
Самая интересная часть - реализация поддержки плагинов

def loadPlugins():

import os

commands = []

public_commands = []

for fname in os.listdir('plugins/'):

  if fname.endswith('.py'):

plugin_name = fname[:-3]

  if plugin_name != '__init__':

plugins = __import__('plugins.'+plugin_name)

plugin = getattr(plugins,plugin_name)

  if plugin.init():

commands.append(plugin_name)

  else:

public_commands.append(plugin_name)

return 'plugins':plugins,'commands':commands,'public_commands':public_commands}

Для примера приведу реализацию плагина-переводчика.

import urllib

import json

import string, re

import xmpp

def init():

return 0

def run(bot,mess):

text = mess.getBody()

user = mess.getFrom()

langpair = 'en|ru' #PEREDELAT

if text:

lines = text.splitlines()

regexp = re.compile('^\w{2}\|\w{2}$', re.IGNORECASE)

if regexp.match(lines[0]):

langpair = lines[0]

del lines[0]

return

text = string.join(lines)

reply = translate(text, langpair)

bot.send(xmpp.Message(mess.getFrom(),reply))

def translate(text, langpair):

query = urllib.urlencode({'q' : text.encode("utf-8"), 'langpair' : langpair})

url = u'http://ajax.googleapis.com/ajax/services/language/translate?v=1.0&%s'.encode("utf-8") % (query)

result = urllib.urlopen(url)

response = json.loads(result.read())

if response['responseStatus'] != 200:

mess = response['responseDetails']

else:

mess = response['responseData']['translatedText']

return mess

Остальные плагины не столь интересны. Реализация бота довольно стандартна, так что примеры без труда можно найти с помощью Великого и Ужасного.

Options compilations for optimizations for VC 10

2011-06-08T11:17:00.001+04:00

/arch - enable SSE and SSE2
/GL - include optimization of the entire program
/O1 - Reduces code size.
/O2 - Creates fast code.
/Og - Uses a global optimization.
/Os - Gives priority to reduce code size.
/Ox - Uses maximum optimization (for speed)
Задание параметра компилятора /Ox дает тот же результат, что и использование следующих параметров.
Параметр /Ob (расширение встроенных функций), где параметр варианта равен 2 (/Ob2)
/Og (Виды глобальной оптимизации)
/Oi (создание встроенных функций)
/Ot (приоритет скорости выполнения кода)
/Oy (подавление указателей фрейма)
Параметр /Ox несовместим со следующими параметрами:
/O1 (минимизировать размер)
/O2 (максимизировать скорость)
/Od (Выключение (отладчика))
Параметр компилятора /Ox также включает оптимизацию именованных возвращаемых значений, после чего для стековых возвращаемых значений не используются конструкторы копирования и деструкторы. Дополнительные сведения см. в разделе /O1, /O2 (минимизировать размер, максимизировать скорость).
Можно отменить параметр компилятора /Ox, если задать параметр /Oxs, который сочетает параметр компилятора
/Ox с /Os (приоритет небольшому размеру кода). Объединенные параметры отдают приоритет меньшему размеру
кода.Как правило, следует задавать параметр /O2 (максимизировать скорость) вместо /Ox и /O1
(минимизировать размер) вместо /Oxs.

Программирование без RTL
По умолчанию си-программы собираются вместе с библиотекой времени исполнения (она же RTL), которая занимает много
килобайт и обеспечивает работу функций типа spritnf. Но ведь Windows NT уже включает в себя RTL, реализованную в NTDLL.
DLL, так зачем же нам еще одна?чтобы собрать программу без RTL, достаточно назвать главную
функцию не main, а как-нибудь иначе, например _start. умные линкеры сами поймут, что это — точка входа. глупым (к которым,
в частности, относится MS LINKER) потребуется указать точку входа явно:

cl.exe /c file_name.c /Ox
link.exe file_name.obj /ENTRY:start /SUBSYSTEM:WINDOWS USER32.lib

Сравнивая размеры программы с RTL и без нее, мы практически не обнаружим разницы в размерах, поскольку минимальная кратность выравнивания в 9x составляет 4 кб, она же используется линкером по умолчанию. В NT минимальная кратность составляет всего 16 байт, но линкер отказывается собирать такой файл, пока мы не притворимся, что
собираем драйвер:

link.exe file_name .obj /ENTRY:start USER32.lib /DRIVER /ALIGN:16

На этом примере, при компиляции MS VC 6 с RTL размер исполняемого файла составляет 24,576 кб, без RTL — 16,384 кб и, наконец, без RTL с минимальным выравниванием — 816 байт. как говорится, почувствуй разницу!

SEH & VEH in win 7

2011-06-08T11:15:00.002+04:00

Решил продолжить исследования работоспособности антиотладочных приемов на платформе Windows 7.
В своих исследованиях я как всегда буду опираться на статьи Криса Касперского, в данном случае "Трассировка — в погоне на TF или SEH на виражах" и "cкрытая установка SEH-обработчиков" из небезызвестного журнала, а так же на цикл статей Мэтта Питрека "Win32™ SEH изнутри" и "Новая векторная обработка исключений в Windows XP"

Начнем с SEH (structured exceptions handling). Начиная с висты в виндовс используется технология SafeSEH, обеспечивающая защиту от подмены SEH обработчика. Раньше указатели на обработчики структурных исключений хранились в стеке, беспрепятственно доступном на запись/чтение, то теперь они переместились в специальные секции PE-файла, доступные только на чтение и формируемые статическим образом еще на этапе сборки программы при активном участии со стороны линкера и компилятора. Поэтому при использовании установки обработчика таким образом:

mov ecx, fs:[0] ; // save old SEH handler
mov old_seh, ecx

push -1 ;
push offset main_handler ;
mov fs:[0], esp ; // set-up our SEH handler chain

Нужно указывать линкеру /SAFESEH:NO, для того чтобы он не создавал таблицу обработчиков. Конечно лучше использовать явную инициализацию обработчика:

.386
.model flat
MyHandler proto
.safeseh MyHandler
end

Теперь поговорим о VEH(vectored exception handling). SEH и VEH очень схожи. Они предоставляют аналогичные возможности и вся разница между ними в том, что вместо ручного манипулирования со списками обработчиков теперь у нас есть API-функции AddVectoredExceptionHandler/RemoveVectoredExceptionHandler, устанавливающие/удаляющие векторные обработчики из списка, указатель на который хранится в неэкспортируемой переменной _RtlpCalloutEntryList внутри NTDLL.DLL (по одному экземпляру на каждый процесс). Плюс, упростилось написание локальных/глобальных обработчиков исключений, что в случае с SEH – большая проблема. А OllyDBG2.0 все также палится по флагу трассировки, если его чтение происходит в обработчике исключений((.

"Трассировка и как её избежать" -> особенности сборки приложений компилятором VC 10.

2011-06-08T11:13:00.001+04:00

Что такое трассировка и с чем её едят Вы можете узнать и из великого_и_ужасного. Основой для моих изысканий была статья Криса Касперского "Трассировка или игры в прятки" в журнале "Хакер". Все описываемые в статье техники отслеживания трассировки прекрасно работают на Windows 7. В ходе тестирования примеры для Win 7 пришлось пересобирать, т.к. собранные для Win XP, не запускались(( Опции сборки для всех примеров одинаковы.
Первоначальные ключи компилятора: /c /Ox /Os /G6. Начнем с того что новый компилятор не поддерживает ключи /G{3|4|5|6|7|8}, поддерживаются только ключи /G{1|2} для платформы Itanium 1|2. Больше вопросов у компилятора не возникло. (Опции компиляции в итоге: /c /Ox /O.
Перейдем к линкеру. Изначальные опции линкования: /ALIGN:16 /DRIVER /FIXED /SUBSYSTEM:CONSOLE KERNEL32.LIB USER32.lib. При попытке сборки линкер наконец начал собирать драйвер, а не обыкновенный PE (см. ключ /DRIVER). Убираем это ключ. Линкер выдает "Warning LNK4108 : параметр /ALIGN указан без параметра /DRIVER; образ нельзя запустить". При этом пример собирается и нормально запускается. Вот такие чудеса;)
В ходе экспериментов замечено, что OllyDBG2.0 на PUSHFD в любом виде не ведется, что конечно не может не радовать!