Falldog的程式戰場

Python 2 / 3 Rounding 比較

noreply@blogger.com (Falldog) — Tue, 27 Aug 2019 14:55:00 +0000

由於 Python2.7 的末日愈來愈近了，因此敝公司最近升級 Python 至 3.6.8 (有一些考量因素，所以沒有升至3.7.x)。用熟悉的 Python 2.7 開發也有一段時間了，當初顧慮的 Performance, 以及 module 支援度都有顯著的改善。現在絕對是個很好的升級時機。

敝公司開發的系統，有一些是跟帳務系統相關的功能，所以金錢相關的 Database 欄位都是用 Decimal 處理，在從 Python2.7 升到 Python3 ，發現 rounding 的機制有些改變，在這邊分享一下我的小小研究心得。(測試以 3.6.8 為主，但是 3.7 以上的版本應該也適用)

====> Read More on Medium

在 AWS Lambda 上執行 Tesseract OCR

noreply@blogger.com (Falldog) — Tue, 27 Aug 2019 14:55:00 +0000

最近因為公司爬蟲需求，需要破解驗證碼，因緣際會接觸到 Tesseract ，發現是個不錯的 tool，還有 python library 可以用😍。在不做任何 Image 的 Preprocess，或是 Traing 的情況下，已經可以有五、六成的成功率(我好容易滿足啊XD)，由於爬蟲架構的需求，我們覺得 Tesseract 很適合放到 Cloud 上，當成一個 Service 執行，因此，就想在 AWS Lambda 上把它跑起來。

簡單來說，需要以下幾個流程才能把 Tesseract + pytesseract 執行起來

Lambda Function - pytesseract
Lambda Layer - Tesseract
Deploy to Lambda - by Serverless

其實之前有寫過一些簡單的 Lambda (就是單純的 Python code)。但是，一想到這個新的獨立 Service，要重新設定一次所有的東西，還要自己 build 一些 module 就覺得麻煩，所以這次用了一個新的 Tool — serverless framework ，輕輕鬆鬆搞定 AWS Lambda Deploy 的流程。

====> Read More on Medium

[Django] Query with Group_Concat (MySQL)

noreply@blogger.com (Falldog) — Tue, 20 Jun 2017 15:38:00 +0000

以下為Table Author

author_id | author_name
----------+-----------
 1        | Jack
 2        | Alex
 3        | Bob
----------+-----------

以下為Table Book

id | author_id | book_name
---+-----------+----------
 1 | 1         | Hello
 2 | 1         | World
 3 | 1         | Wolf
 4 | 2         | Sex
---+-----------+----------

MySQL

Case1 (簡單的case)

希望將Book by Author Group 起來，然後將 book_name 全部 string concat 起來後，期望得到的結果如下：
author_id=1, book_name=Hello,World,Wolf
author_id=2, book_name=Sex

在MySQL中，提供了Aggregate Function: GROUP_CONCAT() 可以輕鬆做到這個功能

SQL Command

SELECT author_id, GROUP_CONCAT(book_name)
FROM Book
GROUP BY author_id

Case2 (較複雜的case, table join)

今天假設希望知道 Author的 Name 加上所有的 book_name String Concat 的結果
author_name=Jack, book_name=Hello,World,Wolf
author_name=Alex, book_name=Sex

SQL Command

SELECT A.author_name, GROUP_CONCAT(B.book_name) AS book_name
FROM Author A
JOIN Book B ON A.author_id = B.author_id
GROUP BY B.author_id

Django

上面所提到的，都是MySQL的方法，那在Django中要如何透過Django的ORM做到這個功能呢? 就要靠Django的Aggregate class 來處理。

首先，要先繼承Aggregate，將MySQL的 Function包裝成Aggregate Wrapper
如果看 Django source code (django.db.models.aggregates.py)
可以發現常用來aggregate的 Sum, Count, Avg, Max, Min 都是用這種作法做的

from django.db.models import Aggregate, CharField

class GroupConcat(Aggregate):
    # GROUP_CONCAT(DISTINCT field_name SEPARATOR ', ')
    function = 'GROUP_CONCAT'
    template = "%(function)s(%(distinct)s %(expressions)s %(separator)s)"

    def __init__(self, expression, distinct=False, separator=', ', **extra):
        super(GroupConcat, self).__init__(
            expression,
            distinct='DISTINCT' if distinct else '',
            separator="SEPARATOR '%s'" % separator,
            output_field=CharField(),
            **extra
        )

接下來就可以用Django的ORM的乾淨語法得到我們要的結果了
GroupConcat的 separator指定為 ', ' (含空格) 可以依需求修改
其實還可以指定Order By，如果有需求的話再根據MySQL的文件修改GroupConcat的template

class Author(models.Model):
    author_id = models.AutoField(primary_key=True)
    author_name = models.CharField(max_length=32)

class Book(models.Model):
    id = models.AutoField(primary_key=True)
    author = models.ForeignKey(Author, relate_name="books")
    book_name = models.CharField(max_length=32)

query = Author.objects.annotate(book_name=GroupConcat('books__book_name'))
for author in query:
    print("author_name=%s book_name=%s" % (author.author_name, author.book_name))

Reference:

[WinDbg] Remote Kernel Debug over Network cable

noreply@blogger.com (Falldog) — Wed, 14 Jan 2015 09:59:00 +0000

WinDbg 不僅可以用來 Debug User mode 的 process，還可以用來 Debug Kernel mode 的 Windows，基本上使用的方式必須有兩台電腦，或是 VM ，因為你如果要做 local 的 Kernel Debug 的話，中斷點 hit 到的話，整台電腦應該就會 block 住，但是 local Kernel Debug 無法這麼做的。

既然要透過 remote 的方式來做 Kernel Debug，所以 Windows 提供了不少方法讓你連線到另一台電腦，包括 Serial cable (COM)、1394 cable、Network cable、USB cable …等等，其中 Serial cable & 1394 使用上的限制比較少，support 的平台也比較多，Network cable 與 USB cable 對硬體與平台的限制都不少，所以要確認你的硬體平台有支援的話，才可以透過 Network cable, USB cable 來做 debug。

這次就來介紹一下：透過 Network cable 來做 Kernel Debug，限制如下

Target computer - Windows 8.0+
Target computer - 網卡 Vendor 支援清單
Host computer - Windows XP+
Host computer - WinDbg version 要 WDK 8.1+

1. 確認 Target computer 網卡支援性

啟動裝置管理員 Device Manager (或是執行指令 devmgmt.msc)

Device Manager

找到你的網卡，點右鍵，選Property

Ethernet Properties

注意看Value：PCI\VEN_8086&DEV_155A

Vendor ID = 8086

Device ID = 155A

照著這個 Vendor ID & Device ID 到 MSDN 網頁中比對一下，如果找得到的話，恭喜你，代表這台電腦是可以做 Kernel Debug的。

圖3 (Optional)

Ethernet Properties

當你的電腦不止一張網卡的話

要注意圖中的 Location ： PCI bus 0, device 25, function 0

這個 magic number 在之後會用到

2. 開啟 Target computer 的 Debug mode

在舊 XP 的時代，開啟 Debug mode 必須透過 boot.ini，但是在 Vista 以後，可以透過 bcdedit 指令直接開啟 Debug 的功能

以 admin 的權限開啟 cmd (命令提示字元)
確認你的 host computer 的 ip(w.x.y.z) & port(n 建議50000+)
兩台電腦必須在同一個網域或是 ping 得到對方的 ip 才行

輸入以下指令

bcdedit /debug on
bcdedit /dbgsettings net hostip:w.x.y.z port:n

bcdedit 會回傳一組 Key，必須將這組 Key 傳至 host computer

如果你有超過一張網卡以上
必須再設定你連線的網卡是哪一張
指定 busparams b.d.f (參考圖3 取得 bus id, device id, function id)

bcdedit /set "{dbgsettings}" busparams b.d.f

最後可以確認一下你目前的設定是什麼

bcdedit /dbgsettings

3. Host computer 開始 debug

接上網路線
在 Host computer 開啟 WinDbg，選擇 File | Kernel Debug

輸入正確的 port 與 Key

按下確定後
Target computer 重開機應該就可以開始 debug 了

指令

Ctrl + Break (馬上中斷)
Ctrl + Alt + K (Target computer 重開機時，在 Windows initialize 後馬上中斷)
ed Kd_DEFAULT_Mask 0x8 # display default kernel log
dd Kd_DEFAULT_Mask # disable display default kernel log

Reference

[C#] Allocate structure buffer array from DLL

noreply@blogger.com (Falldog) — Tue, 13 Jan 2015 05:39:00 +0000

C# 透過 DllImport 的方式讓你可以直接使用 C/C++ DLL 的 function，C/C++ 的程式常使用 struct 來儲存 data ，C# 也提供了讓你在 C# 中 define struct layout，這個轉換方式可以在 C# 中，直接宣告一個 struct 變數，丟入 DLL 中使用。

這點跟 Python 其實滿像的，Python 有 ctypes 可以做到類似的行為。script 中的 memory 跟 C/C++ 的 memory 無法互通，都必須透過轉換的方式讓 interpreter 可以順利看得懂 memory buffer。

C# 單一個 struct buffer 使用上都沒什麼問題，但是當你試著想要從 DLL 中撈回一串 struct array buffer時，就無法用直覺的方法完成這件事。因為 C# 在 DllImport 時的參數傳遞動了點手腳，所以如果直接將 C# 的 struct array 加 ref 傳至 DLL 可能會導致 crash 的產生。

1. 測試 C# dump struct buffer

測試一下 C# 在傳遞 struct buffer 的行為，將傳入的 struct address print 出來看看
printf() 可以替換為 OutputDebugString() 至 DbgView 中看結果會比較方便

TestDLL.cpp

#define DLL_API __declspec(dllexport)

typedef struct _Data
{
 bool bData;
 int nData;
 char strData[256];
} Data;

#ifdef __cplusplus
extern "C" {
#endif
 DLL_API bool Test_DumpAddress(Data* p)
 {
  printf("Test_DumpAddress() address=0x%p\n", p);
  return true;
 }

 DLL_API bool Test_DumpData(Data* d)
 {
  printf("Test_DumpData() address=0x%p bool=%d, int=%d, str=%s\n", d, d->bData, d->nData, d->strData);
  return true;
 }
#ifdef __cplusplus
}
#endif

TestDLL.cs

class Program
{
    [StructLayout(LayoutKind.Sequential, CharSet = CharSet.Ansi)]
    public struct Data
    {
        public bool bData;
        public int nData;
        [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 256)] public string strData;
    }

    [DllImport("TestDLL.dll", CharSet = CharSet.Ansi, CallingConvention = CallingConvention.Cdecl)]
    public static extern void Test_DumpAddress(ref Data p);

    [DllImport("TestDLL.dll", CharSet = CharSet.Ansi, CallingConvention = CallingConvention.Cdecl)]
    public static extern bool Test_DumpData(ref Data d);

    static void Main(string[] args)
    {
        // testing for dump single struct buffer
        Data sd = new Data();
        sd.bData = false;
        sd.nData = 99;
        sd.strData = "Falldog";
        Test_DumpData(ref sd);
        Test_DumpAddress(ref sd);

        // testing for dump struct buffer array
        Data[] sd_array = new Data[5];
        for (int i = 0; i < 5; i++ )
        {
            sd_array[i].bData = false;
            sd_array[i].nData = 100+i;
            sd_array[i].strData = "Falldog";
            Test_DumpData(ref sd_array[i]);
        }

        Console.ReadLine();  // enter to end the process
    }
}

Result :

[4660] Test_DumpData() address=0x0035EB74 bool=0, int=99, str=Falldog
[4660] Test_DumpAddress() address=0x0035EB74
[4660] Test_DumpData() address=0x0035EB74 bool=0, int=100, str=Falldog
[4660] Test_DumpData() address=0x0035EB74 bool=0, int=101, str=Falldog
[4660] Test_DumpData() address=0x0035EB74 bool=0, int=102, str=Falldog
[4660] Test_DumpData() address=0x0035EB74 bool=0, int=103, str=Falldog
[4660] Test_DumpData() address=0x0035EB74 bool=0, int=104, str=Falldog

明顯看到 address 都是一樣的！在 C# 中明明是不一樣的變數，在傳入 DLL 後，address 都變一樣了，應該就是 C# 中間會產生一個 temp 的 buffer 來做轉換。

2. 將 DLL allocate 的 buffer load 至 C# 的 struct memory 中

以下為 C# 透過 DLL allocate 一塊 buffer，讓 DLL 填完後，在 C# 轉換為 C# 看得懂的 struct array buffer，所以傳下去的 buffer pointer type 為 IntPtr ，取出來後再用 Marshal.PtrToStructure() 將 buffer 轉為 struct buffer，最後記得要將 DLL allocate 出來的 buffer free 掉，否則會 memory leak。

TestDLL.cpp

#define DLL_API __declspec(dllexport)

typedef struct _Data
{
 bool bData;
 int nData;
 char strData[256];
} Data;

#ifdef __cplusplus
extern "C" {
#endif
 DLL_API void Test_AllocData(int count, Data*& res)
 {
  res = new Data[count];
  for(int i=0 ; i<count ; i++){
   res[i].bData = true;
   res[i].nData = 500 + i;
   sprintf_s(res[i].strData, "Test_AllocData(%d)", i);
  }
 }

 DLL_API void Test_FreeData(Data* d)
 {
  if(d)
   delete [] d;
 }

#ifdef __cplusplus
}
#endif

TestDLL.cs

class Program
{
    [StructLayout(LayoutKind.Sequential, CharSet = CharSet.Ansi)]
    public struct Data
    {
        public bool bData;
        public int nData;
        [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 256)] public string strData;
    }

    [DllImport("TestDLL.dll", CharSet = CharSet.Ansi, CallingConvention = CallingConvention.Cdecl)]
    public static extern void Test_AllocData(int size, ref IntPtr ptr);

    [DllImport("TestDLL.dll", CharSet = CharSet.Ansi, CallingConvention = CallingConvention.Cdecl)]
    public static extern void Test_FreeData(IntPtr ptr);

    static void Main(string[] args)
    {
        // testing for retrive struct array buffer from DLL
        IntPtr binary = new IntPtr();
        {
            Data[] ad = new Data[3];
            Test_AllocData(3, ref binary);
            ad[0] = (Data)Marshal.PtrToStructure(binary + Marshal.SizeOf(typeof(Data)) * 0, typeof(Data));
            ad[1] = (Data)Marshal.PtrToStructure(binary + Marshal.SizeOf(typeof(Data)) * 1, typeof(Data));
            ad[2] = (Data)Marshal.PtrToStructure(binary + Marshal.SizeOf(typeof(Data)) * 2, typeof(Data));
            Test_FreeData(binary);

            for (int i = 0; i < 3; i++)
            {
                Console.WriteLine(string.Format("@AllocData from DLL i={0} n={1} str={2}", i, ad[i].nData, ad[i].strData));
            }
        }
        Console.ReadLine();  // enter to end the process
    }
}

C# 的 DLL import 還有不少有趣的東西，只是因為接觸不多，沒時間好好來研究

Reference

[Ubuntu] Git difftool - Meld

noreply@blogger.com (Falldog) — Wed, 03 Sep 2014 12:41:00 +0000

Meld 是個跨平台的 GUI diff & merge tool，重點是，還是免費的呢！

以下簡介一下在 Ubuntu 上如何安裝設定 Meld

安裝

sudo apt-get update
sudo apt-get install meld

設定 git default diff tool 為 meld

git config --global diff.tool meld
git config --global --add difftool.prompt false

使用範例

cd <git repo dir>
git difftool           // display file diff one by one
git difftool file_path // display one file diff

Reference

Meld - official site

[Java] 透過SWIG 從JNI (C/C++) callback 回 Java

noreply@blogger.com (Falldog) — Fri, 27 Dec 2013 10:46:00 +0000

最近寫 Android，一般 Java 層可以透過 JNI 呼叫 C/C++ 撰寫的 .so 檔，但是要從 C/C++ 呼叫回 Java 層呢!? 一般需要 JNIEnv 這個特殊的變數，才可以透過它來呼叫到 Java Library。

不過今天這邊要介紹的是另外一個方法 - 透過 SWIG 的 directors 的 feature
SWIG 可以將 C++ 的 class 包裝成一個 Java layer 的 class ，而 Java layer 可以去繼承 Java wrap C++ 的 class，然後 override 它的 virtual function 後，C/C++ layer 呼叫到這個 virtual function 時，就會被轉 call 到 Java layer了。

以下是簡單的 sample code

MyLib.h
在 Callback function 前加上 virtual

#ifndef __MY_LIB_H
#define __MY_LIB_H
class Base
{
public:
     Base(){}
     virtual ~Base(){}
     void CallIn(int num1, int num2);
     virtual void Callback(int num1, int num2); //setting in virtual for override
};
#endif

MyLib.cpp

#include "MyLib.h"
#include <android/log.h>
void Base::CallIn(int num1, int num2)
{
    Callback(num1+1, num2+1); // add the number 
}
void Base::Callback(int num1, int num2)
{
    // If override this function in Java layer, you will not see the log
    __android_log_print(ANDROID_LOG_DEBUG, 
                        "MyLib", 
                        "Base::Callback() num1=%d, num2=%d", num1, num2);
}

MyLib.i
在 .i 檔中，加上 %feature("director") 後面加上想處理的 class name
這樣 SWIG 就會自動處理 class name 底下所有的 virtual function
若不指定的話，SWIG 會處理所有的 class 的 virtual function
也可以加上 %feature("nodirector") Foo::Bar; 將 disable 指定的 virtual function

%module(directors="1") MyLib
%{
  #include "MyLib.h"
%}

%feature("director") Base;
%include "MyLib.h"

%pragma(java) jniclasscode=%{
    static {
        try {
            java.lang.System.loadLibrary("MyLib");
        } catch (UnsatisfiedLinkError e) {
            java.lang.System.err.println("JNI error: " + e);
            java.lang.System.exit(1);
        }
    }
%}

Android.mk
務必要加上-fexceptions -frtti，這樣 SWIG 才有能力處理 class override

LOCAL_PATH := $(call my-dir)

include $(CLEAR_VARS)
LOCAL_MODULE    := MyLib
LOCAL_SRC_FILES := MyLib_wrap.cpp MyLib.cpp
LOCAL_LDLIBS := -llog
LOCAL_CFLAGS := -fexceptions -frtti #for SWIG director feature
include $(BUILD_SHARED_LIBRARY)

MainActivity.java

import com.yourapp.Base
//... other import

public class MainActivity extends Activity
{
    class JDerived extends Base
    {
        @Override
        public void Callback(int num1, int num2)
        {
            String msg = String.format(
                             "Derived::Callback() num1=%d, num2=%d",
                             num1, num2 );
            System.out.println(msg);
        }
    }
    
    @Override
    public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.main);
 
        JDerived d = new JDerived();
        d.CallIn(1,2);
    }
}

最後輸出的 output 結果就是

>>> Derived::Callback() num1=2, num2=3

最後，由於 SWIG 在處理 virtual function 時，需要多 wrapper 好幾層的 function，因而增加了一些 function call 的 overhead，所以盡量指定想被 override 的 virtual function 即可。

[emomeDDSMS] 下載emome上的備份簡訊更新0.74

noreply@blogger.com (Falldog) — Fri, 20 Dec 2013 02:46:00 +0000

emome更新

好久沒更新了，最近要備份才發現網頁更新了 XD，就順手改了一下

還得要抓到舊版的 Firefox 3.6 才行，還好 chickenfoot 的連結還在...
下載連結(按右鍵另存新檔)：emomeDDSMS 0.74 (2013/12/20)

使用說明，請參考前一篇文章。

[JNI] 在C/C++中透過 SWIG 取得 JNIEnv or JavaVM

noreply@blogger.com (Falldog) — Wed, 11 Dec 2013 06:44:00 +0000

在 C/C++ layer 裡，想要 call Java layer 的 function 的話，適必需要 JNIEnv or JavaVM 這兩個 instance pointer，而透過 SWIG 包裝起來的 C/C++ layer 是不能直接接觸到 JNI layer，必須要一些手法才行。

在 .i 檔，偷埋一些 function

MyNDK.i

%module MyNDK
%{
    #include "MyNDK.h"
}%

%include "MyNDK.h"

%init %{
    JavaVM* g_cached_jvm = NULL;
    JNIEnv* g_cached_env = NULL;
    
    jint JNI_OnLoad(JavaVM *vm, void *reserved)
    {
        g_cached_jvm = vm;
        if (vm->GetEnv((void**)&g_cached_env, JNI_VERSION_1_6) != JNI_OK) {
            return -1;
        }
        return JNI_VERSION_1_6;
    }

    JavaVM* JNI_GetVM()
    {
        return g_cached_jvm;
    }
    
    JNIEnv* JNI_GetEnv()
    {
        return g_cached_env;
    }
%}

MyNDK.h

#ifndef __MY_NDK_H__
#define __MY_NDK_H__
#include <jni.h>
const char* GetLocalStorageDir(jobject activity);
#endif //__MY_NDK_H__

在 .cpp 檔裡，透過剛偷埋的 function ，就能拿到 JNIEnv or JavaVM 了

MyNDK.cpp

#include "MyNDK.h"
#include <string>

extern JNIEnv* JNI_GetEnv();
std::string gCachedLocalStorageDir;

const char* GetLocalStorageDir(jobject activity)
{
    JNIEnv* env = JNI_GetEnv();
    jclass clsContext = env->FindClass("android/content/Context");
    jclass clsFile = env->FindClass("java/io/File");
    jmethodID midGetFilesDir = env->GetMethodID(clsContext, "getFilesDir","()Ljava/io/File;");
    jmethodID midGetPath = env->GetMethodID(clsFile, "getPath","()Ljava/lang/String;");
    jobject objFile = env->CallObjectMethod(activity, midGetFilesDir);
    jstring objPath = (jstring) env->CallObjectMethod(objFile, midGetPath);
    const char* path = env->GetStringUTFChars(objPath, NULL);
    gCachedLocalStorageDir = path;
    env->ReleaseStringUTFChars(objPath, path);
    return gCachedLocalStorageDir.c_str();
}

記住，如果是在 C/C++ layer create 的 pthread 裡，想呼叫 JNI 的 code，一定要 AttachCurrentThread，否則，可能會造成 AP crash！因為 JNIEnv* 只能在同一條 thread 取得與使用。不要試著拿 global 的 JNIEnv* 變數，因為可能是別條 thread 所 created 的，像上面的例子，就是 JNI_OnLoad() 時，拿到的 JNIEnv* ，不能給其他條 thread 所用。

AttachCurrentThread sample code :

bool ProcessJNISafe()
{
    bool isDoAttach = false;
    JavaVM* jvm = JNI_GetVM();
    JNIEnv* env = NULL;
    
    // Get JNIEnv & try Attach
    jint ret = jvm->GetEnv((void **)&env, JNI_VERSION_1_6);
    if( ret == JNI_EDETACHED ) {
        if( jvm->AttachCurrentThread(&env, NULL) < 0 )
            return false;
        isDoAttach = true;
    }
    else if( ret != JNI_OK ) {
        return false;
    }
    
    // process JNI layer here
    {
    }
    
    // Detach
    if(isDoAttach)
    {
        jvm->DetachCurrentThread();
    }
    return true;
}

Reference:

Android - JNI Tips
SWIG - Initialization blocks

[C/C++] 在 Windows 上 Build static libCURL library

noreply@blogger.com (Falldog) — Wed, 11 Dec 2013 05:08:00 +0000

libcurl 是個跨平台的 library ，支援非常多的 protocol，重點還是 open source!
以下就是簡單的 build 出一個 libcurl 的 static library 教學

1. 首先 download libcurl 的 source code 壓縮檔

libCURL download page

2. 在 command line 準備好 VC 的 compile 環境

"{VC Install Path}\VC\vcvarsall.bat" x86

設置完環境後，才能執行 namke

3. 開始 build libcurl

cd {libcurl extract dir}\winbuild
nmake /f Makefile.vc mode=static DEBUG=yes MAXHINE=x86

mode = static 也可以是 dll ，只是我們目標是 static library
build 完後，可以在 {libcurl extract dir}\builds 找到 lib 還有 header 檔

其他參數說明

VC=<6,7,8,9,10>

VC版本(不一定要填)

WITH_SSL=<dll or static>

使用OpenSSL詳細參閱，會有 License 問題

ENABLE_WINSSL=<yes or no>

Enable native 的 Windows SSL 功能
記得，如果要 enable 的話，ENABLE_SSPI一定也要 enable !

GEN_PDB=<yes or no>

產生 .pdb 檔

DEBUG=<yes or no>

Debug or Release mode

MACHINE=<x86 or x64>

Target architecture

RTLIBCFG

不指定就是 default，compile 參數會加上 /MD or /MDd (Multi-threaded)
=static，compile 參數會加上 /MT or /MTd (Multi-threaded DLL)

4. VC project setting 設置

1>A.obj : error LNK2019: unresolved external symbol __imp__curl_global_init referenced in function "bool __cdecl DownloadProtectedKey(class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> > &,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >)" (?DownloadProtectedKey@@YA_NAAV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@V12@11@Z)
1>A.obj : error LNK2019: unresolved external symbol __imp__curl_slist_append referenced in function "bool __cdecl DownloadProtectedKey(class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> > &,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >)" (?DownloadProtectedKey@@YA_NAAV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@V12@11@Z)
1>A.obj : error LNK2019: unresolved external symbol __imp__curl_slist_free_all referenced in function "bool __cdecl DownloadProtectedKey(class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> > &,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >)" (?DownloadProtectedKey@@YA_NAAV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@V12@11@Z)
1>A.obj : error LNK2019: unresolved external symbol __imp__curl_easy_strerror referenced in function "bool __cdecl DownloadProtectedKey(class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> > &,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >)" (?DownloadProtectedKey@@YA_NAAV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@V12@11@Z)
1>A.obj : error LNK2019: unresolved external symbol __imp__curl_easy_init referenced in function "bool __cdecl DownloadProtectedKey(class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> > &,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >)" (?DownloadProtectedKey@@YA_NAAV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@V12@11@Z)
1>A.obj : error LNK2019: unresolved external symbol __imp__curl_easy_setopt referenced in function "bool __cdecl DownloadProtectedKey(class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> > &,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >)" (?DownloadProtectedKey@@YA_NAAV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@V12@11@Z)
1>A.obj : error LNK2019: unresolved external symbol __imp__curl_easy_perform referenced in function "bool __cdecl DownloadProtectedKey(class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> > &,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >)" (?DownloadProtectedKey@@YA_NAAV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@V12@11@Z)
1>A.obj : error LNK2019: unresolved external symbol __imp__curl_easy_cleanup referenced in function "bool __cdecl DownloadProtectedKey(class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> > &,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >,class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> >)" (?DownloadProtectedKey@@YA_NAAV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@V12@11@Z)

[Linux/Android] Export API for SharedLibrary (.so)

noreply@blogger.com (Falldog) — Tue, 12 Nov 2013 09:57:00 +0000

當開發一個 SharedLibrary (.so) 時，不想 Export 太多 API 出去(可能涉及商業機密或是單純的爽字)，Windows or Linux 都有做法可以做到，這邊只說明一下 Linux / Android 的做法。

用 nm 觀察 .so 的 Symbol Table

nm -gC MyLib.so

-g : 只列出 external symbol
-C : 將 C++ 的 symbol 轉換成易讀的版本

Android NDK 在 toolchain 的 prebuild 資料夾裡，也有 ARM/x86 的 nm.exe 可以使用

比如，在我的 Windows x64 NDK 底下
%NDK_PATH%/toolchains/arm-linux-androideabi-4.6/prebuilt/windows-x86_64/arm-linux-androideabi/bin/nm.exe

記得，不同的 ABI Type，要用相對應的 folder 底下的 nm.exe 才行。

在 GCC or G++ 的參數加上 -fvisiblity=hidden，這樣所有的 API 的 visiblity 預設都會是 hidden，接著，只要在想要 Export 的 API 前加上 __attribute__ ((visibility ("default"))) 就搞定了。

Android.mk

LOCAL_CFLAGS := -fvisibility=hidden

MyLib.cpp

#ifdef __GNUC__
  #define DLL_PUBLIC_API __attribute__ ((visibility ("default")))
  #define DLL_LOCAL_API  __attribute__ ((visibility ("hidden")))
#else
  #define DLL_PUBLIC_API __declspec(dllexport)
  #define DLL_LOCAL_API
#endif

DLL_PUBLIC_API void MyFunc1() {/*...*/}
DLL_LOCAL_API void MyFunc2() {/*...*/}
void MyFunc3() {/*...*/}

將 build 出來的 MyLib.so 丟給 nm parse 看看
應該就只能在 Symbol Table 裡看到 MyFunc1 了

Reference

StackOverflow - How do I like symbol in a .so file
GCC Wiki - Visiblity

[Android] 在 C Level 用 dlopen 使用第三方的 Shared Library (.so)

noreply@blogger.com (Falldog) — Wed, 30 Oct 2013 08:10:00 +0000

在 Android 裡，撰寫 JNI C Level 的 code ，不管是想要 load 自己寫的獨立 shared library module (.so)，或是想要把第三方的 shared library 拿來用，都必須要多做一些步驟才能達成。

1. 寫個簡單的 libtest.so

test.h

extern "C"
{
int Add(int num);
}

test.cpp

int Add(int num)
{
    return num+1;
}

Android.mk

include $(CLEAR_VARS)
LOCAL_MODULE    := littest
LOCAL_SRC_FILES := test.cpp
include $(BUILD_SHARED_LIBRARY)

2. 將已經 compile 好的 libtest.so 放進新的 project 裡

首先，要先把已經 build 好的 shared library 放到 Android 專案目錄裡
而且必須根據平台區分才行：好比 armeabi, armeabi-v7a, x86, mips ，放好各平台 compile 好的 shared library 後，在 Android.mk 裡必須加一段指令，NDK 才會將這個 shared library 包進 .apk 裡

比如，我想要使用 libtest.so ，將各平台 compile 好的 .so 檔放至 mylib 底下

mylib (folder示意)

armeabi

libtest.so

aremabi-v7a

libtest.so

libtest.so

mips

libtest.so

就可以利用 NDK 的變數 $(TARGET_ARCH_ABI) 來區分不同平台的目錄
Android.mk

include $(CLEAR_VARS)
LOCAL_MODULE := libtest
LOCAL_SRC_FILES := ./mylib/$(TARGET_ARCH_ABI)/libtest.so
include $(PREBUILT_SHARED_LIBRARY)

Build完後，確認一下 Android 專案下的目錄 $PROJECT\lib\<abi>\，照理來說應該會找到 libtest.so

3. 使用 dlopen 控制 libtest.so

typedef int (*fnAdd)(int);
void* hDll = dlopen("/data/data/<package-name>/lib/libtest.so");
if(hDll) {
    fnAdd add = (fnAdd) dlsym(hDll, "Add");
    if(fnAdd){
        printf("10+1=%d\n", fnAdd(10));
    }
}

透過 Eclipse 將 .apk 安裝到手機上後，.so 將會放在 /data/data/<package_name>/libtest.so，這個 package_name 是定義在 AndroidManifest.xml 裡面的。

Reference

TARGET_ARCH_ABI : NDK docs/ANDROID-MK.html

[Android] NDK Debug 與 breakpoint 失效的解決之道

noreply@blogger.com (Falldog) — Tue, 08 Oct 2013 09:45:00 +0000

在 Android 開發環境裡，新版的 NDK (目前為 r9 )提供的 GDB Debug C//C++環境其實已經算是很友善的了。不像以前需要下一堆的 command line 才行。

目前我的開發環境：

ADT - adt-bundle-windows-x86_64-20130729
NDK - android-ndk-r9

簡單說一下 Debug NDK 的步驟

1. Eclipse Preferences

設定 Eclipse Preference | Android | NDK | NDK Location
填入正確的 NDK 下載路徑

2. 設定 Project property NDK_DEBUG=1

Project Property | C/C++ Builder | Builder Settings
取消 Use default build command的選項
輸入 ndk-build NDK_BUILD=1
註：Application.mk or Android.mk 都無需修改，新版的 ADT/NDK 都已經 handle 好其他的設定了

3. 設好中斷點

在 Eclipse 裡的 C/C++ code，設好中斷點，等著上鉤

4. Debug As "Android Native Application"

由於目前 ADT 在 Debug 時，同一時間只能選擇 Debug Java or C/C++
所以如果 Debug As "Android Application"的話，就是 Debug Java level
如果 Debug As "Android Native Application"的話，就是 Debug C/C++ level

* 問題 *

Debug 時設中斷點，可能會出現類似這樣的Error

No symbol table is loaded. Use the "file" command.

* 原因 *

原因是 GDB 在 attach 上去時，如果 shared library(.so) 檔還沒被 load 進來時，所設的中斷點就沒有用了(不確定是 GDB 的限制還是 NDK 的 bug )

所以，如果在 App 執行起來後，馬上就 load shared library 的話，應該是不會遇到這樣的問題。但是為了執行效能，很多 .so 的 module 都會等到使用者用到時才會將它 load 起來，就會遇到這樣的問題了。

* 解決之道 *

假設今天要 Debug libTestNDK.so
試著讓 GDB server 暫停住，按下 Debug 的 Suspend 的 button，然後在才能在 GDB Console 輸入指令

info shared

From        To          Syms Read   Shared Object Library 
                        No          /system/bin/linker 
0x4012b860  0x4015b184  Yes         D:/WorkRoom/Android/TestNDK/obj/local/armeabi-v7a/libc.so 
                        No          libstdc++.so 
                        No          libm.so

上面並沒有顯示 libTestNDK.so ，表示 libTestNDK.so 還沒被load起來
試著操作App，確保 Java layer 的 loadLibrary 有被執行到
java.lang.System.loadLibrary("TestNDK");

再次讓GDB Suspend，接著再輸入info shared一次

From        To          Syms Read   Shared Object Library 
                        No          /system/bin/linker 
0x4012b860  0x4015b184  Yes         D:/WorkRoom/Android/TestNDK/obj/local/armeabi-v7a/libc.so 
                        No          libstdc++.so 
                        No          libm.so 
0x69817898  0x69922680  No          D:/WorkRoom/Android/TestNDK/obj/local/armeabi-v7a/libTestNDK.so

有顯示 libTestNDK.so，但是 Syms Read 的狀態是 No
輸入下面的指令，讓 GDB 重新 load sharedlibrary 的 symbol

sharedlibrary

然後再輸入一次 info shared 看結果，狀態會變成 Yes，就代表你成功了！

0x69817898  0x69922680  Yes          D:/WorkRoom/Android/TestNDK/obj/local/armeabi-v7a/libTestNDK.so

再試著去新增中斷點，應該就不會有 Error，可以正常 Debug 了！

註：

用 Eclipse 去 Debug NDK，其實問題還滿多的
Android 4.3 不能 Debug 進 NDK，不用試了，直接升級到 4.4 吧!
真的是很慢....
有時候中斷了，可是無法 Step Into、Step Next，也無法成功看到 Watch 的參數

Reference

CodeProject - Why your Android NDK breakpoints might fail and how to fix them
GDB Command - sharedlibrary

[Win32] 在C/C++中偵測精準的程式時間(Performance Time)

noreply@blogger.com (Falldog) — Wed, 14 Aug 2013 06:31:00 +0000

在Windows底下，要偵測精準的Perfromance Time，可以透過QueryPerformanceFrequency() & QueryPerformanceCounter() 來取得。

由於取得的時間存在LARGE_INTEGER的structure，要取出來計算所花費的時間需要多點程式碼才行。這邊寫了一個簡單的Wrapper Class，讓這個AutoQueryPerformance的instance life-time結束後，自行dump出所花費的時間。

AutoQueryPerformance

#include "windows.h"

// Auto dump the life-time of AutoQueryPerformance
// Ex:
// {
//     AutoQueryPerformance autoQuery("Test", true);
//     ...
// } // it will dump message when @autoQuery destroy
class AutoQueryPerformance
{
public:
    AutoQueryPerformance(const char* info, INT loop_count=1, BOOL autoDump=TRUE)
        : m_count_time(0), m_loop_count(loop_count), m_auto(autoDump)
    {
        m_info = info;
        ::ZeroMemory(&m_cpu_freq, sizeof(LARGE_INTEGER));
        ::QueryPerformanceFrequency(&m_cpu_freq);

        if( autoDump )
            begin();
    }
    ~AutoQueryPerformance()
    {
        pause();
        if( autoDump )
            printf("[AutoQueryPerformance][%s] spend time=%.4f", m_info.c_str(), getTime());
    }
    inline void begin()
    {
        ::ZeroMemory(&m_start_clock, sizeof(LARGE_INTEGER));;
        ::QueryPerformanceCounter(&m_start_clock);
    }
    inline void pause()
    {
        ::ZeroMemory(&m_cur_clock, sizeof(LARGE_INTEGER));
        ::QueryPerformanceCounter(&m_cur_clock);
        m_count_time += m_cur_clock.QuadPart-m_start_clock.QuadPart;
    }
    inline void stop()
    {
        pause();
        m_count_time = 0;
    }
    inline float getTime()
    {
        return (m_count_time/(float)m_cpu_freq.QuadPart) / m_loop_count;
    }
private:
    LARGE_INTEGER m_cpu_freq;
    LARGE_INTEGER m_start_clock;
    LARGE_INTEGER m_cur_clock;
    LONGLONG      m_count_time;
    INT           m_loop_count;//for for-loop to calculate correct average time
    std::string   m_info;
    BOOL          m_auto;
};
#define AUTO_QUERY_PERFORMANCE(x) AutoQueryPerformance __at_qp = AutoQueryPerformance(x);

使用範例

void TestingTotalTime(int loop_count)
{
    AutoQueryPerformance ap("TestingTotalTime");
    int sum = 0;
    for(int i=0 ; i<loop_count; i++)
       sum += i;
}

void TestingSingleTime(int loop_count)
{
    AutoQueryPerformance ap("TestingSingleTime", loop_count);
    for(int i=0 ; i<loop_count; i++)
       //HeavyFunction call here;
}

Reference

MSDN - QueryPerformanceFrequency
MSDN - QueryPerformanceCounter

[Win32/COM] Use COM DLL without registered

noreply@blogger.com (Falldog) — Mon, 12 Aug 2013 08:23:00 +0000

依照Windows COM元件的使用方法，應該要將COM DLL註冊後，即可在程式中，以CoCreateInstance()帶入CLSID、IID就可以將該DLL自動load起來，創建該class的instance了。

但是在開發時，實際上總是沒這麼美好，註冊DLL其實是很麻煩的，新舊相容性，開發中的版本等等的問題，而走manifest其實可以避開註冊這條路，但是今天我需要寫一個COM module讓別人使用，而這個COM module在AP裡是走manifest的，所以不會被註冊，連帶的module會用到其他的Library也不走註冊這條路，而因為一些其他的原因，也不能將此Library寫入manifest裡，只能尋求其他途徑了。

由於COM的DLL都會link到一些基本的COM Library，所以是有一些export的API可以繞過註冊來create COM instance的，直接參考以下的Sample Code吧。

// {599D2F5F-BA8D-4009-941C-A5393EBD5C58}
DEFINE_GUID(CLSID_MyCOM, 
0x599d2f5f, 0xba8d, 0x4009, 0x94, 0x1c, 0xa5, 0x39, 0x3e, 0xbd, 0x5c, 0x58);

// {4C452CB2-469C-4236-AE5C-F48A28EC0870}
DEFINE_GUID(IID_IMyCOM, 
0x4c452cb2, 0x469c, 0x4236, 0xae, 0x5c, 0xf4, 0x8a, 0x28, 0xec, 0x8, 0x70);

HRESULT CreateInstance(IMyCOM** pMyCom)
{
    HMODULE hDll = LoadLibrary("MY_COM.dll");//Need refine by your self
    if(hDll)
    {
        //////////////////////////////////////////////////////////////////////////
        // Initial COM instance without register
        //   Try to load COM DLL directly, and call DllGetClassObject to get IID_IClassFactory
        //   And Create COM instance by IID_IClassFactory
        // -----------------------------------------------------------------------
        //   HRESULT hr = CoCreateInstance(CLSID_MyCOM, 
        //                                 NULL, 
        //                                 CLSCTX_INPROC_SERVER, 
        //                                 IID_IMyCOM, 
        //                                 (PVOID*)&pMyCom);
        //////////////////////////////////////////////////////////////////////////
        CComPtr<IClassFactory> spFactory;

        // Get address of DllGetClassObject exported method
        PDLLGETCLSOBJ pDllGetCLSObj = (PDLLGETCLSOBJ)GetProcAddress(hDll, "DllGetClassObject");

        // Call DllGetClassObject and get the proper IClassFactory interface
        HRESULT hr = pDllGetCLSObj(CLSID_MyCOM, IID_IClassFactory, reinterpret_cast<PVOID*>(&spFactory));
        if( FAILED(hr) )
        {
            printf(__FUNCTION__" [Err] Can't get spFactory hr=%X", hr);
            return E_FAIL;
        }

        // Create an instance of IMyCOM
        hr = spFactory->CreateInstance(NULL, IID_IMyCOM, (PVOID*)pMyCom);
        if( FAILED(hr) )
        {
            printf(__FUNCTION__" [Err] Init IMyCOM Fail! hr=%X", hr);
            return E_FAIL;
        }
    }
    else
    {
        return E_FAIL;
    }
    return S_OK;
}

Reference:

StackOverflow - Windows/C++: how to use a COM dll which is not registered

[Python] 使用objgraph找出memory leak(circular reference)

noreply@blogger.com (Falldog) — Mon, 12 Aug 2013 07:18:00 +0000

在Python的世界裡，所有的東西都是Object，而控制Object的life cycle靠的就是reference的機制，一個簡單的assignement (=等號)，或是function call就會讓Object的reference count自動加1。
而當Object的reference count減至0的時候，Python的GC會找時間把這些Object清除掉。

對Python而言，memory leak產生的可能性有兩種

Circular reference
Referece在global的變數或是module上

其實有些tool可以找到這種reference的關係，這邊介紹的是 objgraph - 官網，視覺化的Reference結果圖，讓人一目瞭然。

可以在下載後安裝

pip install objgraph

或是直接將壓縮檔內的objgraph.py解壓放在執行檔旁，因為objgraph就這麼一個檔案！

不過，為了將objgraph解析後的狀態轉成圖檔，還需要安裝另一個tool - graphviz，這個是跟python無關的tool，只是objgraph輸出一個config檔，透過subprocess執行graphviz去讀取這個config檔，然後輸出最後關係圖的圖檔。接著可以透過關係圖檔找到應該解除reference link的地方，再一一破解，應該就可以解開memory leak了。

以下示範較常用的show_backrefs()
還有其他的API可直接參照objgraph.py裡

Example: Value object reference 在 Container 裡

class Value(object):
    def __init__(self, v):
        object.__init__(self)
        self.v = v
    def get(self):
        return self.v
    def set(self, v):
        self.v = v
        
class Container(object):
    def __init__(self):
        object.__init__(self)
        self.children = []
    def get(self, idx):
        return self.children[idx]
    def pop(self):
        c = self.children.pop()
        return c
    def push(self, c):
        return self.children.append(c)
        
if __name__== '__main__': 
    c1 = Container()
    c1.push(Value(100))
    
    import objgraph
    objgraph.show_backrefs([c.get(0)], filename='test.png')

輸出結果圖：

Example 2: 2個Container同時reference在同一個Value object

if __name__== '__main__': 
    c1 = Container()
    c1.push(Value(100))
    
    c2 = Container()
    c2.push(c1.get(0))

    import objgraph
    objgraph.show_backrefs([c.get(0)], filename='test.png')

輸出結果圖：

Example 3: circular reference

if __name__== '__main__': 
    c1 = Container()
    v = Value(c1)
    c1.push(v) #circular reference
    
    import objgraph
    objgraph.show_backrefs([c1.get(0)], max_depth=5, filename='test.png')

輸出結果圖：

Reference:

objgraph - official site
graphviz - offcial site
PyPI - objgraph

[Jython] Use JNA Read/Write Windows Registry

noreply@blogger.com (Falldog) — Thu, 18 Jul 2013 08:50:00 +0000

最近用Sikuli開發，Run Script時需要讀寫Windows的Registry，由於Sikuli script是用Jython的，而Jython裡並不像Python支援Read/Write Windows Registry，所以必須用一些其他的Library才行

而其中一個方法就是用JNA
下載最新的JNA與JNA-Platform
放到要執行的Script旁，或是放到Jython的目錄裡

以下的範例，將jna-3.5.1.jar與jna-platform-3.5.1.jar放到Sample.py旁，以Jython執行
Sample.py

import os
import sys
folder = os.path.dirname(os.path.abspath(__file__))

# load JavaLib jna/platform
sys.path.append(os.path.join(folder, 'jna-3.5.1.jar'))
sys.path.append(os.path.join(folder, 'jna-platform-3.5.1.jar'))

# Read
from com.sun.jna.platform.win32 import Advapi32Util, WinReg
path = Advapi32Util.registryGetStringValue( \
    WinReg.HKEY_LOCAL_MACHINE, 
    r'Software\CyberLink\ColorDirector2', 
    'InstallPath' )

print path.encode(sys.getfilesystemencoding())

Reference

JNA Github
JNA - 3.5.1 JavaDoc
JNA - 4.0 JavaDoc
StackOverflow - Read/Write Windows Registry in Java (還有其他方法可以參考)

[Python] Windows底下使用SWIG呼叫C/C++的function

noreply@blogger.com (Falldog) — Wed, 17 Jul 2013 03:08:00 +0000

使用Python的script language的特性，開發起來實在是又快又舒服，但是Python有個致命的缺點就是GIL，在Multi-Thread的機制下，有了這個GIL的限制，感覺Multi-Thread就被俺掉一半了。照理來說heavy的blocking code應該要寫在另一條thread，並且放掉GIL，讓其他的thread有時間去做事才對。透過Python轉call進C/C++的function後，才有機會讓heavy的function放掉Python的GIL。

不過，本篇的重點在於介紹如果讓Python呼叫C/C++ level的function，有機會的話，再介紹一下GIL好了。目前其實有很多Tool提供這樣的功能，包括SWIG、Boost.Python、Robin…等等，這邊就介紹一下SWIG的用法。

先簡單說明一下SWIG是怎麼辦到的
1. 將我們C/C++ level的code包在一個"Sample" DLL project裡
2. 寫一份interface的Sample.i檔給SWIG.exe parse後產生出一個Sample_wrap.c與Sample.py檔
3. 我們再將Sample_wrap.c加進DLL project裡，一起compile成_Sample.pyd
4. 在Python code中import Sample 就能呼叫Sample裡的API了
所以，其實SWIG做的事情只是parse Sample.i檔，產生wrapper檔：Sample_wrap.c，DLL project連著這個wrapper檔一起compile的話，就可以讓Python層呼叫執行了。

1. 下載SWIG

目前最新的SWIG已經2.0.10版了，下載後，解壓縮，我們在compile project時，只需要其中的swig.exe檔

2. 設定VC的Include, Library, Execute path

為了在C/C++ code裡撰寫CPython，必須指定Python的Include, Library path
而指定Execute path是為了在Project property使用swig時，不需要輸入絕對路徑

假如電腦裡安裝的是Python 2.7
在Window裡的預設路行就是C:\Python27
在Tool | Options | Projects and Solutions | VC++ Directories裡新增

Include files : C:\Python27\include
Library files : C:\Python27\libs
Executable files : C:\swigwin-2.0.10\ (第一步中解壓縮的路徑)

3. 建立C/C++ DLL Project

我以VC2008(其他版本也可以)，建立一個Win32的C/C++的DLL Project

選擇"Emtpy Project"

若不選擇"Empty Project"也沒關係，記得要將 Project Property | C/C++ | Precompiled Headers | Create/Use Precompiled Header 切換成 "Not Using Precompiled Headers"

4. 撰寫C/C++的API - Sample.h, Sample.cpp

Sample.h

#include "Python.h"

int AddOne(int n);
int Sqrt(int n);
PyObject* SqrtInPyObj(PyObject* obj);

Sample.cpp

#include "Sample.h"

int AddOne(int n)
{
    return n+1;
}

int Sqrt(int n)
{
    return n*n;
}

PyObject* SqrtInPyObj(PyObject* obj)
{
    int n = PyInt_AsLong(obj);
    return Py_BuildValue("i", n*n);
}

5. 設置interface檔 - Sample.i

由於SWIG需要此interface檔來產生wrapper的cxx檔，因此需撰寫一個 Sample.i 檔加到Project裡，這樣才能在Compile後即時update最新的pyd檔
右鍵選擇 Sample.i 的Property，設置Custom Build Step

Example : c, output file為Sample_wrap.c

Command Line

swig.exe -python -o $(ProjectDir)\$(InputName)_wrap.c "$(InputPath)"

Outputs

$(InputName)_wrap.c

Example : c++, output file為Sample_wrap.cxx, 記得加上-c++

Command Line

swig.exe -c++ -python -o $(ProjectDir)\$(InputName)_wrap.cxx "$(InputPath)"

Outputs

$(InputName)_wrap.cxx

Sample.i範例

%module Sample 

%{
#include "Sample.h"
%}

%include "Sample.h"

interface檔尚有許多的功能，有興趣的人可以再深入研究 - SWIG 2.0 Python Document
這邊就不多做著墨了

6. 加入Sample_wrap.cxx or Sample_wrap.c至Project中

在做完以上的步驟後，可以先compile一次，就會透過 Sample.i 的Custom Build Step產生Sample_wrap.cxx檔，再將此當加入Project中一起Compile

7. Compile

點選Project Property，修改
Linker | Output File
$(OutDir)\_$(ProjectName).pyd
讓最後的檔案輸出成_Sample.pyd

點選Project Property，修改
C/C++ | Preprocessor | Preprocessor Definitions
新增 __WIN32__

以上都完成後，就可以開始Compile了

8. Import Python module

將Compile過後的Sample.py與_Sample.pyd複製到你的Python script旁，執行應該就可以看到結果了！
Example :

import Sample
print Sample.AddOne(1) # >>> 2
print Sample.Sqrt(2) # >>> 4
print Sample.Sqrt(3) # >>> 9
print Sample.SqrtInPyObj(2) # >>> 4
print Sample.SqrtInPyObj(3) # >>> 9

[PHP] Debug PHP by Eclipse with PDT PlugIn

noreply@blogger.com (Falldog) — Tue, 25 Jun 2013 06:28:00 +0000

強大的Eclipse開發社群，提供了PHP的debug功能 - PHP Development Tool (PDT) PlugIn，可以執行並下中斷點，對PHP開發者而言著實是一大福音！

PDT套件可以視為是debug的client端，而server端的話，就需要在PHP安裝extension才行，目前PDT支援的包括(1)Zend Debugger (2)XDebug，以下就介紹PDT以Zend Debugger的方式進行debug ...

1. 安裝Eclipse

從官網安裝最新版乾淨的 Eclipse Classic
或是安裝Eclipse+PDT一體成形懶人包 (這個懶人包是由Zend提供的，所以Eclipse版本可能稍舊)，若是安裝這版的話，就可以省略步驟2了

2. 安裝Eclipse PDT套件

由於現在PDT現在是由Eclipse官方maintain的套件，所以透過Eclipse內建的Install PlugIn的功能就能直接下載了呢。

首先，到 Help | Install New Software ...

選擇Eclipse官網的release URL，以我自己的Eclipse為例，版號代稱為「Juno」，所以URL前面的名稱就會有「Juno」的名稱

選擇後，就會出現支援的PlugIn，選擇 Web, XML, Java EE and OSGi Enterprise Development | PHP Development Tools(PDT)，然後一直按Next後，重開Eclipse就完成了。

3. 安裝Zend Debugger

3.1 下載Zend Debugger

進入Zend Debugger的下載網站，選擇下載Studio Web Debugger，可能要註冊他們網站的會員才能下載，有點麻煩。
下載下來後，將它解壓縮，選出適合自己的環境的版本(OS/PHP)，將ZendDebugger.dll複製到{PHP install path}/ext (32bit or 64bit的版本不要抓錯了！)

3.2 修改php.ini

以下這範例是我自己放的路徑，記得改成你放Zend Debugger.dll的路徑{PHP install path}/ext

zend_extension_ts = C:/AppServ/php5/ext/ZendDebugger.dll ;Note : use "/" instead of "\"
zend_debugger.allow_hosts=127.0.0.1
zend_debugger.expose_remotely=always

allow_hosts填多組ip的話，要用逗號","分開

3.3 Copy dummpy.php

將Zend Debugger壓縮檔裡附的dummpy.php複製到Apache的Document Root

3.4 重新啟動Apache server

檢查一下phpinfo，應該可以看到Zend Debbuger的資訊

4. Debug PHP Project

以上設定完成後，就可以開始PHP Debug之旅了，在New Project時，就可以選擇PHP Project了，指定到Apache的Document Root裡的資料夾

PHP Project create完成後，就可以開始debug了，執行Eclipse的Debug As | PHP Web Application就大功告成了！

Reference

Eclipse introduce page download PDT all in one
Zend Debugger - installation guid [PDF]
PDT Wiki - Install Zend Debugger

[Sikuli] Compile Sikuli-IDE source code in Eclipse

noreply@blogger.com (Falldog) — Thu, 06 Jun 2013 02:24:00 +0000

Sikuli是新堀起的Programming Language，以圖象化的方式來coding真的是一大圖破創新的想法。重點是...還是台灣人做的呢！Sikuli是Open Source的，所以有不少人為這個Project供獻一己之力，最近公司的Project用它來做AutoTest，整個很給力，決定來compile它的source code來玩看看，雖然說很久沒寫Java了.... XD

Sikuli的Project切成兩部分，一個是整個核心的Sikuli-API是以Java、C++為主，另一個是開發平台的Sikuli-IDE是純Java的Project，由於整個核心API切出來成一個單獨的Project，所以如果想自己寫一個Java的程式直接使用Sikuli-API是可行的！詳見：How to use Sikuli Script in your Java Program?

也由於Sikuli API模組化的關係，目前Sikuli Script語法是Python，以後可能還會陸續支援其他語言吧。

1. 安裝Eclipse

Eclipse官網 - Download
安裝可以compile Java的Eclipse版本，應該都可以

2. 下載Sikuli Library

目前Sikuli版本是1.0.0，由於本篇介紹的是compile Sikuli-IDE，所以並不打算自己compile Sikuli-Script，可以直接下載已經release的版本即可

Sikuli Download Page
下載 Sikuli-IDE-1.0.0-Win32.zip後解壓縮
(其他還有Win64, Linux32/64, Mac的版本可載)
基本上，裡面即包含已經build好的sikuli-script.jar、以及其他開發所需要的Library

3. 建立Eclipse的Sikuli-IDE project

File | New | Project 選擇 Java Project
JRE 選擇JavaSE-1.6 (1.7應該也可以)
Finish
點選 Project Property
進入 Project Property | Java Build Path | Libraries
Add External JARs - 選擇"Step 2"裡下載解壓後所有的 *.jar 檔 (不包含sikuli-ide.jar)

4. 設定Environment

如果已經安裝過Sikuli安裝版的話，版本不要差太多的話，應該是可以不用設定
設定環境變數%SIKULI_HOME%與%PATH% (只有Windows底下才需要設定%PATH%)
你可以選擇修改系統的環境變數，或是設定Eclipse Project的環境變數，設定Eclipse Project對環境似乎比較乾淨，以下簡單說明一下

點選進入Project Property
選擇 Project Property | Run/Debug Settings
Edit你的Configurations，如果沒有的話，就New一個新的出來吧
進入 Edit Configurations | Environment
New PATH := "Step 2"解壓縮後的裡面的libs目錄
New SIKULI_HOME := "Step 2"解壓縮後的目錄

5. 下載 Sikuli-IDE source code

到Sikuli-IDE github的網頁下載source code，可以選擇ZIP打包下載或是用git clone下來
將下載的source code加入至Eclipse的project裡
注意，Eclipse的source code root folder裡，要直接放i18n, icons, org, scripts這些fodler才行

6. Compile Sikuli-IDE source code

基本上，我是在Window上compile的，直接在Eclipse run的話會有error
需要將下列的一些檔案加入Exclusion list裡(如何將檔案加入Exclusion list)

org.sikuli.ide.NativeLayerForMac.java
org.sikuli.ide.z_notused.EditorDocument.java
org.sikuli.ide.z_notused.EditorView.java

最後，按下Run As Java Application，應該就可以看到Sikuli-IDE了!

Run起來的結果畫面，看到這個，代表就成功了!

Reference :

github - Sikuli-IDE
github - Sikuli-API
Sikuli-IDE Wiki - Using sikuli-script.jar in Java programming
Sikuli - How to get involved
Sikuli - Download Page

[C/C++] 研究long long * float overflow 可能導致的誤差

noreply@blogger.com (Falldog) — Sat, 25 May 2013 02:57:00 +0000

最近看bug看到一個奇怪的現象，在64bit的AP執行時，long long * float會有誤差出現，但是32bit的AP卻沒有這樣子的問題出現，直覺上不是應該32bit的AP比較會有問題嗎!?

先來看一下 long long 跟 float ，long long的size是8個byte，float的size是4個byte
long long * float，compiler會將結果存到float的temp變數裡，此時誤差就可能會出現了，但是這個誤差是「有條件」地出現，並不是任何long long的數字乘上float都會產生誤差的

以一個簡單的程式來驗證是否會產生誤差

bool check_longlong(long long v1)
{
    float f = 1.0f;
    long long v2 = long long( v1 * f );
    printf("ori value=%lld, new value=%lld, ori==new=%d", v1, v2, v1==v2);
    return v1==v2;
}

int _tmain(int argc, _TCHAR* argv[])
{
    check_longlong(0xF0000000000);//true - OK
    check_longlong(0x0FFFFFFFFFF);//false - Error!
    check_longlong(0x0FFFFFF);//true - OK
    check_longlong(0x1FFFFFF);//false - Error!
    return 0;
}

Float

研究一下float的binary data的組成....

Reference from Wiki

sign ：1 bit - 表示正/負數
exponent ：8 bit - 表示fraction的2次方值
fraction ： 23 bit - 表示正規化後的數值(實際上可表示24bit，因為小數點前永遠為1)

由這示意圖可以發現，float的精準度就靠fraction的23bit(可表達24bit的數字)，因此，理論上只要與float相乘的數字binary值，第一個1跟最後一個1相差超過24的話，即會overflow產生誤差，不管是乘以long long(64bit) or int(32bit)，因為float最多就只能表達24bit的數字，你硬要塞25bit以上的數字，肯定會被crop或round掉的。所以，並不是數字太大就會有問題，而且前後的1相差超過float能表示的範圍才會有問題。

範例：

0x0FFFFFF = (0000111111111111111111111111)2 - OK
0x1FFFFFF = (0001111111111111111111111111)2 - Error
0x2FFFFFF = (0010111111111111111111111111)2 - OK
0x1000001 = (0001000000000000000000000001)2 - Error
0xFFFFFF0 = (1111111111111111111111110000)2 - OK

注意上面紅色的1，代表第一個1與最後一個1

Double

同樣的道理，來看看double需要多大的值才會產生誤差呢

Reference from Wiki

fraction ： 52bit (實際上可表示53bit)

0x1FFFFFFFFFFFFF = 9,007,199,254,740,991L - OK
0x2FFFFFFFFFFFFF = 13,510,798,882,111,487L - Error
0x10000000000001 = 4,503,599,627,370,497L - OK
0x20000000000001 = 9,007,199,254,740,993L - Error

著實是非常大的數字.... =_=""

Windows 32bit 沒誤差!?(安全下莊)

同樣的一套邏輯，在Windows 32bit, 64bit的AP卻有不一樣的結果，64bit會產生誤差，32bit卻不會產生誤差，why!? 用VisualStudio 2005與2008試了以後是一樣的結果，看了一下assembly code，x86與x64的指令是不一樣的，這應該就是產生不一樣結果的徵結點吧。

看一下VC compile出來的x64 assembly code：
用SIMD的cvtsi2ss先將longlong轉成float，相乘後，再用cvttss2si轉回longlong的值，這標準的longlong與float轉換，就會產生誤差！

x64 assembly code

 float f = 1.0f;
0000000140001043  movss       xmm0,dword ptr [__real@3f800000 (1400057C0h)] 
000000014000104B  movss       dword ptr [f],xmm0 
 long long v2 = long long(v1 * f);
0000000140001051  cvtsi2ss    xmm0,qword ptr [v1] 
0000000140001058  mulss       xmm0,dword ptr [f] 
000000014000105E  cvttss2si   rax,xmm0 
0000000140001063  mov         qword ptr [v2],rax

再看一下VC compile出來的x86的assembly code：
x86用fild和fmul做floating point的運算，最後再以ftol2將float轉成long long，看了一下說明，fild會將integer(16, 32, 64bit)轉成80bit extension precision的float值，擁有80bit的precision乘完後的結果，直接轉成long long，當然不會有誤差囉！

x86 assembly code

 float f = 1.0f;
0041140E  fld1             
00411410  fstp        dword ptr [f] 
 long long v2 = long long(v1 * f);
00411413  fild        qword ptr [v1] 
00411416  fmul        dword ptr [f] 
00411419  call        @ILT+435(__ftol2) (4111B8h) 
0041141E  mov         dword ptr [v2],eax 
00411421  mov         dword ptr [ebp-14h],edx

[C/C++] 使用STL時，混用Debug & Release Mode的DLL or LIB可能會造成 Crash!

noreply@blogger.com (Falldog) — Fri, 24 May 2013 08:21:00 +0000

當你的Release mode的EXE，使用Debug mode的DLL，中間如果有操作(new/delete)STL的container，很容易讓AP crash，包括下列的error ...

Debug Assertion Failed
_BLOCK_TYPE_IS_VALID
_CrtIsValidHeapPointer

主要是因為build Debug mode的DLL，STL會enable _SECURE_SEL 和 _HAS_ITERATOR_DEBUGGING，裡面會對memory多做一些checking，假如你在Release mode，new了一塊memory後放到Debug mode的STL container，在Debug mode裡試著去delete這塊memory時，會多做一些Release mode不會做的error checking，就會有不預期的exception出現。

想想，Release跟Debug所用的CRunTime library是不一樣的，同一塊memory讓不一樣的CRunTime處理，當然可能會出錯。

解決辦法：

(不混用) 將全部的module統一build成Release or Debug mode
(大統一) Memory allocated/free的行為，統一交給一個module處理

Sample Error Code :

////////////////////////////////////////////////////////
// A.dll - build in Release mode
////////////////////////////////////////////////////////
B bMgr;
void AppendIntArray(int* array, int size)
{
    for(int i=0 ; i<size ; ++i)
    {
        // New memeory in A.dll (Release Mode)
        bMgr.m_int.push_back(new Value<int>(array[i])); 
    }
}
void AppendFloatArray(float* array, int size)
{
    for(int i=0 ; i<size ; ++i)
    {
        // New memeory in A.dll (Release Mode)
        bMgr.m_float.push_back(new Value<float>(array[i]));
    }
}


////////////////////////////////////////////////////////
// B.dll - build in Debug mode
////////////////////////////////////////////////////////
template <typename T>
class Value
{
public:
    Value(T _v){v=_v;}
    T v;
}

class B
{
public:
    void ClearAll();
    vector< Value<int>* > m_int;
    vector< Value<float>* > m_float;
}

void B::ClearAll()
{
    // Release memeory in B.dll (Debug Mode)
    for(int i=0 ; i<m_int.size() ; ++i)
        delete m_int[i];
    m_int.clear();
    
    // Release memeory in B.dll (Debug Mode)
    for(int i=0 ; i<m_float.size() ; ++i)
        delete m_float[i];
    m_float.clear();
}

Reference

[Python] 為Python2.5 unittest 加上setUpClass & tearDownClass 的功能

noreply@blogger.com (Falldog) — Fri, 24 May 2013 03:07:00 +0000

最近使用 Sikuli 替Project作AutoTest的功能，以Python的unittest為架構下去撰寫，發現有些綁手綁腳的地方，因為Sikuli是使用Jython 2.5，連帶的unittest也止於Python 2.5的版本。由於測試的項目眾多，需要撰寫多個TestCase，所以setUpClass與tearDownClass更顯得重要，可以為每個TestCase做pre-process與post-process。偏偏setUpClass與tearDownClass是在Python 2.7後才支援的，所以想在Sikuli裡套用的話，必須自己加一些Code才行了。

說明一下，TestCase裡的setUp與tearDown是TestCase裡的每一個 test function 的pre-processing & post-processing，而setUpClass與tearDownClass是整個TestCase被run起來的pre-processing & post-processing。

以下的sample code，主要就是繼承TestSuite，定義一個自己的MyTestSuite，override run()，讓它試著去執行setUpClass與tearDownClass。

import unittest
import traceback
class MyTestSuite(unittest.TestSuite):
    # sikuli jython 2.5 unittest doesn't have setUpClass & tearDownClass
    # Add the class to support this feature
    def __init__(self,*argv,**argd):
        unittest.TestSuite.__init__(self, *argv, **argd)
    
    def run(self, result):
        sample = self._tests[0] if len(self._tests)>0 else None
        if sample and hasattr(sample, 'setUpClass'):
            try:
                sample.setUpClass()
            except:
                traceback.print_exc()
        
        for test in self._tests:
            if result.shouldStop:
                break
            test(result)
            
        if sample and hasattr(sample, 'tearDownClass'):
            try:
                sample.tearDownClass()
            except:
                traceback.print_exc()
        return result

class MyTestCase(unittest.TestCase):
    def setUpClass(self):
        print 'MyTestCase::setUpClass'
    def tearDownClass(self):
        print 'MyTestCase::tearDownClass'
    def test_MyTest1(self):
        print 'MyTestCase::MyTest1'
    def test_MyTest2(self):
        print 'MyTestCase::MyTest2'

if __name__ == '__main__':
    suites = unittest.TestSuite([unittest.makeSuite(MyTestCase, suiteClass=MyTestSuite)])
    runner = unittest.TextTestRunner()
    runner.run(suites)
    # output result sequence ...
    #>>> MyTestCase::setUpClass
    #>>> MyTestCase::MyTest1
    #>>> MyTestCase::MyTest2
    #>>> MyTestCase::tearDownClass

[C/C++] 取得LIB目前的DLL module path

noreply@blogger.com (Falldog) — Thu, 23 May 2013 09:46:00 +0000

如果寫了一個LIB or Cpp檔，讓多個DLL module include使用，該如果拿到目前DLL的module path?

GetModuleFileName() 參數hModule傳NULL的話，只能知道執行檔exe的路徑
要想知道自己在哪個DLL module的話，必須埋一些code才行

EXTERN_C IMAGE_DOS_HEADER __ImageBase
//...
WCHAR dll_path[MAX_PATH] = {0};
GetModuleFileNameW((HINSTANCE)&__ImageBase, dll_path, _MAX_PATH);

Reference :

StackOverflow - Get Dll path at runtime
MSDN - GetModuleFileName()

[C/C++] General pointer type for support x86 & x64

noreply@blogger.com (Falldog) — Fri, 22 Mar 2013 08:26:00 +0000

一個pointer的size在x86跟x64的環境裡是不一樣大的

x86's pointer size = 4 bytes
x64's pointer size = 8 bytes

如果你在程式中用int or long去儲存一個pointer的話，可能在compile成x86可以work，但是compile成x64執行的話，可能就會exception了

所以建議是用標準的 uintptr_t / intptr_t 去儲存pointer，uintptr_t在copmpile成x86時的size是4 bytes，x64是8 bytes，它在C++11時才被列入標準，但在大部分的C++03的compiler已經支援了

include header : <cstdint>

Reference :

Falldog的程式戰場

Python 2 / 3 Rounding 比較

在 AWS Lambda 上執行 Tesseract OCR

[Django] Query with Group_Concat (MySQL)

MySQL

Case1 (簡單的case)

Case2 (較複雜的case, table join)

Django

Reference:

[WinDbg] Remote Kernel Debug over Network cable

1. 確認 Target computer 網卡支援性

2. 開啟 Target computer 的 Debug mode

3. Host computer 開始 debug

[C#] Allocate structure buffer array from DLL

1. 測試 C# dump struct buffer

TestDLL.cpp

TestDLL.cs

2. 將 DLL allocate 的 buffer load 至 C# 的 struct memory 中

TestDLL.cpp

[Ubuntu] Git difftool - Meld

安裝

設定 git default diff tool 為 meld

使用範例

[Java] 透過SWIG 從JNI (C/C++) callback 回 Java

[emomeDDSMS] 下載emome上的備份簡訊 更新0.74

[JNI] 在C/C++中透過 SWIG 取得 JNIEnv or JavaVM

MyNDK.i

MyNDK.h

MyNDK.cpp

AttachCurrentThread sample code :

[C/C++] 在 Windows 上 Build static libCURL library

1. 首先 download libcurl 的 source code 壓縮檔

2. 在 command line 準備好 VC 的 compile 環境

3. 開始 build libcurl

4. VC project setting 設置

[Linux/Android] Export API for SharedLibrary (.so)

用 nm 觀察 .so 的 Symbol Table

Android.mk

MyLib.cpp

[Android] 在 C Level 用 dlopen 使用 第三方的 Shared Library (.so)

1. 寫個簡單的 libtest.so

2. 將已經 compile 好的 libtest.so 放進新的 project 裡

3. 使用 dlopen 控制 libtest.so

[Android] NDK Debug 與 breakpoint 失效的解決之道

1. Eclipse Preferences

2. 設定 Project property NDK_DEBUG=1

3. 設好中斷點

4. Debug As "Android Native Application"

* 問題 *

* 原因 *

* 解決之道 *

Reference

[Win32] 在C/C++中偵測精準的程式時間(Performance Time)

AutoQueryPerformance

使用範例

[Win32/COM] Use COM DLL without registered

[Python] 使用objgraph找出memory leak(circular reference)

Example: Value object reference 在 Container 裡

Example 2: 2個Container同時reference在同一個Value object

Example 3: circular reference

[Jython] Use JNA Read/Write Windows Registry

[Python] Windows底下 使用SWIG呼叫C/C++的function

1. 下載SWIG

2. 設定VC的Include, Library, Execute path

3. 建立C/C++ DLL Project

4. 撰寫C/C++的API - Sample.h, Sample.cpp

5. 設置interface檔 - Sample.i

6. 加入Sample_wrap.cxx or Sample_wrap.c至Project中

7. Compile

8. Import Python module

[PHP] Debug PHP by Eclipse with PDT PlugIn

1. 安裝Eclipse

2. 安裝Eclipse PDT套件

3. 安裝Zend Debugger

3.1 下載Zend Debugger

3.2 修改php.ini

3.3 Copy dummpy.php

3.4 重新啟動Apache server

4. Debug PHP Project

Reference

[emomeDDSMS] 下載emome上的備份簡訊更新0.74

[Android] 在 C Level 用 dlopen 使用第三方的 Shared Library (.so)

[Python] Windows底下使用SWIG呼叫C/C++的function