whoopsidaisies's diary

Detectron2のModel Zooで物体検出、インスタンスセグメンテーション、姿勢推定

2019-12-18T19:00:34+09:00

概要

Detectron2のModel Zooにある訓練済みを使って、物体検出やインスタンスセグメンテーション、姿勢推定等を行う。多くのモデルに対して一括で処理できるコードを作った。便利。

Detectron2

FacebookのAI研究グループ（FAIR）が開発している物体検出アルゴリズムを実装のためのソフトウェア。

環境

ubuntu 18.04
GeForce GTX TITAN X

インストール

詳細は省略。ほぼ公式の通りやった。Windowsでやろうとしたら公式対応してないから大変そうな雰囲気。

メモ代わりに大雑把な手順を載せるが公式を読んでやったほうがいい。

OS、cuda等：dockerコンテナ利用
- nvidia/cuda:10.1-cudnn7-devel
Python環境
- Anaconda 2019.10でpython3.7環境構築
pytorch
- conda install pytorch torchvision cudatoolkit=10.1 -c pytorch

detectron2

  git clone https://github.com/facebookresearch/detectron2.git
  cd detectron2
  python setup.py build develop

Detectron2 Model Zoo

学習済みのモデルが置いてある。以下のようなものがあるが、詳細はウェブサイト参照。

タスク
- COCO Object Detection
- COCO Instance Segmentation
- COCO Person Keypoint Detection
- COCO Panoptic Segmentation
- LVIS Instance Segmentation
- Cityscapes
- Pascal VOC
アルゴリズム
- Faster R-CNN、RetinaNet、Mask R-CNN、Cascade R-CNN等
- backbone: FPN、ResNetベースのもの

確認用コード

Model Zooにある学習済みモデルをロードするモジュールと、予測して可視化するためのモジュールがあったのでそれを使った。

以下のコードを実行するとModel Zooにあるモデルの42個について予測を行える。

from detectron2.data.detection_utils import read_image
from detectron2.model_zoo.model_zoo import ModelZooUrls
from detectron2.config import get_cfg
from demo.predictor import VisualizationDemo

img_path = 'input.jpg'
img = read_image(img_path, format="BGR")

for i, config_path in enumerate(ModelZooUrls.CONFIG_PATH_TO_URL_SUFFIX.keys()):
    # rpnとfast_rcnnは可視化対応していないので飛ばす
    if 'rpn' in config_path or 'fast_rcnn' in config_path:
        continue
    # config設定
    cfg = get_cfg()
    cfg.merge_from_file(f'configs/{config_path}')
    cfg.MODEL.WEIGHTS = ModelZooUrls.get(config_path)
    score_thresh = 0.5
    cfg.MODEL.RETINANET.SCORE_THRESH_TEST = score_thresh
    cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = score_thresh
    cfg.MODEL.PANOPTIC_FPN.COMBINE.INSTANCES_CONFIDENCE_THRESH = score_thresh
    cfg.freeze()
    # 検出＆可視化
    demo = VisualizationDemo(cfg)
    predictions, visualized_output = demo.run_on_image(img)
    # ファイル出力
    dataset_name, algorithm = config_path.split("/")
    algorithm = algorithm.split('.')[0]
    visualized_output.save(f'out/{i:02d}-{dataset_name}-{algorithm}.jpg')

結果

denseposeでU.S.A.

2018-12-03T19:37:59+09:00

youtu.be

完全に出遅れたけど、DensePose使ってみたのでメモ。 Facebook等が発表した、2次元画像から人体の3Dサーフェスモデルを推定しちゃうすごい手法。

詳細とか使い方は下記のページあたりを参照。

shiropen.com github.com

環境

ubuntu 16.04
nvidia-docker導入済み（nvidia-dockerインストール、コンテナ等メモ - whoopsidaisies's diary）

導入

偉い人がdockerhubでイメージ公開してくれていたので活用。動画ファイルをffmpegとかで画像にばらしておいた。

# ubuntu 16.04の端末で
nvidia-docker run -it -d --name densepose garyfeng/densepose
docker exec -it densepose bash
# コンテナ内
#   実行時の引数でフォルダを指定するとフォルダ内の画像を一気に処理してくれる
tools/infer_simple.py \
   --cfg configs/DensePose_ResNet101_FPN_s1x-e2e.yaml \
   --output-dir /root/data/infer_out/  \
   --image-ext png \
   --wts https://s3.amazonaws.com/densepose/DensePose_ResNet101_FPN_s1x-e2e.pkl \
   /root/data/frame

以上、簡単にできてすごい。

OpenCV 3.4.1で背景差分

2018-03-01T13:00:00+09:00

背景差分

画像の前景と背景を分離する手法。2013年にOpenCV 2.4.7での背景差分の記事を書いたが、2018年になったいまOpenCV 3.4.1で背景差分を行おうとしたら使えるアルゴリズムが増えていたのでまとめておく。

アルゴリズム

MOG, MOG2, GMG

OpenCV 2.4.7でも使えた。以下のページに日本語でわかりやすい説明がある。

背景差分 — OpenCV-Python Tutorials

KNN

K近傍方に基づく背景差分。前景の画素数が少ない場合は効率が良いらしい。

Efficient adaptive density estimation per image pixel for the task of background subtraction - ScienceDirect

CNT

低スペックな計算機でもほかのアルゴリズムより高速に処理ができる。CNTという名前は「CouNT」の省略らしい。Raspberry Pi3でのベンチマークではMOG2が41秒に対し、CNTは18秒。

https://sagi-z.github.io/BackgroundSubtractorCNT/

LSBP

Local SVG Binary Pattern。注目画素とその周辺画素の大小関係を符号化するLBP（Local Binary Pattern）は、高速に計算可能な画像特徴量として知られている。局所的なノイズや隣接画素が類似しているような場合にもロバストにするようにSVD（特異値分解）を使った特徴量で背景差分を行っているそう。ちゃんと勉強してないのでよくわらからない。

https://www.cv-foundation.org/openaccess/content_cvpr_2016_workshops/w24/papers/Guo_Background_Subtraction_Using_CVPR_2016_paper.pdf

GSOC

LSBP特徴を使ってる。ノイズ除去とか穴埋めといった後処理をしているらしい。GSOC(Google Summer of Code)2017中で開発されたとかで元論文等はないらしいのでソースコードを読もう。

opencv_contrib/bgfg_gsoc.cpp at 6520dbaa224a661ca8105b1ab0b71451fd715f4c · opencv/opencv_contrib · GitHub

コード

実行にはopencv_contribが必要。

C++

opencv_contribをダウンロードし、opencvのcmake時に例えば以下のようにOPENCV_EXTRA_MODULES_PATHオプションを指定してビルドする。

$ cmake -DOPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules -DBUILD_opencv_legacy=OFF <opencv_source_directory>

ソースコード

#include <opencv2/opencv.hpp>
#include <opencv2/core/utility.hpp>
#include <opencv2/bgsegm.hpp>

int main()
{
    // 動画ファイルの読み込み
    cv::VideoCapture cap = cv::VideoCapture("video.mp4");
    // 背景差分器の生成
    cv::Ptr<cv::BackgroundSubtractor> bgfs = cv::bgsegm::createBackgroundSubtractorGSOC();
    //cv::Ptr<cv::BackgroundSubtractor> bgfs = cv::bgsegm::createBackgroundSubtractorCNT();
    //cv::Ptr<cv::BackgroundSubtractor> bgfs = cv::bgsegm::createBackgroundSubtractorGMG();
    //cv::Ptr<cv::BackgroundSubtractor> bgfs = cv::bgsegm::createBackgroundSubtractorLSBP();
    //cv::Ptr<cv::BackgroundSubtractor> bgfs = cv::bgsegm::createBackgroundSubtractorMOG();
    //cv::Ptr<cv::BackgroundSubtractor> bgfs = cv::createBackgroundSubtractorMOG2();
    //cv::Ptr<cv::BackgroundSubtractor> bgfs = cv::createBackgroundSubtractorKNN();

    while (cv::waitKey(1) == -1)
    {
        cv::Mat frame, foreGroundMask, segm;

        cap >> frame;
        if (frame.empty())
            break;

        bgfs->apply(frame, foreGroundMask);
        frame.convertTo(segm, 0, 0.5);
        cv::add(frame, cv::Scalar(100, 100, 0), segm, foreGroundMask);
    
        cv::imshow("output", segm);
    }
    return 0;
}

Python

pipで管理している場合、以下のようにopencv-pythonをアンインストール後にopencv-contrib-pythonをインストールすればopencv_contribが使える。

pip uninstall opencv-python
pip install opencv-contrib-python

ソースコード

import cv2

cap = cv2.VideoCapture('video.mp4')
bgs = cv2.bgsegm.createBackgroundSubtractorLSBP()

while(cap.isOpened()):
    ret, frame = cap.read()
    mask = bgs.apply(frame)
    bg = bgs.getBackgroundImage()
    cv2.imshow('mask', mask)
    cv2.imshow('bg', bg)
    if cv2.waitKey(1) != -1:
        break

cap.release()
cv2.destroyAllWindows()

適用結果

比較のために各アルゴリズムを並べてみた。パラメータ調整もしてないから比較もくそもない気はするけど。GSOCが綺麗。LSBPはあんまり

www.youtube.com

あと、背景差分やるだけだったらたぶん以下のページで紹介されているBGSLibraryを使ったほうが良さそうではある。

blog.negativemind.com

tensorflowでMASK R-CNNによるSemantic Segmentation

2018-02-27T18:44:48+09:00

セマンティックセグメンテーション

下の写真みたいに、入力画像を物体ごとに領域分割する技術。

https://wiki.tum.de/display/lfdv/Image+Semantic+Segmentation

Mask R-CNN

数あるセマンティックセグメンテーションを実現する手法の中で、2018年2月現在有力とされているものの一つ（たぶん）。

www.youtube.com

アルゴリズムの詳細についての説明は他に譲る。以下のページとかを参考にする。

TensorFlowのインストール

Google先生が公開している機械学習用オープンソースライブラリ。インストール方法は巷にあふれているので適当にググってインストールする。

Tensorflow Object Detection APIのインストール

以下のGitHubのレポジトリで様々なTensorfFlowのモデルが公開されている。公式サポートではないが物体検出とセマンティックセグメンテーションのモデルも数多く公開されているので、今回はそれを使う。

github.com

インストールは公式の手順通りだが以下に適当にメモ。 models/installation.md at master · tensorflow/models · GitHub

依存パッケージのインストール

apt install protobuf-compiler
pip install pillow lxml jupyter matplotlib

Protobufファイルをコンパイル

cd [PATH to models]/research
protoc object_detection/protos/*.proto --python_out=.

PYTHONPATHの追加

cd [PATH to models]/research
export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim

モデルファイルのダウンロード

Tensorflow detection model zooから物体検出やセマンティックセグメンテーションのトレーニング済みモデルをダウンロード出来る。とりあえず一番mAPの高いmask_rcnn_inception_resnet_v2_atrous_cocoというモデルを使う。

wget http://download.tensorflow.org/models/object_detection/mask_rcnn_inception_resnet_v2_atrous_coco_2018_01_28.tar.gz
tar -zxvf mask_rcnn_inception_resnet_v2_atrous_coco_2018_01_28.tar.gz

セマンティックセグメンテーションのpythonコード

import tensorflow as tf
import numpy as np
from PIL import Image
from object_detection.utils import ops as utils_ops

import sys
sys.path.append('[modelsのパス]/research/object_detection')
from utils import label_map_util
from utils import visualization_utils as vis_util

# 学習済モデルの読み込み
PATH_TO_CKPT = 'mask_rcnn_inception_resnet_v2_atrous_coco_2018_01_28/frozen_inference_graph.pb'

detection_graph = tf.Graph()
with detection_graph.as_default():
  od_graph_def = tf.GraphDef()
  with tf.gfile.GFile(PATH_TO_CKPT, 'rb') as fid:
    serialized_graph = fid.read()
    od_graph_def.ParseFromString(serialized_graph)
    tf.import_graph_def(od_graph_def, name='')

# ラベルの読み込み
PATH_TO_LABELS = '[modelsへのパス]/research/object_detection/data/mscoco_label_map.pbtxt'
NUM_CLASSES = 90

label_map = label_map_util.load_labelmap(PATH_TO_LABELS)
categories = label_map_util.convert_label_map_to_categories(label_map, max_num_classes=NUM_CLASSES, use_display_name=True)
category_index = label_map_util.create_category_index(categories)

# 画像の読み込みとnumpy配列への変換
def load_image_into_numpy_array(image):
  (im_width, im_height) = image.size
  return np.array(image.getdata()).reshape(
      (im_height, im_width, 3)).astype(np.uint8)

filename = '[画像ファイルのパス]'
image = Image.open(filename)
image_np = load_image_into_numpy_array(image)

# セマンティックセグメンテーションの処理
with detection_graph.as_default():
    with tf.Session() as sess:
        # 入出力用テンソルのハンドルを取得
        image_tensor = tf.get_default_graph().get_tensor_by_name('image_tensor:0')
        tensor_dict = {}
        tensor_dict['num_detections'] = tf.get_default_graph().get_tensor_by_name('num_detections:0')
        tensor_dict['detection_boxes'] = tf.get_default_graph().get_tensor_by_name('detection_boxes:0')
        tensor_dict['detection_scores'] = tf.get_default_graph().get_tensor_by_name('detection_scores:0')
        tensor_dict['detection_classes'] = tf.get_default_graph().get_tensor_by_name('detection_classes:0')
        tensor_dict['detection_masks'] = tf.get_default_graph().get_tensor_by_name('detection_masks:0')
        
        # バッチ内の最初の画像の結果を取り出す
        detection_boxes = tf.squeeze(tensor_dict['detection_boxes'], [0])
        detection_masks = tf.squeeze(tensor_dict['detection_masks'], [0])
        
        # 各検出ボックスのマスクを画像全体上のマスクへ変換
        real_num_detection = tf.cast(tensor_dict['num_detections'][0], tf.int32)
        detection_boxes = tf.slice(detection_boxes, [0, 0], [real_num_detection, -1])
        detection_masks = tf.slice(detection_masks, [0, 0, 0], [real_num_detection, -1, -1])
        detection_masks_reframed = utils_ops.reframe_box_masks_to_image_masks(
            detection_masks, detection_boxes, image_np.shape[0], image_np.shape[1])
        detection_masks_reframed = tf.cast(
            tf.greater(detection_masks_reframed, 0.5), tf.uint8)
        
        # バッチ分の次元を追加
        tensor_dict['detection_masks'] = tf.expand_dims(
            detection_masks_reframed, 0)
        
        # 実行
        output_dict = sess.run(tensor_dict,
                               feed_dict={image_tensor: np.expand_dims(image_np, 0)})
        
        # バッチ分の次元の削除と型変換
        output_dict['num_detections'] = int(output_dict['num_detections'][0])
        output_dict['detection_classes'] = output_dict[
            'detection_classes'][0].astype(np.uint8)
        output_dict['detection_boxes'] = output_dict['detection_boxes'][0]
        output_dict['detection_scores'] = output_dict['detection_scores'][0]
        output_dict['detection_masks'] = output_dict['detection_masks'][0]

# 画像にマスクとバウンディングボックスを書き込んで出力
vis_util.visualize_boxes_and_labels_on_image_array(
    image_np,
    output_dict['detection_boxes'],
    output_dict['detection_classes'],
    output_dict['detection_scores'],
    category_index,
    instance_masks=output_dict.get('detection_masks'),
    use_normalized_coordinates=True,
    line_thickness=8)
Image.fromarray(image_np).save('out.png')

結果

拾ってきたフリー写真に適用した結果が以下。手だけ写ってても人間って判断してくれるのね。

nvidia-dockerインストール、コンテナ等メモ

2017-01-22T19:06:18+09:00

基本的に公式サイトの説明とかの通りにやるだけなんだけど自分用にメモ。

ホストOS：ubuntu 16.04LTS

dockerのインストール

参考： Get Docker for Ubuntu - Docker

# https通信で公開鍵ダウンロードするため
apt-get update
apt-get install curl ca-certificates

# dockerレポジトリの公開鍵の登録
curl -fsSL https://yum.dockerproject.org/gpg | apt-key add -

# add-apt-repositoryコマンドのインストール
apt-get install software-properties-common

# dockerレポジトリ追加
add-apt-repository "deb https://apt.dockerproject.org/repo/ ubuntu-$(lsb_release -cs) main"

# aptでhttps通信するため
apt-get install apt-transport-https

# dockerのインストール
apt-get update
apt-get install docker-engine

NVIDIAドライバのインストール

これが一番ハマって大変な場合が多い気がするが、ここでは省略。どうにかうまいことインストールする。

NVIDIA Dockerのインストール

# debパッケージのダウンロード（2017/1/22現在で最新のもの）
curl -LO https://github.com/NVIDIA/nvidia-docker/releases/download/v1.0.0/nvidia-docker_1.0.0-1_amd64.deb
# インストール
dpkg -i nvidia-docker_1.0.0-1_amd64.deb
rm nvidia-docker_1.0.0-1_amd64.deb
# 動作確認（GPU情報が表示されると良い）
nvidia-docker run --rm nvidia/cuda nvidia-smi

バージョンについては下記ページでチェックして適宜ダウンロードするものを確認する。

Releases · NVIDIA/nvidia-docker · GitHub

NVIDIA Dockerコンテナメモ

便利なものがあれば随時追記予定。

https://hub.docker.com/u/nvidia/
nvidia公式コンテナ。CUDAやCuDNNのバージョン、OSの種類を選べる。
https://hub.docker.com/u/kaixhin/
イギリスの研究者作成のコンテナ。色々あって便利。

C#で3次元グラフを表示する ILNumerics

2014-12-02T18:32:47+09:00

ILNumericsは.NETで使用可能な数値計算等のライブラリである．グラフ表示機能も備わっているので，それを使ってC#のWindowsフォーム上に3次元グラフを表示する．

ILNumericsのインストール

現在最新バージョン（4.x系）のILNumericsは14日間のトライアル版以外は有償だが，Community Editionという無償版が提供されていた3.x系のバージョンがNuGetでインストール可能なのでそれを使う．

まず，Visual StudioでWindowsフォームアプリケーションを作成する．

そして，プロジェクトを右クリックして「NuGetパッケージの管理」を選択する．オンラインから「ILNumerics」を検索・インストールする．

グラフ表示用コントロールの配置

フォームデザイナを開きツールボックスの適当なところで右クリックして「アイテムの選択(I)...」を選択する．

「.NET Framework コンポーネント」タブの「参照(B)...」ボタンを押して，「(ソリューションのパス)\packages\ILNumerics.3.3.3.0\lib\ILNumerics.dll」を選択したらOK．

するとツールボックスIL○○というコントロールが追加される．その中の，ILPanelコントロールをフォーム上に配置する．

使ってみる

曲面

例として，以下の2変数関数を表示させてみる．

まず，コードの適当な場所に以下のusingを書いておく．

using ILNumerics.Drawing;
using ILNumerics.Drawing.Plotting;

そして，フォームロードイベントとかの適当なイベントに以下のコードを書く．

// グラフを格納するオブジェクトの生成
var scene = new ILScene
{
    // 3次元モードでプロット領域を生成
    new ILPlotCube(twoDMode: false)
    {
        // 曲面の生成
        new ILSurface(
            (x,y) => (float)(
                Math.Sin(Math.Sqrt(x*x + y*y))/Math.Sqrt(x*x + y*y)))
    }
};
// 描画用コントロールに生成したグラフをセット
ilPanel1.Scene = scene;

実行すると以下のように3次元グラフが表示される．マウスドラッグとかホイールとかで視点や拡大率を変えられる．

等高線

サンプル用の地形データも用意されていて，以下のように使うことが出来る．

var scene = new ILScene
{
    new ILPlotCube(twoDMode: false){
        new ILSurface(ILNumerics.ILMath.tosingle(ILNumerics.ILSpecialData.terrain))
    }
};
ilPanel1.Scene = scene;

ここまでは曲面表示のためILSurfaceクラスを使ってきたが，ILContourPlotクラスを使えば以下のように等高線表示も出来る．

var scene = new ILScene
{
    new ILPlotCube{
        new ILContourPlot(ILNumerics.ILMath.tosingle(ILNumerics.ILSpecialData.terrain))
    }
};
ilPanel1.Scene = scene;

散布図

ILPointsクラスで散布図を表示させることも出来る．以下はランダムに点を打って対数軸にして表示した例．

ILNumerics.ILArray<float> p = ILNumerics.ILMath.tosingle(ILNumerics.ILMath.rand(3, 10000));
var scene = new ILScene{
    new ILPlotCube(twoDMode:false){
        new ILPoints
        {
            Positions = p,
            Color = null,
            Colors =  p,
            Size = 1,
        }
    }
};
var scaleModes = scene.First<ILPlotCube>().ScaleModes;
scaleModes.XAxisScale = AxisScale.Logarithmic;
scaleModes.YAxisScale = AxisScale.Logarithmic;
scaleModes.ZAxisScale = AxisScale.Logarithmic;

ilPanel1.Scene = scene;

Python+OpenCVで特徴量記述・アルゴリズムまとめ

2014-12-01T23:50:13+09:00

Python+OpenCVで画像の特徴点の特徴量を記述する．OpenCV2.4.9およびOpenCV3.0 alphaについて使用できるアルゴリズムをまとめる．

Python+OpenCVで特徴点抽出・使えるアルゴリズムまとめ OpenCV2.4.9と3.0 alpha - whoopsidaisies's diary
の続き．

環境

WindowsでOpenCV公式サイトのダウンロードページから2.4.9および3.0 alphaのビルド済みバイナリをダウンロードしてきて解凍したものを使う．

特徴量記述器の使い方

特徴点抽出のときのFeatureDetectorと同じように，特徴量記述についてもDescriptorExtractorという共通インターフェースが用意されている．

使い方は以下の通り．

# 引数でどの特徴量記述子を使うか指定 
extractor = cv2.DescriptorExtractor_create(extractor_name)
# 引数として画像と特徴点を渡す
# 戻り値は特徴点と特徴量
keypoints, descriptors = extractor.compute(img, keypoints)

DescriptorExtractor_createメソッドで指定出来る特徴量記述子を以下にまとめた．

OpenCVバージョン	実数ベクトル	バイナリコード
2.4.9	SIFT, SURF	BRIEF, BRISK, ~~ORB~~, FREAK
3.0 alpha	KAZE	AKAZE, BRISK, ORB

（2.4.9でORBがなぜかランタイムエラーが出るので追々調査予定）

特徴量の中身

descriptorsの中身は2次元のarrayになっており，特徴点ごとに特徴量のベクトルが格納されている．

KAZEで記述した特徴量を表示してみるとこんな感じ（0番目の点）．

>>descriptors[0]
array([ -7.38840317e-04,  -6.34267868e-04,   2.61819176e-03,
         3.50267510e-03,  -1.59906253e-04,  -4.56994586e-03,
         4.39605350e-03,   9.44076758e-03,  -1.75689301e-03,
         8.05667194e-04,   3.55383591e-03,   4.12554527e-03,
        -1.54193444e-03,   1.58668880e-03,   2.78847502e-03,
         3.14337271e-03,  -1.62520558e-02,   1.65848620e-02,
         3.65739577e-02,   2.07063138e-01,   2.64649391e-02,
        -6.13974873e-03,   9.64385048e-02,   2.91850477e-01,
         5.54781593e-02,   6.74537197e-03,   6.74520805e-02,
         8.45865980e-02,  -2.12559430e-03,   1.18403265e-03,
         5.09992335e-03,   4.04977519e-03,  -1.28035052e-02,
         6.93068025e-04,   3.93203236e-02,   4.54802722e-01,
        -2.96720478e-04,   6.83288351e-02,   8.15773308e-02,
         6.17026806e-01,  -1.08468741e-01,   5.95125668e-02,
         1.92962006e-01,   2.17324436e-01,  -1.21422755e-02,
         2.50244630e-03,   1.34693161e-02,   6.25377288e-03,
         2.55310140e-03,  -4.21544649e-02,   2.98030730e-02,
         1.50349155e-01,   4.27789390e-02,  -9.73087847e-02,
         1.63991615e-01,   1.90487400e-01,   3.39032081e-03,
        -2.32313443e-02,   1.98113456e-01,   6.58137947e-02,
        -1.16498368e-02,   2.66303378e-03,   1.25482017e-02,
         4.14769724e-03], dtype=float32)

グラフ表示だとこんな感じ．

import matplotlib.pyplot as plt
plt.plot(descriptors[0])

KAZEは64次元の実数ベクトルで特徴量記述をするので以上のようになるが，記述子によってデータ量が違うため配列の長さや型が変わってくる．

Python+OpenCVで特徴点抽出・使えるアルゴリズムまとめ OpenCV2.4.9と3.0 alpha

2014-12-01T03:12:13+09:00

軽量プログラミング言語が苦手なので敬遠していたが，世間ではPythonからOpenCVを呼ぶのが流行っているようなので，練習がてらOpenCVで使える特徴点抽出アルゴリズムをまとめてみる．

OpenCV2.4.9とOpenCV3.0 alphaについてまとめる．3.0 betaはなぜか動かなかったのでいつか暇があれば調査．

環境

WindowsでOpenCV公式サイトのダウンロードページから2.4.9および3.0 alphaのビルド済みバイナリをダウンロードしてきて解凍したものを使う．

PythonからのOpenCVの呼び出し方はこことかを参照．

特徴点抽出の使い方

OpenCVで実装されている特徴点抽出のアルゴリズムはいくつかあるが，FeatureDetectorという共通インターフェースを使うことでどのアルゴリズムでも同様の記述で使える．使い方は以下．

# 画像読み込み
img = cv2.imread('gazou.bmp')
# FeatureDetectorのインスタンスを生成
detector = cv2.FeatureDetector_create(detector_type)
# 特徴点を抽出
keypoints = detctor.detect(img)

FeatureDetector_createメソッドの引数にアルゴリズム名を文字列で渡すことで，どのアルゴリズムで特徴点抽出するかを選択することが出来る．例えば，ORBアルゴリズムで特徴点を抽出して表示するのは以下のようになる．

import cv2

img = cv2.imread('gazou.bmp')
# アルゴリズム名を引数で渡す
detector = cv2.FeatureDetector_create('ORB')
keypoints = detctor.detect(img)
# 画像への特徴点の書き込み
out = cv2.drawKeypoints(img, keypoints, None)
# 表示
cv2.imshow(name, out)
cv2.waitKey(0)

結果は以下のようになる．

ちなみに特徴点の書き込み部分を以下のようにすると，特徴点のサイズと方向を表す円が描画される．

out = cv2.drawKeypoints(img, keypoints, None, None, cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)

FeatureDetectorインターフェースで使えるアルゴリズム

FeatureDetectorインターフェースで指定できる特徴点抽出アルゴリズムはOpenCVのバージョンで変わるようなので，OpenCV2.4.9で使えるものとOpenCV3.0 alphaで使えるものを以下にまとめる．

バージョン	アルゴリズム名
2.4.9	BRISK, Dense, FAST, FASTX, GFTT, HARRIS, MSER, ORB, SIFT, STAR, SURF, SURF_OCL, SimpleBlob
3.0 alpha	AKAZE, BRISK, FAST, GFTT, HARRIS, KAZE, MSER, ORB, SimpleBlob

C++版については以下の記事にまとめてある．
OpenCV3.0.0-alphaの特徴抽出・マッチングまとめ - whoopsidaisies's diary
OpenCVで画像の特徴抽出・マッチングを行う - whoopsidaisies's diary

C#で画像をWavelet変換 Accord.NET

2014-11-30T10:32:21+09:00

C#で画像のWavelet変換を行う．コンピュータビジョン等の.NET向けのオープンソースのライブラリであるAccord.NET Frameworkを使う．

Accord.NETのインストール

NuGet経由でインストール可能．プロジェクトを右クリックして「NuGetパッケージの管理」を選択する．オンラインから「Accord.Imaging」を検索・インストール．

WaveletTransformクラス

Accord.NETのWaveletTransformクラスによってWavelet変換を行える．入力画像はグレースケールで，解像度が2のべき乗でないといけない．

ソースコード

WaveletTransformクラスの初期化時にWavelet母関数を指定する．その引数でWavelet変換のレベルを指定できる．ここではHaar関数でレベル2とした．

// 入力画像
var img = new Bitmap(@"Penguins.jpg");
// 画像の解像度が2のべき乗になるように調整
var bitWidth = Convert.ToString(img.Width - 1, 2).Length;
var bitHeight = Convert.ToString(img.Height - 1, 2).Length;
var width = (int)Math.Pow(2, bitWidth);
var height = (int)Math.Pow(2, bitHeight);
// 隙間の部分はゼロ埋め
var imgPadded = new Bitmap(width, height, img.PixelFormat);
var graphics = Graphics.FromImage(imgPadded);
graphics.DrawImage(img, 0, 0);
graphics.Dispose();
// グレースケール化
var gray = new AForge.Imaging.Filters.Grayscale(0.2125, 0.7154, 0.0721).Apply(imgPadded);
// Wavelet変換クラスの作成
//  Harrクラスの初期化時にレベルを指定出来る
var wavelet = new Accord.Imaging.Filters.WaveletTransform(new Accord.Math.Wavelets.Haar(2));
// Wavelet変換
var imgWavelet = wavelet.Apply(gray);
pictureBox1.Image = imgWavelet;

結果

逆変換

WaveletTransformクラスのBackwordプロパティをtrueにしてApplyメソッドを実行すると逆変換が出来る．

wavelet.Backward = true;
var gyaku = wavelet.Apply(imgWavelet);

C#で画像を高速フーリエ変換　AForge.NET

2014-11-30T09:19:05+09:00

C#で画像の高速フーリエ変換（FFT）を行う．コンピュータビジョン等のライブラリであるAForge.NET Frameworkを使う．

AForge.NETのインストール

Nuget経由でインストール可能．プロジェクトを右クリックして「NuGetパッケージの管理」を選択する．オンラインから「AForge」で検索．「AForge.Imaging」を選択してインストール．

ComplexImageクラス

AForge.NETのComplexImageクラスを使うと画像のFFTおよび逆FFTが出来る．入力する画像はグレースケールで解像度が2のべき乗になっている必要がある．

ソースコード

画像のグレースケール化はGrayscaleクラスを使った．

// 入力画像
var img = new Bitmap(@"Lighthouse.jpg");
pictureBox1.Image = img;
// 画像の解像度が2のべき乗になるように調整
var bitWidth = Convert.ToString(img.Width - 1, 2).Length;
var bitHeight = Convert.ToString(img.Height - 1, 2).Length;
var width = (int)Math.Pow(2, bitWidth);
var height = (int)Math.Pow(2, bitHeight);
// 隙間の部分はゼロ埋め
var imgPadded = new Bitmap(width, height, img.PixelFormat);
var graphics = Graphics.FromImage(imgPadded);
graphics.DrawImage(img, 0, 0);
graphics.Dispose();
// グレースケール化
var gray = new AForge.Imaging.Filters.Grayscale(0.2125, 0.7154, 0.0721).Apply(imgPadded);
pictureBox2.Image = gray;
// FFT
var complexImage = AForge.Imaging.ComplexImage.FromBitmap(gray);
complexImage.ForwardFourierTransform();
pictureBox3.Image = complexImage.ToBitmap();

結果画像

FFT後の値

ComplexImageクラスのDataプロパティは2次元配列でFFT後の値が格納されている．また，BackwardFourierTransformメソッドで逆FFTを行える．

Visual Studioでデバッグ時にOpenCVのMat等の画像を表示できるプラグインが便利

2014-11-28T17:56:37+09:00

OpenCV公式サイトのNEWSを見てたら「Image Watch plugin for Visual Studio」というのを見つけた．使ってみたら便利そうだったのでメモ．もっと早く知りたかった．

わざわざimshowとかのコードを追加してウィンドウを表示させなくてもMatの中の画像を確認できる．また，拡大表示とか画素値の表示も出来るため通常のOpenCVの画像表示用のウィンドウより便利な気がする．

Image Watch plugin for Visual Studioのインストール

以下のサイトからダウンロードしてきて指示にしたがってインストールするだけ．
Image Watch extension

以下のサイトに詳しい手順等載ってます．
Image Watchの使い方 | dandelion's log

使ってみる

以下のコードで試してみた．画像を表示させるためのコードは特に必要ない．画像が入っている変数があれば自動で表示してくれる．

#include <opencv2/opencv.hpp>

using namespace cv;

void main()
{
	// 画像読み込み
	Mat img = imread("Penguins.jpg");
	// Sobelフィルタ
	Mat imgSobel;
	Sobel(img, imgSobel, img.depth(), 1, 1);
	// ラプラシアンフィルタ
	Mat imgLaplacian;
	Laplacian(img, imgLaplacian, img.depth());
	// Cannyアルゴリズム
	Mat imgCanny;
	Canny(img, imgCanny, 50, 200);
}

一番下の行にブレークポイントを置いて，デバッグ実行して止める．

「表示」メニューの中から「Image Watch」を探してクリックしてウィンドウを表示させる．

そうすると以下の様なウィンドウが出てきて，Mat型の変数とその中身の画像が表示される．

左側に画像一覧があるので，クリックすれば以下のようにその画像が表示される．

マウススクロールで拡大可能．

最大まで拡大すると各画素の画素値が数字で表示される．

画素を右クリックしたら，その画素のアドレスのコピーとかも出来るもよう．

以上のようにOpenCVのMatの中の画像を簡単に確認できるので，Visual StudioでOpenCVを使う場合はかなり便利だと思う．

試してないけど配布サイトの説明によると，cv::Mat_<>, CvMat, _IplImageなんかにも対応しているらしい．

opencvで文字認識その１　Tesseractラッパ

2014-11-12T00:31:00+09:00

OpenCV3.0系から文字認識モジュールが搭載されるようなので使ってみる．現状の3.0 alphaや3.0 betaでは，文字認識モジュールはメインレポジトリに組み込まれておらず開発用レポジトリのopencv_contribの方に入っているようで，opencv_contribと一緒にOpenCVをビルドする必要がある．

OpenCVの文字認識モジュール

OpenCVのドキュメントによると，以下の２種類の文字認識方法があるらしい．

オープンソースのOCRライブラリtesseract-ocrを呼び出す方法
隠れマルコフモデルによる認識方法

今回は，1の方法について試してみる．

文字認識モジュールの準備

tesseract-ocrのダウンロード

https://code.google.com/p/tesseract-ocr/downloads/listからVC++からtesseract-ocrを呼び出す用のライブラリをダウンロード・解凍する．「tesseract-3.xx.xx-win32-lib-include-dirs.zip」って名前のやつ．今回は「tesseract-3.02.02-win32-lib-include-dirs.zip」を使った．

https://code.google.com/p/tesseract-ocr/downloads/listからtesseract-ocr用の学習済みのデータファイルをダウンロードしておく．今回は英語で試すため「tesseract-ocr-3.02.eng.tar.gz」をダウンロード・解凍する．

opencv_contribのダウンロード

https://github.com/itseez/opencv_contribからopencv_contribをダウンロード・解凍する．

OpenCVのビルド

CMakeを使ってビルドする．ここらへんを参考に．

「OPENCV_EXTRA_MODULES_PATH」パラメータの値を「(opencv_contribのパス)/modules」にセットしてConfigureする．

すると「Tesseract_INCLUDE_DIR」と「Tesseract_LIBRARY」というパラメータが出てくるので

Tesseract_INCLUDE_DIR ← (tesseract-ocrのパス)/include
Tesseract_LIBRARY ← (tesseract-ocrのパス)/lib

とセットする．

以上の設定でGenerateしてOpenCVをビルドすると文字認識モジュールが組み込まれる．で，インストールする．

動作確認

実際に画像を入力してやってみたソースコードと結果が以下．OpenCVのMat形式の画像を使って文字認識出来るため，tesseract-ocrのAPI直接叩くよりは使いやすいと思う．

追記）文字のかたまりの位置の出力が間違っていたためソースコードと結果画像を修正した．

ソースコード

#include <opencv2/opencv.hpp>
#include <opencv2/text.hpp>

void main()
{
	// 画像読み込み
	auto image = cv::imread("moji.jpg");
	// グレースケール化
	cv::Mat gray;
	cv::cvtColor(image, gray, COLOR_RGB2GRAY);
	// 文字認識クラスのインスタンス生成
	auto ocr = cv::text::OCRTesseract::create("(言語データのパス)/tessdata", "eng");

	std::string text;
	std::vector<cv::Rect> boxes;
	std::vector<std::string> words;
	vector<float> confidences;
	// 文字認識の実行
	ocr->run(gray, text, &boxes, &words, &confidences);

	// 結果出力
	printf("%s\n", text.c_str());
	// 文字のかたまりごとに出力
	printf(" 文字      | 位置       | 大きさ     | 信頼度\n");
	printf("-----------+------------+------------+----------\n");
	for (int i = 0; i < boxes.size(); i++)
	{
		printf("%-10s | (%3d, %3d) | (%3d, %3d) | %f\n",
			words[i].c_str(),
			boxes[i].x, boxes[i].y,
			boxes[i].width, boxes[i].height,
			confidences[i]);
	}
}

実行結果

C#で細線化 AForge.NET

2014-09-15T09:45:49+09:00

C#で画像の細線化処理を行って線画像を作成する．コンピュータビジョン等のライブラリであるAForge.NET Frameworkには，モルフォロジー処理が実装されているのでそれを利用する．

細線化のアルゴリズムは以下のサイトあたりを参照．
パターン認識の前処理に必要な二値画像の細線化：CodeZine
細線化アルゴリズム画像処理ソリューション
 technotype

AForge.NETのインストール

ソースコード

ヒット・ミス演算を行うHitAndMissクラスを使う．

// using AForge.Imaging.Filters; をソースコードに書いておく

// 元画像の読み込み
var bmp = new Bitmap(@"moji.png");
pictureBox1.Image = bmp;

// 二値化処理
var gray = new Grayscale(0.2125,0.7154,0.0721).Apply(bmp);
var binary = new Threshold().Apply(gray);
pictureBox2.Image = binary;            
            
// 細線化用の８つのフィルタを作成
var filterSequence = new FiltersSequence();
filterSequence.Add(new HitAndMiss(
    new short[,] { { 0, 0, 0 }, { -1, 1, -1 }, { 1, 1, 1 } },
    HitAndMiss.Modes.Thinning));
filterSequence.Add(new HitAndMiss(
    new short[,] { { -1, 0, 0 }, { 1, 1, 0 }, { -1, 1, -1 } },
    HitAndMiss.Modes.Thinning));
filterSequence.Add(new HitAndMiss(
    new short[,] { { 1, -1, 0 }, { 1, 1, 0 }, { 1, -1, 0 } },
    HitAndMiss.Modes.Thinning));
filterSequence.Add(new HitAndMiss(
    new short[,] { { -1, 1, -1 }, { 1, 1, 0 }, { -1, 0, 0 } },
    HitAndMiss.Modes.Thinning));
filterSequence.Add(new HitAndMiss(
    new short[,] { { 1, 1, 1 }, { -1, 1, -1 }, { 0, 0, 0 } },
    HitAndMiss.Modes.Thinning));
filterSequence.Add(new HitAndMiss(
    new short[,] { { -1, 1, -1 }, { 0, 1, 1 }, { 0, 0, -1 } },
    HitAndMiss.Modes.Thinning));
filterSequence.Add(new HitAndMiss(
    new short[,] { { 0, -1, 1 }, { 0, 1, 1 }, { 0, -1, 1 } },
    HitAndMiss.Modes.Thinning));
filterSequence.Add(new HitAndMiss(
    new short[,] { { 0, 0, -1 }, { 0, 1, 1 }, { -1, 1, -1 } },
    HitAndMiss.Modes.Thinning));

// フィルタ処理の繰り返し回数を指定
var filter = new FilterIterator(filterSequence, 20);

// 細線化処理の実行
var thinned = filter.Apply(binary);
pictureBox3.Image = thinned;

実行結果．

C#でGISデータ（shpファイル）を開く DotSpatialによる方法

2014-09-15T01:10:17+09:00

DotSpatialは.NET向けのオープンソースの地理情報システムライブラリである．これを使ってGISで用いられるshpファイル（とセットのshxファイルとdbfファイル）を読み込む．

DotSpatialのインストール

Nuget経由でインストール可能．プロジェクトを右クリックして「NuGetパッケージの管理」を選択する．オンラインから「DotSpatial」で検索．たくさん出てくるが，ここでは「DotSpatial.Controls」選択してインストール．

Mapコントロールの追加

GISデータ表示用のコントロールが用意されているのでそれを使ってみる．

まず，一度プロジェクトをビルドする．そうするとDotSpatialのDLLが実行ファイルのディレクトリにコピーされる．

ツールボックスの適当なところでクリックして「アイテムの選択(I)...」を選択．

「.NET Framework コンポーネント」タブの「参照(B)...」ボタンを押して，「(実行ファイルのパス)\DotSpatial.Controls.dll」を選択したらOK．

そうすると「Map」というコントロールが追加されているのでフォームに追加する．

シェープファイルの読み込み

シェープファイルは「全国市区町村界データ | データ製品 | 製品 | ESRIジャパン株式会社」でESRI Japanが配布している全国市区町村界データを使う．ダウンロードして解答したら以下のコードを追加する．

map1.AddLayer(@"D:\Users\whoops\Downloads\japan_ver72\japan_ver72.shp");

実行すると以下のように地図が表示される．

属性情報の表示 Infoモード

上の状態だと地図が表示されるだけで何もできないためMapコントロールのモードを変える．以下のようにコードを追加してInfoモードにする．

map1.AddLayer(@"D:\Users\whoops\Downloads\japan_ver72\japan_ver72.shp");
map1.FunctionMode = DotSpatial.Controls.FunctionMode.Info;

これで実行すると以下のようにクリックした位置の市町村の情報を見れる．

領域の選択 Selectモード

Selectモードににするとドラッグで領域指定できる．

map1.FunctionMode = DotSpatial.Controls.FunctionMode.Select;

選択しただけだと何も表示されないので，TextBoxに選択された領域の情報を表示してみる．MAPコントロールのMouseUpイベントを追加して以下のコードを書き込む．

private void map1_MouseUp(object sender, MouseEventArgs e)
{
    textBox1.Text = "";
    // MAPコントロールが保持しているレイヤーデータを取得
    var featureLayer = map1.Layers[0] as DotSpatial.Symbology.FeatureLayer;
            
    // すべてのデータについてループ
    for (int i = 0; i < featureLayer.DrawnStates.Length; ++i)
    {
        // 選択されているかどうか判別
        if (featureLayer.DrawnStates[i].Selected == true)
        {
            // i番目の属性情報取得
            var feature = featureLayer.FeatureSet.GetFeature(i);

            // DataRowからフィールド名でアクセス
            textBox1.Text += System.String.Format(
                "{0} : {1} {2} {3}人",
                feature.DataRow["JCODE"],
                feature.DataRow["KEN"],
                feature.DataRow["SIKUCHOSON"],
                feature.DataRow["P_NUM"]
                )
                + System.Environment.NewLine;
        }
    }
}

選択されているかどうかはレイヤーデータのDrawnStatesプロパティに格納されている．

属性情報はFeatureSetプロパティに格納されていてGetFeatureメソッドで指定した番号のデータを取得できる．

各属性情報へは，DataRawにフィールド名を指定することで取得できる．このサンプルで使っているフィールド名は「全国市区町村界データ | データ製品 | 製品 | ESRIジャパン株式会社」を参照．

実行してドラッグで領域選択すると以下のようにTextBoxに情報が表示される．

MAPコントロールなしで読み込み

MAPコントロールを配置しなくてもDataManagerクラスのOpenFileメソッドを使えばシェープファイルは読み込める．

以下にシェープファイルを読み込んで，0番目のデータの座標を出力するコードを載せる．

// シェープファイルの読み込み
var layer = DotSpatial.Data.DataManager.DefaultDataManager.OpenFile(@"D:\Users\whoops\Downloads\japan_ver72\japan_ver72.shp") 
    as DotSpatial.Data.FeatureSet;
// 0番目のデータの座標を表示
foreach (var cordinate in layer.GetFeature(0).Coordinates)
{
    Console.WriteLine(cordinate.ToString());
}

実行結果

コントロールを使わない方法だけを使う場合NuGetで「DotSpatial.Data」をインストールすればできる．

SVGアニメーションで初音ミクの一筆書き

2014-09-13T22:22:26+09:00

SVGによるアニメーションの勉強メモと，作った初音ミクの一筆書きアニメーション．

アニメーションをSVGのanimateMotion要素と，CSSのanimationプロパティを使った．本当はCSS使わないでやりたかったのだけどそれだと面倒くさそうだったのでCSSも使った．

元画像は以下のサイトから持ってきた．
piapro(ピアプロ)|イラスト「一筆書きで初音ミクを描きました」

~~以下が作ったアニメーション．SVGとCSSのアニメーションの同期の取り方がわからなかったので，読み込みの度にタイミングが変わってしまう．~~
※SVGファイルを置くのに借りていたレンタルサーバーの期限が切れてしまったため、暇なとき別のところにアップロードしなおします。

SVG animateMotion要素

赤い円を移動させるのには，SVGのanimateMotion要素を使った．

animateMotion要素を用いると，図形をpathで指定した任意の曲線に沿って移動させることが出来る．また，mpath要素によって以下のようにpathの参照が可能．

<path d="M10,110 A120,120 -45 0,1 110 10 A120,120 -45 0,1 10,110"
      stroke="lightgrey" stroke-width="2" 
      fill="none" id="theMotionPath"/>
<circle cx="10" cy="110" r="3" fill="lightgrey"  />
<circle cx="110" cy="10" r="3" fill="lightgrey"  />

<!-- Here is a red circle which will be moved along the motion path. -->
<circle cx="" cy="" r="5" fill="red">

    <!-- Define the motion path animation -->
    <animateMotion dur="6s" repeatCount="indefinite">
       <mpath xlink:href="#theMotionPath"/>
    </animateMotion>
</circle>

animateMotion - SVG | MDN

CSS animate要素

線を描いていく様子は，CSSのanimate要素を使って破線の間隔を変える方法を使った．
破線の間隔が変わることで線が伸びて行っているように見えるようだ．

How SVG Line Animation Works | CSS-Tricks

CSSに以下のように描いてやるといいようだが，stroke-dasharrayやstroke-dashoffsetの値を線の長さくらいにしなくてはならないらしく少し面倒．

path {
  stroke-dasharray: 1000;
  stroke-dashoffset: 1000;
  animation: dash 5s linear forwards;
}

@keyframes dash {
  to {
    stroke-dashoffset: 0;
  }
}

d3.jsで作成

初音ミクの座標データは画像からこつこつと抽出した．以下からダウンロード可能．
http://whoopsidaisies.site-station.net/blog/miku.csv

SVG直打ちでもよかったが，せっかくなのでd3.jsでCSVファイルを読み込んでSVGを吐き出した．

d3.csv("miku2.csv", function (data) {

    var line = d3.svg.line()
        .x(function (d) { return Math.round(d.x * 10) / 10; })
        .y(function (d) { return Math.round(d.y * 10) / 10; })
        .interpolate("linear");

    var svg = d3.select("body").append("svg").attr("width", 700).attr("height", 900);
        
    var path = svg.append("path")
        .attr({
            "d": line(data),
            "stroke": "black",
            "stroke-width": 2,
            "fill": "none",
            "id": "mikupath"
        });

    svg.append("circle")
        .attr({
            "cx": "",
            "cy": "",
            "r": "5",
            "fill": "red"
        })
        .append("animateMotion")
        .attr({
            "dur": "20s",
            "repeatCount": "indefinite"
        })
        .append("mpath")
        .attr("xlink:href", "#mikupath");
});

ソースコード全文は以下．
http://whoopsidaisies.site-station.net/blog/mikuanimation2.html

実行後のhtmlは以下．
http://whoopsidaisies.site-station.net/blog/mikuanimation.html

※レンタルサーバーの期限が切れてしまったため、暇なとき別のところにアップロードしなおします。

PowerPointのオートシェイプで好きな関数の曲線を作る　C# NetOfficeによる方法

2014-09-11T12:43:18+09:00

sin(x)/xのオートシェイプ

オートシェイプできれいな波形を作りたいときがたまにあるのだけど，C#を使って上の画像みたいにsin(x)/xのオートシェイプをわりときれいに作れたので手順をまとめる．

試した環境はPowerPoint2010とVisual Studio 2013．バージョンが違うと少し変わる可能性はあると思う．（わざわざC#でやらずともVBAマクロでも同じことは出来るけど，VBAは苦手なのでC#でやる．VBAでのやり方も後述します）

出来上がったPowerPointファイルを以下からダウンロードできるようにしておいた．
sinc.pptx - Google ドライブ

NetOffice.PowerPointのインストール

以前「C#でExcelファイルを作成・グラフを挿入する NetOfficeによる方法 - whoopsidaisies's diary」で紹介した，NetOfficeという.NET用のライブラリを使うとPowerPoint等にアクセスして色々出来るのでそれを利用する．

NetOfficeはNuGet経由でインストール可能．プロジェクトを右クリックして「NuGetパッケージの管理」を選択する．オンラインから「NetOffice.PowerPoint」を検索してインストール．

ソースコード

以下にソースコードを載せる．スライドを作ってAddCurveメソッドで曲線を追加しているだけである．

AddCurveメソッドの引数として，float[(点の数),2]に座標を格納して渡す．この点の座標を元にベジェ曲線を描くようである．点の数は3n+1個にしないと止まるので注意．

点の座標はスライドの左上が(0,0)でピクセルで指定する．スライドのオブジェクトのPageSetupプロパティにスライドの幅と高さが格納されているのでそれを元に大きさを調整した．

static void Main(string[] args)
{
    // パワーポイントを開く
    using (var app = new NetOffice.PowerPointApi.Application())
    {
        // プレゼンテーションの作成
        var presentation = app.Presentations.Add();
        // スライドの追加
        var slide = presentation.Slides.Add(1, NetOffice.PowerPointApi.Enums.PpSlideLayout.ppLayoutBlank);

        // sin(x)/xの座標を得る
        var sinc = GetSinc(presentation.PageSetup.SlideWidth, presentation.PageSetup.SlideHeight);

        // 座標からベジェ曲線を描画する
        // 引数はfloatの二次元配列．座標の数は6n+1個じゃないといけないため注意．
        slide.Shapes.AddCurve(sinc);

        // プレゼンテーションの保存
        presentation.SaveAs(@"D:\a.pptx");
        // プレゼンテーションファイルを閉じる
        presentation.Close();
        // パワーポイントの終了　作成したファイル以外も閉じられるので注意
        //app.Quit();
    }
}

/// <summary>
/// sin(x)/x関数の座標をスライドの大きさに合わせて拡大，
/// </summary>
/// <param name="slideWidth">スライドの幅</param>
/// <param name="slideHeight">スライドの高さ</param>
/// <returns>sin(x)/x関数を描くための点の座標</returns>
static float[,] GetSinc(float slideWidth, float slideHeight)
{
    // xが-4π～4πまでのsin(x)/xを求める．601点．
    var xs = Enumerable.Range(-300, 601).Select(x => x * 4 * Math.PI / 300);
    var ys = xs.Select(x => x != 0 ? Math.Sin(x) / x : 1);

    // PowerPointのスライドのサイズに合わせて移動・拡大をする
    // 中心座標
    var cx = slideWidth / 2;
    var cy = slideHeight / 2;
    // オブジェクトのだいたいの大きさ
    var width = slideWidth * 0.8;
    var height = slideHeight * 0.8;
    var pptXs = xs.Select(x => x / (4 * Math.PI) * width / 2 + cx).ToArray();
    var pptYs = ys.Select(y => -y * height / 2 + cy).ToArray();

    // AddCurveメソッドに渡すためにfloatの2次元配列に代入する
    var sinc = new float[pptXs.Length, 2];
    for (int i = 0; i < pptXs.Length; ++ i)
    {
        sinc[i, 0] = (float)pptXs[i];
        sinc[i, 1] = (float)pptYs[i];
    }
    return sinc;
}

実行すると，記事の最初の画像のpptxファイルが作成される．GetSincメソッドの部分を適当な座標を格納をするように変えれば自分の好きな曲線を引ける．

ちなみに出来た曲線はオートシェイプなので，以下の画像のように線の太さとか種類とか色とかも簡単に変えられる．

拡大してもきれい．

VBAマクロでのやり方

記事の最初にも述べたが，C#を使わずともVBAマクロで同じことが出来る．以下に参考になるコードを載せる（ここのサンプル見やすくしただけだけど）．

これの点の座標を引きたい曲線の座標にしてやればOK.

Sub DrawCurve()
    ' 1枚目のスライドのオブジェクトを得る
    Dim slide As PowerPoint.slide
    Set slide = ActivePresentation.Slides(1)
       
    ' ベジェ曲線を引くための点の座標を配列に格納
    ' ここの座標の値を適当に変えてやれば好きな曲線が引ける
    Dim points(1 To 7, 1 To 2) As Single
    points(1, 1) = 0
    points(1, 2) = 0
    points(2, 1) = 72
    points(2, 2) = 72
    points(3, 1) = 100
    points(3, 2) = 40
    points(4, 1) = 20
    points(4, 2) = 50
    points(5, 1) = 90
    points(5, 2) = 120
    points(6, 1) = 60
    points(6, 2) = 30
    points(7, 1) = 150
    points(7, 2) = 90
    
    ' 曲線の追加
    slide.Shapes.AddCurve SafeArrayOfPoints:=points
End Sub

OpenCVでDeepFlow

2014-08-21T22:16:42+09:00

opencv_contribを見てたら，DeepFlowというオプティカルフローのアルゴリズムが実装されていたので勉強ついでに使ってみる．

DeepFlow

DeepFlowはコンピュータビジョンの分野では有名な国際学会ICCV2013でWeinzaepfelらによって発表されたアルゴリズムである．
HAL - INRIA :: [hal-00873592, version 1] DeepFlow: Large displacement optical flow with deep matching

DeepFlowではDeep Matchingという画像のマッチング手法（これも同論文内で提案されている）を用いてオプティカルフローを求めている．

以下の画像にアルゴリズムの全体像がまとめられている．

LEAR - DeepMatchingFlow

パワーポイントの資料はこちら

Deep Matching

Deep Matchingでは，畳み込み，プーリング，サブサンプリングを繰り返しすことで，画像間のQuasi-Denseなマッチング（日本語でなんていうかわからない．準密？）を求める．

Deep Learningで注目を集めているConvolutional Neural Networks（CNN）に似たアプローチとなっている．

Deep Matchingを使うと以下のように非剛体のマッチングもうまく出来るようである．

Jerome Revaud

オプティカルフロー

DeepFlowでは，時間的輝度勾配と空間的輝度勾配の拘束条件に加えて，Deep Matchingで求めた対応とオプティカルフローとの差異も拘束条件として目的関数に入れることで，密でかつ大きな動きにも強いオプティカルフローを得るようである．

目的関数の最小化はSOR法という反復法で行っているようである．

DeepFlowで以下の画像みたいな感じにマッチングとオプティカルフローが得られるらしい．

LEAR - DeepMatchingFlow

OpenCVで動かしてみる

DeepFlowは2014/8/21現在opencv_contribに入っているが，opencv_contribは開発用リポジトリらしいので自己責任で．

ここからソースを落としてきて，OpenCVのCMakeのオプションで「OPENCV_EXTRA_MODULES_PATH」を「（opencv_contribのパス）/modules」としてgenerate，ビルドしてやるとOpenCVにopencv_contrib内のモジュールが組み込まれる．

実際にDeepFlowを動かしてみたソースコードは以下．
DeepFlowのパラメータはここを参照．

#include <opencv2/opencv.hpp>
#include <opencv2/optflow.hpp>

void main()
{
	using namespace cv;

	// DeepFlow計算用のインスタンスを生成
	auto deepflow = optflow::createOptFlow_DeepFlow();
	// 動画読み込み
	auto capture = VideoCapture("video.mp4");
	
	// 前のフレーム保存
	// まだグレースケールしか対応してないようなので変換
	Mat prev, tmp;
	capture >> tmp;
	cvtColor(tmp, prev, COLOR_RGB2GRAY);

	while (cv::waitKey(1) == -1)
	{
		Mat curr;
		capture >> tmp;
		if (tmp.empty())
			break;
		cvtColor(tmp, curr, COLOR_RGB2GRAY);

		// オプティカルフローの計算
		Mat flow;
		deepflow->calc(prev, curr, flow);

		// 表示するようにX成分とY成分に分解
		Mat flowXY[2];
		split(flow, flowXY);

		// 極座標に変換
		Mat magnitude, angle;
		cartToPolar(flowXY[0], flowXY[1], magnitude, angle, true);

		//  色相（H）はオプティカルフローの角度
		//  彩度（S）は0～1に正規化したオプティカルフローの大きさ
		//  明度（V）は1
		Mat hsvPlanes[3];
		hsvPlanes[0] = angle;
		hsvPlanes[1] = magnitude;
		hsvPlanes[2] = Mat::ones(angle.size(), CV_32F);
		//  HSVを合成して一枚の画像にする
		Mat hsv;
		merge(hsvPlanes, 3, hsv);

		// 表示
		imshow("DeepFlow", hsv);

		// 前のフレームを保存
		prev = curr;
	}
}

結果はこんな感じ．かなり時間かかった．
ちょいちょい真っ赤になるのは仕様なのかバグなのか．

OpenCVでDeepFlow - YouTube

OpenCV3.0.0-alphaの特徴抽出・マッチングまとめ

2014-08-20T20:02:15+09:00

OpenCV3.0.0-alphaのパッケージが公開されたと話題になっていたので使ってみる．

Change Logを見るとAKAZE特徴量が組み込まれている．
AKAZE特徴量の紹介と他特徴量との比較 - 遥かへのスピードランナー
によるとAKAZE特徴量は，以前のOpenCVでもakaze-opencvというパッケージを入れれば使えたが，OpenCV3.0.0-alphaでは元々組み込まれているのでそのまま使えるようだ．

逆にSIFTやSURFなんかは元々OpenCVで使えたが
 OpenCV 3.0.0-alphaでSIFT/SURFを使う | .COM-POUND
によると，opencv_contribに移動されてしまいOpenCVと一緒にビルドしないと使えないようである．

OpenCV3.0.0-alphaでの変更点まとめ

以前当ブログで
 OpenCVで画像の特徴抽出・マッチングを行う - whoopsidaisies's diary
にOpenCV2.4.7の画像の特徴抽出あたりをまとめた記事を書いていたので，今回はOpenCV3.0.0-alphaでの変更点をまとめてみる．

特徴点抽出（FeatureDetectorインターフェース）

	FeatureDetector
OpenCV2.4.7	FAST，FASTX，STAR，SIFT，SURF，ORB，BRISK，MSER，GFTT，HARRIS，Dense，SimpleBlob
OpenCV3.0.0-alpha	FAST，ORB，BRISK，MSER，GFTT，HARRIS，SimpleBlob，KAZE，AKAZE
opencv_contrib	STAR，SIFT，SURF

赤字はOpenCV3.0.0-alphaで追加されたもの．
青字はopencv_contribを入れれば使えるもの．
灰色はOpenCV3.0.0-alphaでなくなってしまってopencv_contribにも入ってないもの．

FASTXとDenseはなくなってしまったようである．

特徴記述（DescriptorExtractorインターフェース）

	DescriptorExtractor
OpenCV2.4.7	SIFT，SURF，BRIEF，BRISK，ORB，FRIEK
OpenCV3.0.0-alpha	BRISK，ORB，KAZE，AKAZE
opencv_contrib	SIFT，SURF，BRIEF，FREAK

赤字はOpenCV3.0.0-alphaで追加されたもの．
青字はopencv_contribを入れれば使えるもの．

特徴点マッチング（DescriptorMatcherインターフェース）

	DescriptorExtractor
OpenCV2.4.7およびOpenCV3.0.0-alpha	BruteForce，BruteForce-L1，BruteForce-SL2，BruteForce-Hamming，BruteForce-Hamming(2)，FlannBased

DescriptorMatcherに関しては変わりがないようである．

AKAZEを使ってみる

AKAZEを使ってみたかったので，OpenCV3.0.0-alphaで特徴抽出を行ってみる．ついでに他のアルゴリズムとも画像を比較してみる．特徴抽出のソースコードは以下．

cv::String detectorNames[] = {"AKAZE", "KAZE", "FAST", "ORB", "BRISK", "MSER", "GFTT", "HARRIS", "SimpleBlob",};
auto img = cv::imread("Penguins.jpg");

for (int i = 0; i < 9; i++)
{
	auto detector = cv::FeatureDetector::create(detectorNames[i]);
	std::vector<cv::KeyPoint> keyPoints;
	detector->detect(img, keyPoints); 

	cv::Mat output;
	cv::drawKeypoints(img, keyPoints, output, cv::Scalar::all(-1),cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);

	cv::imwrite(detectorNames[i] + ".bmp", output);
}

AKAZE

KAZE

FAST

ORB

BRISK

MSER

GFTT

HARRIS

SimpleBlog

C#でDeep Learning（Accord.NETによる方法）

2014-08-19T01:54:20+09:00

流行りのDeep LearningをC#で試してみる．機械学習やコンピュータビジョン，信号処理等の.NET向けのオープンソースのライブラリであるAccord.NET FrameworkにDeep Learningが実装されているのでそれを使う．

Deep Belief Networks(DBN), Deep Neural Networks(DNNs)とおまけにRestricted Boltzmann Machine(RBM)を単体で動かしてみる．

Deep Learning自体については以下のページ等を参考に．
MIRU2014 tutorial deeplearning
Deep Learning技術の今
 ディープラーニングチュートリアル（もしくは研究動向報告）

Accord.NETのインストール

NuGet経由でインストール可能．プロジェクトを右クリックして「NuGetパッケージの管理」を選択する．オンラインから「Accord.Neuro」を検索・インストール．

ソースコード

Deep Belief Networks(DBN) - 教師あり学習(Back propagation)
Deep Belief Networks(DBN) - 教師なし学習(Contrastive Divergence)
Deep Neural Networks(DNNs)
Restricted Boltzmann Machine(RBM)

を動かすサンプルコードを載せていくが，いずれのサンプルでも以下のusingを書いておくこと．

using Accord.Neuro;
using Accord.Neuro.Networks;
using Accord.Neuro.Learning;
using AForge.Neuro.Learning;
using Accord.Neuro.ActivationFunctions;
using Accord.Math;

Deep Belief Networks(DBN) - 教師あり学習(Back propagation)

// トレーニングデータ
double[][] inputs = {
    new double[] { 1, 1, 1, 0, 0, 0 },
    new double[] { 1, 0, 1, 0, 0, 0 },
    new double[] { 1, 1, 1, 0, 0, 0 },
    new double[] { 0, 0, 1, 1, 1, 0 },
    new double[] { 0, 0, 1, 1, 0, 0 },
    new double[] { 0, 0, 1, 1, 1, 0 },
};
double[][] outputs = {
    new double[] { 1, 0 },
    new double[] { 1, 0 },
    new double[] { 1, 0 },
    new double[] { 0, 1 },
    new double[] { 0, 1 },
    new double[] { 0, 1 },
};

// DBNの生成
var network = new DeepBeliefNetwork(
    inputsCount: inputs.Length,         // 入力層の次元
    hiddenNeurons: new int[] { 4, 2 }); // 隠れ層と出力層の次元

// ネットワークの重みをガウス分布で初期化する
new GaussianWeights(network).Randomize();
network.UpdateVisibleWeights();

// DBNの学習アルゴリズムの生成  5000回繰り返し入力
var teacher = new BackPropagationLearning(network);                        
for (int i = 0; i < 5000; i++)
    teacher.RunEpoch(inputs, outputs);

// 重みの更新
network.UpdateVisibleWeights();

// 学習されたネットワークでテストデータが各クラスに属する確率を計算
double[] input = { 1, 1, 1, 1, 0, 0 };
var output = network.Compute(input);

//  一番確率の高いクラスのインデックスを得る
int imax; output.Max(out imax);

// 結果出力
Console.WriteLine("class : {0}", imax);
foreach (var o in output)
{
    Console.Write("{0} ", o);
}

実行結果

class : 0
0.883118949465337 0.115560850111682

Deep Belief Networks(DBN) - 教師なし学習(Contrastive Divergence)

// トレーニングデータ
double[][] inputs = {
    new double[] { 1, 1, 1, 0, 0, 0 },
    new double[] { 1, 0, 1, 0, 0, 0 },
    new double[] { 1, 1, 1, 0, 0, 0 },
    new double[] { 0, 0, 1, 1, 1, 0 },
    new double[] { 0, 0, 1, 1, 0, 0 },
    new double[] { 0, 0, 1, 1, 1, 0 },
};

// DBNの生成
var network = new DeepBeliefNetwork(
    inputsCount: 6,
    hiddenNeurons: new int[] { 4, 2 });

// ネットワークの重みをガウス分布で初期化する
new GaussianWeights(network).Randomize();
network.UpdateVisibleWeights();

// DBNの学習アルゴリズムの生成  5000回繰り返し入力
var teacher = new DeepBeliefNetworkLearning(network)
{
    Algorithm = (h, v, i) => new ContrastiveDivergenceLearning(h, v)
};
var layerData = teacher.GetLayerInput(inputs);
for (int i = 0; i < 5000; i++)
    teacher.RunEpoch(layerData);
// 重みの更新
network.UpdateVisibleWeights();

// 学習されたネットワークでテストデータが各クラスに属する確率を計算
double[] input = { 1, 1, 1, 1, 0, 0 };
var output = network.Compute(input);

//  一番確率の高いクラスのインデックスを得る
int imax; output.Max(out imax);

// 結果出力
Console.WriteLine("class : {0}", imax);
foreach (var o in output)
{
    Console.Write("{0} ", o);
}

実行結果

class : 1
0.529437183967883 0.554114047128916

Deep Neural Networks(DNNs)

// トレーニングデータ
double[][] inputs = {
    new double[] { 1, 1, 1, 0, 0, 0 },
    new double[] { 1, 0, 1, 0, 0, 0 },
    new double[] { 1, 1, 1, 0, 0, 0 },
    new double[] { 0, 0, 1, 1, 1, 0 },
    new double[] { 0, 0, 1, 1, 0, 0 },
    new double[] { 0, 0, 1, 1, 1, 0 },
};
double[][] outputs = {
    new double[] { 1, 0 },
    new double[] { 1, 0 },
    new double[] { 1, 0 },
    new double[] { 0, 1 },
    new double[] { 0, 1 },
    new double[] { 0, 1 },
};

// ネットワークの生成
var network = new DeepBeliefNetwork(
    inputsCount: inputs.Length,         // 入力層の次元
    hiddenNeurons: new int[] { 4, 2 }); // 隠れ層と出力層の次元

// DNNの学習アルゴリズムの生成
var teacher = new DeepNeuralNetworkLearning(network)
{
    Algorithm = (ann, i) => new ParallelResilientBackpropagationLearning(ann),
    LayerIndex = network.Machines.Count - 1,
};

// 5000回繰り返し学習
var layerData = teacher.GetLayerInput(inputs);
for (int i = 0; i < 5000; i++)
    teacher.RunEpoch(layerData, outputs);

// 重みの更新
network.UpdateVisibleWeights();

// 学習されたネットワークでテストデータが各クラスに属する確率を計算
double[] input = { 1, 1, 1, 1, 0, 0 };
var output = network.Compute(input);

//  一番確率の高いクラスのインデックスを得る
int imax; output.Max(out imax);

// 結果出力
Console.WriteLine("class : {0}", imax);
foreach (var o in output)
{
    Console.Write("{0} ", o);
}

実行結果

class : 0
0.999680477117216 0.00120961077917418

Restricted Boltzmann Machine(RBM)

// トレーニングデータ
double[][] inputs = {
    new double[] { 1, 1, 1, 0, 0, 0 },
    new double[] { 1, 0, 1, 0, 0, 0 },
    new double[] { 1, 1, 1, 0, 0, 0 },
    new double[] { 0, 0, 1, 1, 1, 0 },
    new double[] { 0, 0, 1, 1, 0, 0 },
    new double[] { 0, 0, 1, 1, 1, 0 },
};
double[][] outputs = {
    new double[] { 1, 0 },
    new double[] { 1, 0 },
    new double[] { 1, 0 },
    new double[] { 0, 1 },
    new double[] { 0, 1 },
    new double[] { 0, 1 },
};

// RBMの生成
var rbm = new RestrictedBoltzmannMachine(
    inputsCount: 6, 
    hiddenNeurons: 2);

// トレーニングデータで学習
var teacher = new ContrastiveDivergenceLearning(rbm);
for (int i = 0; i < 5000; i++)
    teacher.RunEpoch(inputs);

// テストデータ
double[] input = { 1, 1, 1, 1, 0, 0 };

// 学習されたネットワークで各クラスに属する確率を計算
var output = rbm.Compute(input);

//  一番確率の高いクラスのインデックスを得る
int imax; output.Max(out imax);

// 結果出力
Console.WriteLine("class : {0}", imax);
foreach (var o in output)
{
    Console.Write("{0} ", o);
}

実行結果

class : 1
0.133832413712274 0.906343089146992

C#でSVM　libsvm.netによる方法

2014-08-16T18:30:02+09:00

SVMのライブラリであるLIBSVMを.NETプロジェクトで使えるようにするlibsvm.netを動かしてみる．

libsvm.netのインストール

NuGet経由でインストール可能．プロジェクトを右クリックして「NuGetパッケージの管理」を選択する．オンラインから「libsvm.net」を検索・インストール．

動作確認

libsvm.netでは，トレーニングデータやテストデータをLIBSVMと同じ形式でファイルから入力できる．データのフォーマットは以下の通りである．

<label> <index1>:<value1> <index2>:<value2> ... <indexN>:<valueN>
<label> <index1>:<value1> <index2>:<value2> ... <indexN>:<valueN>
<label> <index1>:<value1> <index2>:<value2> ... <indexN>:<valueN>
.
.
.
<label> <index1>:<value1> <index2>:<value2> ... <indexN>:<valueN>
LIBSVMの入力データ形式について

ここにLIBSVM用のデータセットが落ちていたので，fourclassというデータセットを使ってみる．

以下に，分類器を動かすソースコード乗せる．

// トレーニングデータの読み込み
var training = libsvm.ProblemHelper.ReadProblem("fourclass");
// RBFカーネルを生成
var gamma = 1;
var kernel = libsvm.KernelHelper.RadialBasisFunctionKernel(gamma);
// C-SVC用のクラスの生成
var c = 1;
var svm = new libsvm.C_SVC(training, kernel, c);

// テストデータの読み込み（面倒だったのでトレーニングデータをそのまま使ってる）
var test = libsvm.ProblemHelper.ReadProblem("fourclass");
for (int i = 0; i < test.l; i++)
{
    // 予測値
    var z = svm.Predict(test.x[i]);
    // 入力ファイルについているラベル
    var y = test.y[i];
    // 予測値と正解値を出力
    Console.WriteLine("{0}:{1} {2}", i, z, y);
}

トレーニングデータとテストデータは同じものを使った．実行すると，予測値と正解値が出力される．

上記コードではパラメータ選択とかまでは行っていないが，結構簡単に使えそう．他にも回帰 (ϵ-SVR)や外れ値検出 (One-Class SVM) が出来るようである．

C# LINQでFIRフィルタ

2014-07-18T23:32:42+09:00

LINQを使った，FIRフィルタ演算を行う関数．

ソースコード

/// <summary>
/// FIRフィルタをかけたデータを返す
/// </summary>
/// <param name="data">入力データ</param>
/// <param name="coefficients">フィルタ係数</param>
/// <returns>FIRフィルタをかけたデータ</returns>
List<double> FiniteImpulseResponseFilter(
    List<double> data,
    List<double> coefficients)
{
    return Enumerable.Range(0, data.Count - coefficients.Count)
        .Select(i => data.Skip(i).Take(coefficients.Count)
            .Zip(coefficients, (d, c) => d * c).Sum())
        .ToList();
}

C# LINQで移動平均 - whoopsidaisies's diary
をベースにした．

.Zip(coefficients, (d, c) => d * c).Sum()

の部分で入力データとフィルタ係数の積和演算を行っている．

C# LINQで移動平均

2014-07-18T22:54:36+09:00

LINQを使った，移動平均を計算する関数．

ソースコード

/// <summary>
/// 移動平均を格納した配列を返す
/// </summary>
/// <param name="data">入力データ</param>
/// <param name="num">何個分の平均をとるか</param>
/// <returns>移動平均をとったデータ</returns>
List<double> MovingAverage(
    List<double> data,
    int num)
{
    return Enumerable.Range(0, data.Count - num)
        .Select(i => data.Skip(i).Take(num).Average())
        .ToList();
}

LINQの練習用なので効率が良いかとかは知らない．

Enumerable.Range(0, data.Count - num)

で，0～総データ数－平均を求めるときのデータの個数までの整数のシーケンスを生成する．

data.Skip(i).Take(num).Average()

で，入力データのi番目のデータからnum個データを抽出して平均をとる．

その他

FIRフィルタは以下の記事．
C# LINQでFIRフィルタ - whoopsidaisies's diary

C#でExcelファイルを作成・グラフを挿入する　NetOfficeによる方法

2014-06-19T10:10:32+09:00

C#からExcelファイルを作って，グラフも挿入したい．

以前，以下の記事でClosedXmlというライブラリを使ってC#から簡単にExcelファイルを作る方法を紹介したが，グラフの挿入が出来ないのがグラフの挿入が出来ないのが気になっていた．
C#でExcelファイルを作成する ClosedXmlを使用 - whoopsidaisies's diary

NetOfficeというライブラリを使えば，ClosedXmlと同じくらい簡単にExcelファイルが作成でき，さらにグラフの挿入も行えるので，今回はその方法を紹介する．

NetOfficeのインストール

NetOfficeはMicrosoft Officeにアクセスするための.NETのライブラリで，今回紹介するExcel以外にも，Word, PowerPoint等にもアクセスできるらしい．

インストールはNuget経由で可能．プロジェクトを右クリックして「NuGetパッケージの管理」を選択する．オンラインから検索て「NetOffice.Excel」をインストールする．

動作確認

以下，動作確認用のソースコードと生成されたExcelファイルの中身．実行環境ではExcel2010がインストール済み．

class Program
{
    static void Main(string[] args)
    {
        // Excelを開く
        using (var excelApplication = new NetOffice.ExcelApi.Application())
        {
            // ワークブックを追加
            var workBook = excelApplication.Workbooks.Add();
            // ワークシートを取得
            var workSheet = (NetOffice.ExcelApi.Worksheet)workBook.Worksheets[1];

            // データの入力
            workSheet.Cells[1, 2].Value = "ブラウザシェア";
            workSheet.Cells[2, 1].Value = "IE";
            workSheet.Cells[2, 2].Value = "52.56%";
            workSheet.Cells[3, 1].Value = "Chrome";
            workSheet.Cells[3, 2].Value = "24.7%";
            workSheet.Cells[4, 1].Value = "Firefox";
            workSheet.Cells[4, 2].Value = "12.92%";
            workSheet.Cells[5, 1].Value = "その他";
            workSheet.Cells[5, 2].Value = "=1-B2-B3-B4";
                
            // グラフオブジェクトの追加
            var chart = ((NetOffice.ExcelApi.ChartObjects)workSheet.ChartObjects()).Add(70, 100, 375, 225);
            // 円グラフに設定
            chart.Chart.ChartType = NetOffice.ExcelApi.Enums.XlChartType.xlPie;
            // データ範囲を指定
            chart.Chart.SetSourceData(workSheet.Range("A1:B5"));

            // 保存（環境に合わせて拡張子xlsとかでも大丈夫みたい）
            workBook.SaveAs(@"d:\test.xlsx");

            // Excelを終了する
            excelApplication.Quit();
        }
    }
}

出来上がったExcelファイルの中身はこんな感じ．

その他

以下のページにグラフ以外のサンプルも多数ある．
NetOffice - MS Office in .NET - Home
【NetOffice】【Excel】NetOfficeのまとめ | 創造的プログラミングと粘土細工（こっちは日本語）

C#でグラフを描く OxyPlotのFunctionSeriesによる方法

2014-02-10T12:29:39+09:00

.NETフレームワーク用のグラフ描画ライブラリであるOxyPlotを使ってグラフを描く．
その中でもFunctionSeriesクラスを使って与えられた関数のグラフを描く方法を記す．

OxyPlotはWindows Formアプリケーションだけでなく，WPF，Silverlight，Windows8等様々な環境で使える．

Chartコントロールとの比較

Chartコントロールによるグラフの描画方法は以下の別の記事で紹介したことがあるが，比較してOxyPlotの方が良いなと思っている点をあげる．

関数を渡してこの範囲を表示するとかが楽（今回の記事のメイン．詳細は後述．たとえば

のの範囲のグラフを描画とか）

マウス操作によるグラフの拡大・縮小，移動等の機能が最初からついている
ベクター画像できれいにグラフを保存できる（ChartコントロールでもEMFで保存できるがグラフの種類によっては汚い）
配列データ等にバインディングさせて，複数のグラフを描画するとき便利な気がする（今度記事にまとめようと思います）

OxyPlotのインストール

NuGet経由でインストール可能．プロジェクトを右クリックして「NuGetパッケージの管理」を選択する．オンラインから「OxyPlot」を検索．自分に合った環境のパッケージをインストール．（この記事ではOxyPlot.WindowsFormsを使った）

Plotコントロールの追加

グラフ描画用のPlotというコントロールが用意されているので使う．

ツールボックスの適当なところで右クリックして「アイテムの選択(I)...」を選択．「.NET Framework コンポーネント」タブの「参照(B)...」ボタンを押して，「(ソリューションフォルダ)\packages\OxyPlot.WindowsForms.yyyy.x.xxx.x\lib\NET45\OxyPlot.WindowsForms.dll」を選択したらOK．

すると，ツールボックスに「Plot」ができるので，Formに配置する．

FunctionSeries

OxyPlotには，Func<double, double>のメソッドのグラフを描画してくれるFunctionSeriesクラスがあるのでその使い方を記す．
Func<double, double>という書き方になじみがない人もいるかもしれないので，とりあえず標準正規分布

を描くサンプルを以下に示す．

private static double StandardNormalDistribution(double x)
{
    return 1 / Math.Sqrt(2 * Math.PI) * Math.Exp(-x * x / 2);
}

private void Form1_Load(object sender, EventArgs e)
{
    plot1.Model = new OxyPlot.PlotModel { PlotType = OxyPlot.PlotType.XY };
    var series = new OxyPlot.Series.FunctionSeries(
        StandardNormalDistribution,     // 引数double，戻り値doubleの関数
        -3,                             // x座標の最小値
        3,                              // x座標の最大値
        0.01,                           // x座標の刻み幅
        "標準正規分布");                // グラフタイトル
    plot1.Model.Series.Add(series);
}

実行すると以下のようなグラフが表示される．

StandardNormalDistributionという引数がdouble型，戻り値もdouble型の関数を定義している．これがFunc<double, double>のメソッドである．
これと，グラフ描画をしたい範囲をFunctionSeriesクラスのコンストラクタに渡してやるだけでグラフを描画してくれて非常に便利である．

ラムダ式による方法

メソッドの部分をラムダ式で表現することも当然出来るので，StandardNormalDistributionメソッドをわざわざ定義しないでも以下のように書くこともできる．（ここではラムダ式の説明は省略．わからない人はここらのへんのページを参照）

    var series = new OxyPlot.Series.FunctionSeries(
        x => 1 / Math.Sqrt(2 * Math.PI) * Math.Exp(-x * x / 2),     // 引数double，戻り値doubleの関数
        -3,                             // x座標の最小値
        3,                              // x座標の最大値
        0.01,                           // x座標の刻み幅
        "標準正規分布");                // グラフタイトル

媒介変数表示された関数のグラフ描画

これも簡単に出来るので例を示す．例として以下のカージオイドを表示させてみる．

ソースコードは以下のようになる．（ラムダ式使用）

= new OxyPlot.PlotModel { PlotType = OxyPlot.PlotType.XY };
var series = new OxyPlot.Series.FunctionSeries(
    t => 2 * Math.Cos(t) - Math.Cos(2 * t), // x座標の関数
    t => 2 * Math.Sin(t) - Math.Sin(2 * t), // y座標の関数
    0,                                      // tの最小値
    2 * Math.PI,                            // tの最大値
    Math.PI / 32,                           // tの刻み幅
    "カージオイド");                        // グラフタイトル
plot1.Model.Series.Add(series);

実行すると以下のようなグラフが表示される．

その他

PlotTypeの設定によって極座標表示とかもできるがそれはまたの機会に．

C#で地球を表示する（vtkTexturedSphereSourceによる方法）

2014-02-09T20:34:07+09:00

VTKのvtkTexturedSphereSourceで球に世界地図のテクスチャを貼り付けることで地球を表示させる．

テクスチャを使わずにvtkEarthSourceによって表示する方法は以下のページを参照．
C#で地球を表示する（VTKのEarthSourceによる方法） - whoopsidaisies's diary

ActiViz

ActiVizは，3Dコンピュータグラフィックスの可視化ライブラリVTK（The Visualization ToolKit）のC＃ラッパである．NuGetからインストールできる．簡単な解説は以下のページを参照．
C#で3Dモデル表示（VTKのC#ラッパActiVizによる方法） - whoopsidaisies's diary

RenderWindowControl

NuGetからActiVizをインストールし，RenderWindowControlをフォームに追加する．

vtkTexturedSphereSource

VTKにはvtkTexturedSphereSourceという，テクスチャを貼り付けることが出来る球オブジェクトのクラスがあるためそれを利用する．ソースコードは以下のようになる．

sing (var sphere = new Kitware.VTK.vtkTexturedSphereSource())
using (var texture = new Kitware.VTK.vtkTexture())
using (var image = new Kitware.VTK.vtkPNGReader())
using (var mapper = new Kitware.VTK.vtkCompositePolyDataMapper())
using (var actor = new Kitware.VTK.vtkActor())
{
    // 球の滑らかさ（数字が多いほど分割数が多く滑らかになる）
    sphere.SetThetaResolution(64);
    sphere.SetPhiResolution(64);
    mapper.SetInputConnection(sphere.GetOutputPort());
    actor.SetMapper(mapper);

    // 世界地図画像の読み込みとテクスチャの設定
    image.SetFileName(@"WorldMap_ja.png");
    texture.SetInputConnection(image.GetOutputPort());                
    actor.SetTexture(texture);

    renderWindowControl1.RenderWindow.GetRenderers().GetFirstRenderer().AddActor(actor);
}

実行すると以下のように地球が表示される．世界地図画像はウィキペディアにあったものを使った．

以下のように拡大表示もできるが，この方法だとベクターグラフィックの読み込みが（たぶん）できないので拡大表示する際は何かしら工夫が必要そう．

C#で地球を表示する（VTKのEarthSourceによる方法）

2014-02-09T18:55:36+09:00

C#でVTKのvtkEarthSourceクラスによって地球を表示させる．

ActiViz

RenderWindowControl

NuGetからActiVizをインストールし，RenderWindowControlをフォームに追加する．

vtkEarthSource

VTKにはvtkEarthSourceという，地球が表示されるオブジェクトがあるので使う．ソースコードは以下のようになる．

using (var earth = new Kitware.VTK.vtkEarthSource())
using (var mapper = new Kitware.VTK.vtkCompositePolyDataMapper())
using (var actor = new Kitware.VTK.vtkActor())
{
    mapper.SetInputConnection(earth.GetOutputPort());
    actor.SetMapper(mapper);
    renderWindowControl1.RenderWindow.GetRenderers().GetFirstRenderer().AddActor(actor);
}

実行すると以下のように地球が表示される．ドラッグで視点変更が出来る．

C++でLINQライクな処理（LINQ for C++による方法）

2014-01-17T01:12:13+09:00

LINQ for C++

LINQは.NET Framework3.5から組み込まれた機能で，C#等の言語でSQLのデータベース操作のようなことを可能とする．「C# is LINQ」と言う方までいほどに便利な機能．

しかし，C++/CLIはLINQに対応する予定はないとのこと．そこで，LINQに似た機能をC++に提供してくれるのがLINQ for C++である．というわけでLINQ for C++を使ってみる．

導入

LINQ for C++はヘッダファイルひとつで実装されているので，以下のページからダウンロードしてきてインクルードするだけで使用できる．NuGetからのインストールも取得可能である．

LINQ for C++ - Home

使用例１

以下に使用例を示す．LINQ for C++を使って，テストの成績のうち国語と英語がともに５０点以上の人のリストを取得している．

普通の配列に対して使うことが出来る．コード補完も微妙だし，型明記しなくちゃいけないし，メソッド形式ないしでC#のLINQほど軽快には書けないものの，便利ではある．

#include <cpplinq.hpp>

void main()
{
	using namespace cpplinq;

	struct Seiseki
	{
		char Name[256];
		int Kokugo;
		int Sansuu;
		int Eigo;
		int Rika;
		int Shakai;
	};

	Seiseki seisekiList[] = 
	{
		{"Yamada",98,78,61,83,70},
		{"Tanaka",20,33,16,39,48},
		{"Yoshida",72,65,92,13,26},
		{"Suzuki",49,82,55,11,96},
		{"Sasaki",83,47,61,23,60}
	};
	
	auto result = from_array(seisekiList)
		>> where([](Seiseki s) {return s.Kokugo > 50 && s.Eigo > 50;})
		>> to_vector();

	for (int i = 0; i < result.size();  ++ i)
		printf("%s : 国語%d 英語%d\n", result[i].Name, result[i].Kokugo, result[i].Eigo);
}

結果は以下のように表示される．

Yamada : 国語98 英語61
Yoshida : 国語72 英語92
Sasaki : 国語83 英語61

使用例２

無理やりOpenCVで使ってみる．BRISKで特徴点抽出し，オリエンテーションの向きによって表示する際の色を変えている．

#include <opencv2/opencv.hpp>
#include <cpplinq.hpp>

void main()
{
	using namespace cpplinq;

	auto image = cv::imread("Penguins.jpg");

	auto detector = cv::FeatureDetector::create("BRISK");
	std::vector<cv::KeyPoint> keyPoints;
	detector->detect(image, keyPoints);
	auto key1 = from(keyPoints)
		>> where([](cv::KeyPoint k) { return 0 <= k.angle && k.angle < 90;})
		>> to_vector();
	auto key2 = from(keyPoints)
		>> where([](cv::KeyPoint k) { return 90 <= k.angle && k.angle < 180;})
		>> to_vector();
	auto key3 = from(keyPoints)
		>> where([](cv::KeyPoint k) { return 180 <= k.angle && k.angle < 270;})
		>> to_vector();
	auto key4 = from(keyPoints)
		>> where([](cv::KeyPoint k) { return 270 <= k.angle && k.angle < 360;})
		>> to_vector();

	cv::drawKeypoints(image, key1, image, cv::Scalar(255,0,0), cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
	cv::drawKeypoints(image, key2, image, cv::Scalar(0,255,0), cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
	cv::drawKeypoints(image, key3, image, cv::Scalar(0,0,255), cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
	cv::drawKeypoints(image, key4, image, cv::Scalar(255,255,0), cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
	cv::imshow("Key Point", image);
	while(cv::waitKey(1) == -1);
}

C# 名前付きの色一覧を配列に取得してRGB値をDataGridViewに表示する

2014-01-15T20:24:29+09:00

Color構造体

.NET FrameworkのColor構造体はRGB値で色の指定もできるが，あらかじめRGB値が指定されていて名前を指定して使える色がある．「Color.Red」とか「Color.Green」といった感じで使うことが出来る．

本記事では，名前が付いた色の一覧を取得してColor構造体の配列に取得，さらにRGB値と色をDataGridViewに表示する方法を紹介する．

名前付きの色の取得

名前付きの色は，Color構造体の静的プロパティとして定義されている．色の一覧をColor構造体の配列に格納するコードは以下のようになる．

var colors = typeof(Color).GetProperties(BindingFlags.Static | BindingFlags.Public)
    .Select(p => Color.FromName(p.Name))
    .ToList();

１行目では，GetPropertiesメソッドを使って，Color構造体のパブリックな静的プロパティの型情報の一覧を取得している．BindingFlags構造体を使って取得するプロパティの検索方法を指定できるが，StaticとPublicを指定することでパブリックな静的プロパティを取得している．

２行目では，LINQのSelectメソッドとhttp://msdn.microsoft.com/ja-jp/library/system.drawing.color.fromname(v=vs.110).aspx:Color.FromaNameメソッドを使って色の名前から，その色のColorオブジェクトを生成している．

３行目で，結果をListに変換している．（ListとかArrayとかに変換したほうが後の処理が楽なので）

DataGridViewで表示

取得した色の一覧をDataGridViewコントロールに表示する．

dataGridView1.DataSource = colors;

上記の一行を追加すると以下のように色の名前とRGB値が表示される．

表示するプロパティの選択

上の画像だと「IsKnownColor」とかの余計なプロパティも表示されているので，表示しないようにする．

foreach (DataGridViewColumn col in dataGridView1.Columns)
    if (col.Name != "R" && col.Name != "G" && col.Name != "B" && col.Name != "Name")
        col.Visible = false;

DataGridViewの各列はVisibleプロパティによって表示・非表示を切り替えられるので，RGBと名前以外の列を非表示に設定している．

セルの色付け

名前とRGB値だけだとどんな色か想像がつきにくいので，セルに色を付ける．ついでに名前が表示されている列を先頭にする．

for (int i = 0; i < colors.Count; ++i)
    dataGridView1["Name", i].Style.BackColor = colors[i];
dataGridView1.Columns["Name"].DisplayIndex = 0;

DataGridViewの各セルはStyleプロパティによって色やフォント等の書式を指定出来る．ここではBackColorプロパティによって背景色を指定している．

また，DisplayIndexプロパティによって名前の表示列を先頭にしている．

実行すると以下のように名前のセルに色がついて表示される．（Transparentのところは後ろのウィンドウが表示されている．）

ソースコード

上記コードをまとめると以下のようになる．

var colors = typeof(Color).GetProperties(System.Reflection.BindingFlags.Static | System.Reflection.BindingFlags.Public)
    .Select(p => Color.FromName(p.Name))
    .ToList();

dataGridView1.DataSource = colors;

foreach (DataGridViewColumn col in dataGridView1.Columns)
    if (col.Name != "R" && col.Name != "G" && col.Name != "B" && col.Name != "Name")
        col.Visible = false;

for (int i = 0; i < colors.Count; ++i)
    dataGridView1["Name", i].Style.BackColor = colors[i];
dataGridView1.Columns["Name"].DisplayIndex = 0;

C#でOpenCVを使う（C++/CLIによる方法）

2014-01-12T11:30:50+09:00

OpenCVラッパクラス

C#でOpenCVを手軽に使うには

OpenCvSharpをつかうその17(NuGetで導入) - schima.hatenablog.com
C#でOpenCVを動かす～NuGetでOpenCV.Netをインストール - whoopsidaisies's diary

のページのように，NuGetからC#ラッパをインストールして使う方法があるが，必要な機能がラッピングされていないことがある．

このページでは，C++/CLIでOpenCVの必要な機能だけ持つラッパクラスを自分で作り，C#から呼び出す方法を紹介する．

C++/CLI

通常のC++のライブラリをC#から呼び出そうとするとDllImport属性で宣言が必要だったりして面倒であるが，C++/CLIで作ったDLLであれば参照に追加するだけで使用できる．

手順

手順は以下の通りである．

C#プロジェクト作成

実行されるC#のプロジェクト

C++/CLIのDLL用プロジェクト作成

OpenCVをラップするクラス用のプロジェクト

プロジェクトの参照の設定

作成したクラスをC＃から読み込むための設定

OpenCVのインストール

C++/CLIでラッパクラスの作成

OpenCVによる処理部分の実装

C#のプロジェクトの出力パスの変更

OpenCVのDLLの場所とかの関係上の設定

C#から呼び出す

C#からの呼び出し部分とGUIの実装

以下に各手順の詳細を記す．

C#プロジェクト作成

Visual Studioで新しいプロジェクトを作成する．

C++/CLIのDLL用プロジェクト作成

ソリューションを右クリックして，「追加」の「新しいプロジェクト(N)...」でC++/CLIのDLL作成用のプロジェクトを作成する．「Visual C++」の「CLR」の「クラスライブラリ」を選択．

プロジェクトの参照の設定

C++/CLIで作成したDLLをC#から呼び出すための参照設定を行う．C#のプロジェクト内の「参照設定」を右クリックし「参照の追加(R)...」を選択する．開いたダイアログで「ソリューション」の「プロジェクト」を選択し，C++/CLIのプロジェクトの名前のところにチェックを入れる．

OpenCVのインストール

C++/CLIのプロジェクトを右クリックし「NuGet パッケージの管理」を選択．ダイアログで「オンライン」を選択し，検索窓で「OpenCV」を検索，インストールする．

C#のプロジェクトの出力パスの変更

NuGetでインストールしたOpenCVのDLLが，C#プロジェクトで作成した実行ファイルから参照できる位置に配置されないため，実行ファイルの出力パスを変えてやる．C#のプロジェクトを右クリックし「プロパティ(R)」を選択．「ビルド」の「出力パス」を「..\Debug\」に変える（Releaseモードなら..\Release\）．

この手順を忘れると，実行時に以下のようなエラーメッセージが表示されてOpenCVの呼び出しに失敗する．

C++/CLIでラッパクラスの作成

C++/CLIでOpenCVの処理のコードを書く．C++/CLIのプロジェクトを作成したときに色々とファイルが生成されているので，そのうちの「OpenCvClrLibrary.h」（プロジェクト名.h）を以下のようにする．画像をファイルから読み込んで，BRISK特徴点を抽出して表示するサンプルである．

// OpenCvClrLibrary.h

#pragma once
#include <opencv2/opencv.hpp>

using namespace System;

namespace OpenCvClrLibrary {

	public ref class TestClass
	{
	public:
		static void TestMethod()
		{
			auto image = cv::imread("Penguins.jpg");

			auto brisk = cv::BRISK();
			std::vector<cv::KeyPoint> keyPoint;
			brisk.detect(image, keyPoint);
			cv::drawKeypoints(image, keyPoint, image);

			cv::imshow("image", image);
			while (cv::waitKey(1) == -1);
			cv::destroyAllWindows();
		}
	};
}

「ref class」はC++/CLI用のクラス．詳細は省略するが，こういう書き方をすることでC#でそのまま使えるクラスを作れる．
「auto」はc++11から追加された機能で，変数の初期値から型推論を行ってくれる．Visual Studio 2012以降では使えるみたい．横に長くなりがちなOpenCV（に限らないけど）のコードではこれを使えるのは嬉しい．

C#から呼び出す

C#から上記の特徴点抽出処理を呼び出すコードを以下のように書く．

using System;
using System.Windows.Forms;

namespace OpenCvFromCSharp
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            OpenCvClrLibrary.TestClass.TestMethod();
        }
    }
}

Buttonコントロールを配置して，クリックすると特徴点が書き込まれた画像が以下のように表示される．

C#でAI，PSD，EPS，SVG，PDF等の画像ファイルを開く（ImageMagickのC#ラッパMagick.NETによる方法）

2014-01-08T21:32:52+09:00

Magick.NET

100種類以上の画像を操作したり表示したりできるライブラリImageMagickのC#ラッパMagick.NETを使って，C#でAI，PSD，EPS，SVG，PDF等の画像ファイルを開く．

インストール

NuGet経由でインストール可能．プロジェクトを右クリックして「NuGetパッケージの管理」を選択する．オンラインから「Magick.NET」を検索してインストール．

プラットフォームを変える

プロジェクトのプラットフォームをインストールしたパッケージ（「x64」か「x86」）に変える．「Any CPU」だと動かない場合があるので注意．

サンプルコード

以下にepsファイルを開いて，PictureBoxに表示するサンプルを示す．ファイル名の部分を変えれば，eps以外のファイルも読み込むことが出来る．

var magickImage = new ImageMagick.MagickImage(
    @"blossom tree.eps",
    new ImageMagick.MagickReadSettings() { Density = new ImageMagick.MagickGeometry(300, 300) });
pictureBox1.Image = magickImage.ToBitmap();

ImageMagick.MagickGeometry(300, 300)の数字の部分を大きくすると，AI，EPS，PDF等のベクター画像の読み込み後の解像度を高くすることが出来る．

以下のように，ベクター画像を高解像度にすると拡大してもきれいに表示出来る．

whoopsidaisies's diary

Detectron2のModel Zooで物体検出、インスタンスセグメンテーション、姿勢推定

概要

Detectron2

環境

インストール

Detectron2 Model Zoo

確認用コード

結果

denseposeでU.S.A.

環境

導入

OpenCV 3.4.1で背景差分

背景差分

アルゴリズム

MOG, MOG2, GMG

KNN

CNT

LSBP

GSOC

コード

C++

ソースコード

Python

ソースコード

適用結果

tensorflowでMASK R-CNNによるSemantic Segmentation

セマンティックセグメンテーション

Mask R-CNN

TensorFlowのインストール

Tensorflow Object Detection APIのインストール

モデルファイルのダウンロード

セマンティックセグメンテーションのpythonコード

結果

nvidia-dockerインストール、コンテナ等メモ

dockerのインストール

NVIDIAドライバのインストール

NVIDIA Dockerのインストール

NVIDIA Dockerコンテナメモ

C#で3次元グラフを表示する ILNumerics

ILNumericsのインストール

グラフ表示用コントロールの配置

使ってみる

曲面

等高線

散布図

Python+OpenCVで特徴量記述・アルゴリズムまとめ

環境

特徴量記述器の使い方

特徴量の中身

Python+OpenCVで特徴点抽出・使えるアルゴリズムまとめ OpenCV2.4.9と3.0 alpha

環境

特徴点抽出の使い方

FeatureDetectorインターフェースで使えるアルゴリズム

C#で画像をWavelet変換 Accord.NET

Accord.NETのインストール

WaveletTransformクラス

ソースコード

結果

逆変換

C#で画像を高速フーリエ変換 AForge.NET

AForge.NETのインストール

ComplexImageクラス

ソースコード

結果画像

FFT後の値

Visual Studioでデバッグ時にOpenCVのMat等の画像を表示できるプラグインが便利

Image Watch plugin for Visual Studioのインストール

使ってみる

opencvで文字認識その１ Tesseractラッパ

OpenCVの文字認識モジュール

文字認識モジュールの準備

tesseract-ocrのダウンロード

opencv_contribのダウンロード

OpenCVのビルド

動作確認

ソースコード

実行結果

C#で細線化 AForge.NET

AForge.NETのインストール

C#で画像を高速フーリエ変換　AForge.NET

opencvで文字認識その１　Tesseractラッパ

PowerPointのオートシェイプで好きな関数の曲線を作る　C# NetOfficeによる方法

C#でSVM　libsvm.netによる方法

C#でExcelファイルを作成・グラフを挿入する　NetOfficeによる方法