untitled

[デバイス] Windowsのリストアイメージを作るのにZALMANのHDDケースがとても便利

2018-01-18T22:30:00.000+09:00

かなり前から「Windowsのリストアイメージを作る」作業をいっぱいしてるんですが、以前とある人に紹介してもらったデバイスがとても便利でずっと使い続けているので紹介します。 
<a name='more'></a> . 
### ZALMANのHDDケース 
公式サイトはこちら 
[ZALMAN - STRAGE/External HDD/SSD Cases](http://www.zalman.co.kr/jp/contents/products/list.html?c=700030) 
今回紹介したいのは「ZM-VExxx」シリーズです。 
 
このシリーズすでに廃盤になったZM-VE300からお世話になってます。 
 
IODD社からZM-VE400の拡張版なるものも販売されていてこれもAmazonにも並んでいます。両社の関係性はよく知りません。 
 
 
</iframe> 
</iframe> 
 
値段はケースだけです。この中に別途用意した任意の2.5インチのHDDかSSDを入れて使います。 
以前はHDDやSSDがセットになっているものも販売されていたんですが、今は見当たりませんね。 
 
 
### 最大の特徴 
HDDまたはSSD(以下HDD)の中に起動ディスクをisoファイル化したものを保存しておけば、それを仮想光学ドライブとして認識し起動ディスクにPCを起動させることができるのです。 
もちろん外付けHDDとしての機能も併用できます。 
 
### 使い方(仕様) 
0. ケースを開けて(ねじ2本ドライバ同梱)HDDを入れます 
0. USBケーブル(USB3.0対応)でWindowsPCに接続します 
0. HDDをNTFSでクイックフォーマットします 
0. 直下に[_iso]という名前でフォルダを作成します 
0. 同フォルダの中に起動ディスクをiso化したファイルを保存します 
0. 他PCにUSBで接続し、PCを起動します 
0. BootMenuを表示させZALMANの名前のデバイスを選択します 
0. isoファイルを光学ドライブとして認識して起動します 
<ul><li>_isoフォルダの中には複数のisoファイルを保存しておけます</li>
<li>その場合、デバイスのインターフェイスでisoファイルの切り替えが可能です</li>
</ul>

[WinPE] WindowsPE 10.0.16299.15 (1709相当) を作る時にエラー

2018-01-17T22:30:00.000+09:00

前のエントリで急きょFallCreateorsUpdate相当のWindowsPEを作る必要があった旨書きましたが、その際過去の例を参考に作ろうとしたらエラーになった話。 
この記事では原因は不明のまま回避だけしているので、参考にされる場合は一次的な対応と考えてください。 
また私の環境では発生しましたが、ほかの環境で同様かは不明です。 
 
<a name='more'></a> . 
 
### 過去の情報 
以前 WindowsPE 10.0.14393.0 を作る時に、Qiitaにある以下の記事に救われて参考にして本当に助かりました。 
[Qiita - Windows 10 用の Windows PE (WinPE) のUSBメモリセットアップ例](https://qiita.com/msakamoto_sf/items/3fff0e7c68e6aaf1a60e) 
今回も大部分は上記ページの通りで済んでいるので本当にお世話になります。 
以下の本文では上記ページのディレクトリ配置に準じたコマンドで記載します。 
 
 
### トラブル内容 
WindowsPE 10.0.16299.15を作るためにWADK1709を導入、今回も上記記事の通りにコマンドを流してみたら、途中からエラーが発生してしまいます。 
エラーの内容は以下のようなものです。 
<div class="border" style="background-color:#000000; color:#FFFFFF;">WinPE-Dot3Svc-Package: The specified image is no longer serviceable and may be corrupted. 
Discard the modified image and start again. 
Error: 0x80073713 
 
エラー: 14099 
 
The specified image is no longer serviceable and may be corrupted. 
Discard the modified image and start again. 
 
DISM ログ ファイルは C:\Windows\Logs\DISM\dism.log にあります 
 
(中略) 
 
WinPE-WMI-Package: The specified image is no longer serviceable and may be corrupted. 
Discard the modified image and start again. 
Error: 0x800f0830 
 
エラー: 0x800f0830 
 
DISM が失敗しました。操作は実行されませんでした。 
詳細については、ログ ファイルを確認してください。 
 
DISM ログ ファイルは C:\Windows\Logs\DISM\dism.log にあります 
</div>（ログファイルを覗いてみたんですが、私には理解できる内容ではありませんでした。） 
 
### エラー回避方法 
エラーが発生したら/discardして一旦マウントを外しましょう。 
<div class="border" style="background-color:#000000; color:#FFFFFF;">Dism /Unmount-Image /mountdir:"C:\WinPE_amd64\mount" /discard</div>しかる後にWinPE_amd64フォルダを削除して作り直しです。 
 
さて、この問題は以下のコマンド以降で発生します。 
<div class="border" style="background-color:#000000; color:#FFFFFF;">Dism /Add-Package /Image:"C:\WinPE_amd64\mount" /PackagePath:"C:\Program Files (x86)\Windows Kits\10\Assessment and Deployment Kit\Windows Preinstallation Environment\amd64\WinPE_OCs\ja-jp\WinPE-Dot3Svc_ja-jp.cab"</div>一度エラーになると、以降の行のコマンドがすべてエラーになります。 
 
`WinPE-Dot3Svc_ja-jp.cab` のファイルがないのかと思って対象のディレクトリを見てみるとファイル自体は存在しています。 
で、 WinPE-Dot3Svc とはなんなのか調べてみると「有線ネットワークでの IEEE 802.X 認証プロトコルのサポート」だそうです。 
[参考] [Hardware Dev Center - WinPE: パッケージの追加 (オプション コンポーネント リファレンス)](https://msdn.microsoft.com/ja-jp/library/windows/hardware/dn938382%28v=vs.85%29.aspx) 
幸い私の業務ではその要求はないので、この読み込みをスキップします。行の先頭に「:　」をつけるだけでもよいでしょう。 
 
 
### 関係ないけど 
前に [Stackeditで書いてBloggerに投げてみた](http://dupont-kedama.blogspot.jp/2014/10/stackeditblogger.html) って記事を書いてみたんですが、Publish機能が本当に公開になってしまうんで、ラベルつけたりもできずタイトル変えるとほかの投稿になっちゃうし、ちょっと使いづらいところがあって。 
なので今回から以下の記事の方法に変えました。 
[Qiita - BloggerでMarkdown書けるようにした。](https://qiita.com/her0m31/items/1804bdc251a647e0e9a8) 
サックリ書けていい感じです。 
 
StackEditはオンラインMarkdownエディタとしてはとても優秀だと思いますよ。 
私の使い方に合ってなかっただけで。

[WinPE] WindowsPEで画面の解像度が低いのをなんとかしようと四苦八苦した話

2018-01-16T23:00:00.000+09:00

Blog.Entry.001

実に約3年3か月ぶりのエントリ投稿です。

WindowsPEでWindowsイメージファイルからリストアするためのツールをHTAで作っていたんですが、最近購入したPCでWindowsPEの画面の解像度がどうにも低くて、HTAの画面も見づらくて、これでは困ると思い解像度を上げるための四苦八苦を記録しました。少し遠回りをしてしまったので結論だけ知りたい方が一番下の「結論」の見出しまでどうぞ。

WindowsPEでの解像度をあげる

デバイスドライバの追加

解像度が低い理由について、まずは「ビデオアダプタのドライバーが足りない」のだと考えます。
WindowsPEを作る時にデバイスドライバを追加する方法があるのは知っていたので、前にWindowsPEを作った環境(WADK)を引っ張り出してWindowsPEを作る準備をします。
今回の機種はEPSONのNA512EなのでEPSONダイレクトのWebサイトからWindows10向けのvideoドライバをダウンロードしてきます。
MSのサイト [Microsoft] Hardware Dev Center - WinPE: ドライバーの追加を見ると、サンプルの構文はDism /Add-Driver /Image:"C:\WinPE_amd64\mount" /Driver:"C:\SampleDriver\driver.inf" となっています。
これ以上の説明が探しても見つからず、NA512Eのvideoドライバを解凍してみても「driver.inf」というファイル名は見当たりません。
きっといずれかのinfファイルがその機能を果たすのだろうと推測し、 na512e_video_21_20_16_4627_w10\VGA\win64\Graphics\igdlh64.INF を指定してみました。
Dism /Add-Driver /Image:"C:\WinPE_amd64\mount" /Driver:"C:\winpe_source\WinPE_amd64\Drivers\na512e_video\Graphics\igdlh64.INF" こんな感じです。
エラーにならず成功したのでこれでよかったのだろうと考えていますが、結果的にこれで解像度はあがらなかったのでよかったのかどうか正確にはわかりません。

応答ファイルで解像度を指定してみる

さらに調べてみると、WindowsPEの起動初期化時に解像度を指定できるらしいことがわかりました。

上記のWADKの「Windows システムイメージマネージャー」を使って応答ファイルを作り、解像度を指定してみます。
ツールでは複数の機種に対応させておきたいのでNA512Eの最高解像度1980x1240ではなく、ウチではデスクトップは17インチスクエアディスプレイが主流なので1280x1024を指定してみます。
もちろんNA512Eのグラフィックも対応している解像度です。
結果として解像度は変わらず、wpeinitのログに解像度変更失敗のWarningログcan't change screen resolutionが残っています。

ほら、そろそろ辛くなってきましたよ。

そもそもUEFIモードでは解像度を変更できない?

検索していたらこんなQAがヒットしました。
TechNet - How can I change the resolution of WinPE?
If you are booting in UEFI mode, you cannot change the resolution.
「UEFIモードで起動している場合は解像度変更できねーよ」と・・・なんということでしょう。応答ファイルを作ったのは完全に無駄でした。

そう考えると思い当たる節が。前まではWindows7プリインストールまたはWindows10のWindows7ダウングレードプリインストールのPCだけ扱っていました。
この場合UEFI対応のハードであっても出荷時にUEFI=disableにされてBIOS互換で起動します。
今回のNA512EはWindows10プリインストールで購入しており、出荷時設定はUEFI=enableです。
つまりハードウェアの違いというよりUEFI設定の違いにより解像度が違うのだと考えられました。

ただ、「UEFIモードの場合は自動で適当な解像度になる」ということらしいのですが、それにしては解像度が低すぎます。800x600にも満たないんじゃないかというレベルです。

不具合だったらしい

もっと早く教えてよ

Google先生はすごいですね。うっかり以下のようなページを見つけてしまいました。
Lenovo - Microsoft Windows PE ADK 1607を使用した Windows 10のインストールで、デフォルトの解像度が落ちる – ThinkPad
UFD (USB Flash Drive)で起動し、セキュアブートが有効の場合、Microsoft Windows 10 PE ADK 1607 のインストールすると、解像度が編集されます。解像度は 640x480 に落ちます。
この問題は、Microsoft Windows PE 10 ビルド 1607の不具合です。
確かにWindowsPEを作っている環境はWindows10バージョン1607だしWADKも1607です。
(Lenovo以外のページが見当たらないんだけど)これだったのか・・・

ここでまた罠に引っかかる

じゃー早速新しいバージョンのWADKを使ってみよう。ということで、見てみると最新版はWADK 1709らしい。
[Microsoft] Hardware Dev Center - Windows アセスメント & デプロイメントキット (Windows ADK)
ダウンロードして上書きインストールしてみようと思ったら前のバージョンをアンインストールせよと。アンインストールしてからインストールを仕掛けるとなにやらダウンロードが始まりました。
かなり時間がかかりそうだったので放置してスクリーンロックがかかりましたので解除して進捗を見ようと思ったら「ようこそ」でくるくるしたままロック解除できない。
EscもCtrl+Alt+Delも電源ボタン(短く押す)も反応しません。
思い切って電源長押しで強制終了して起動してみると、今度は「更新プログラムを構成しています。100%完了コンピューターの電源を切らないでください」のくるくる表示のまま終わりません。
やっと終わったと思ったら再起動するたびに「Windowsの準備をしていますコンピューターの電源を切らないでください」くるくる表示で毎回待たされるようになってしまいました。
あかんやつや。

「Windows ADK for Windows 10 Version 1709」の説明には特に書いてないんだけど、「Windows 10 バージョン 1703 用 Windows ADK」の説明には「このバージョンの Windows ADK および Version 1703 用の Windows 10 IoT Core ADK アドオンには、Windows 10 Version 1703 が必要です。」って書いてあります。
ということはWADKのシステム要件もWindows10 1709だったんではないのかな?
でもそういうことはさ、インストールが始まる前に教えてくれるもんじゃないの?

とりあえずこの環境は捨てて、改めてWindows10バージョン1709（10.0.16299.15）の環境を作り、WADK 1709をインストールしてWindowsPE 10.0.16299.15 を作り直しました。
結果、やっと無事適当な解像度に落ち着いてくれました。

結論

WindowsPE 10.0.14393.0(1607相当) はUEFIモードで起動すると解像度が異常に低くなることがあるよ
WADKは適切なビルドバージョンのOSに入れましょう

Stackeditで書いてBloggerに投げてみた

2014-10-24T02:30:00.001+09:00

実に半年ぶりのエントリ。

マイブーム

マイブームって死語っぽいですね。

最近仕事でめっさメモとか記録とかをガリガリ書いていて、少しでも楽しようと思っていたら今更Markdownに目覚めました。

で、Bloggerの投稿もMarkdownでできたらいいのにと思ってみて検索したら最初に見つけたのがこの方法です。
Chrome アプリ StackEdit を使い Markdown で作成そして Blogger へ投稿
（もう一年前の記事ですね。）

StackEdit

とりあえずStackEdit入れてみたんですが、なんか綺麗な作りで気に入りました。

拡張

拡張はたぶんGFMと同等です。

表組みも	こんな風に	書けます
ほらね	マジこれ	便利ですよね
これ考えた人	天才	に認定します(何様

StackEdit上はシンタックスハイライトも使えるんですが、Blogger上に反映させるには
別途 google-code-prettify か highlight.js の読み込みが必要です。
今回は面倒なので省略。

ちょっと違うところ

私の知ってるMarkdownと違うのは強制改行。Space*2がなくても改行表示になります。
どっちがいいかって言われると悩ましいところですね。
Markdownのコンセプトは理解しているつもりだし、強制改行のマークはあった方がよいと思うんですが、それがSpace*2ってのは正直あまりしっくり来てない。

更新

Bloggerに投げた後もそのリンクが保たれているので、編集した結果を上書きで更新することができます。これも便利。
拡張に対応しているのでほとんどMarkdownだけで記事が書けるはず。
本当にどうしても必要なところだけhtmlタグを書けばいいし。（<!– more –> とかね。）

ちなみにこの記事の本文はBloggerのエディタを一切使わずに書きました。

まだちょっとわかってないのがラベル。
StackEditから再publishするとBlogger上で付与したラベルが消えてしまうんで、これはちょっと調べてみます。

リンク

Markdownでどうしようもないのがリンクのtarget属性。
html的にもあまりごちゃごちゃ指定すべきでない（利用者が選ぶべき）みたいな話は聞いたことがあるんですが、やはり他サイトへのリンクは半ば強制的に別ウィンドウまたは別タブで開いてほしいと思うわけです。
ということでテンプレートに「他サイトへのリンクはtarget=’_blank’になる」ようなJavaScriptを仕込みました。（今度アイコンも付与するよう検討します。）

せっかくMarkdownで書いているんですから<a href='hogehoge' target='_blank'>ふがふが</a>とかいちいち書いていられません。

[Oracle] 複数の異なるバージョンのOracleサーバーを扱う場合の注意点

2014-04-16T18:00:00.000+09:00

例えば社内に複数の異なるバージョンのOracleサーバーがある場合の注意点をチラ裏的にメモします。

実は答えはここにあります。
Oracle Client/Server Interoperability Support 現在の互換性に関するサポート状況（2013/08/01）

具体的な注意点としては以下の2点を挙げておきます。

.

注意点１　クライアント(ドライバ)バージョンの選択の話

集計業務や分析業務などのために複数のサーバーに接続する場合、ありますよね。
例えば私の環境の場合は、サーバーは Oracle9i 9.2とOracle11g 11.2 と Oracle12c 12.1 が混雑し、かつ一つのPCからどれにも接続する必要があったのですが、そんな時に上のリンク先のマトリクス図を見る必要があって、このいずれにも接続できるクライアントのバージョンは 11.1 または 11.2 であることが分かります。(この場合は11.2の方がBetterですね。)

注意点２　DBLINKが作れない話

もう一つこの話で結構悩ましいのが、データベースリンク(以下DBLINK)です。
サポートされないバージョン間で「CREATE DATABASE LINK」をすると、構文自体は通るのですが、作られたリンクテーブルを実際に参照しようとすると

ORA-03134: このバージョンのサーバーへの接続は、サポートされていません

というエラーが出ます。

ウチではOracle12cのサーバーからOracle9iのサーバーへDBLINKを作れないことでバージョン間マイグレーションやデータ連携などで結構困りました。

サポートに聞いてみたところ、直接DBLINK作るのは無理との回答でしたが、一つの解決策として

Oracle12c → Oracle11g → Oracle9i という風に間にブリッジのようなサーバーを挟むと作れる。

と教えてもらいました。

うーん、アクロバティック(°∀° )

残念ながらウチの場合は自由に使えるOracle11gがなかったのでコレは試してません。

PowerShellで「mysql.exeで外部SQLファイルを引数に使う」方法の補足

2014-03-03T17:00:00.000+09:00

少し前「PowerShellで「mysql.exeで外部SQLファイルを引数に使う」方法」という記事を書き、大反響（アクセス数合計15くらい）をいただいております。
需要のなさがよくわかる数値ですね。ありがとうございます。

さて、その中で紹介した構文

PS >Get-Content .\hogehoge.sql | mysql -u myuser -p

ですが、この外部ファイルにマルチバイト文字を使っている場合、そのままでは文字化けることが判明したので補足エントリです。

.

答えから先に書くと、仮にこの外部ファイルがUTF-8で書かれている場合、以下のように書き直す必要があります。

PS >$OutputEncoding = [text.encoding]::GetEncoding('UTF-8')
PS >Get-Content .\hogehoge.sql -Encoding 'UTF8' | mysql -umyuser -p

ここでのポイントは二つ

読み取る際の文字コード

Get-Content ～ -Encoding 'UTF8'
でファイルから読み取る際の文字コードを指定します。

これをしないと文字化けした状態で読み取られ、文字化けしたまま引き渡されるので、
検索にヒットしなかったり、文字化けした文字列が挿入されたり、途中で構文エラー等で失敗したりします。

引き渡す際の文字コード

$OutputEncoding = [text.encoding]::GetEncoding('UTF-8')
でアウトプット(＝mysql.exeに渡す)の文字コードを指定します。

これをしないと文字化けして引き渡されるので、
検索にヒットしなかったり、文字化けした文字列が挿入されたり、途中で構文エラー等で失敗したりします。
当然引き渡す前に指定しておく必要があるので先に書きます。

UTF8? UTF-8?

Get-Contentの-Encodeオプションの引数指定は 'UTF8'
[text.encoding]::GetEncoding()の引数指定は 'UTF-8'
とそれぞれ書式が違いますが、それぞれこの通りに書かないとエラーになります。
うん、しんだらいいよ。

もっと詳しい話

すごい人がこんな記事を書いてくれています。
(参考)クラシックコマンドと PowerShell の間のエンコード設定
http://d.hatena.ne.jp/ladybug/touch/20111203

引用：PowerShell ではコマンド間の入出力はオブジェクトのストリームになりました。これは、PowerShell とクラシックなコンソールコマンドの間ではオブジェクトとバイナリの間のマーシャリングが必要になるということです。また、PowerShell はコンソールコマンドとのデータのやりとりを文字列ベースで行おうと努力します。

概念が理解できてない私には、なんか、すごい、難しいです。
想像では.NET Frameworkの仕様にも関係してるんじゃないかと思ったりするんですが、むつかしいことはよくわかりません。

私なら

パイプで引き渡すメリットとしては元の文字コードから別の文字コードに変換できたり、文字列加工をできることでしょうか。
私なら気持ち悪いのでやりたくないです。

「俺は文字コードと戦いたいんじゃない。mysqlを使いたいだけなんだ。」という方は、前回も紹介した mysql.exe の --execute オプションと sourceコマンドを合わせた以下の書式がよいと思います。

PS >mysql -umyuser -p -e"source .\hogehoge.sql"

これならPowerShellのコンソールが外部ファイルを読みに行くことはなく、世界に平和が訪れます。

.

[PHP]Smarty3.1にバージョンアップして困ったことその4

2014-02-21T18:00:00.000+09:00

ウチではPHPのテンプレートライブラリ(テンプレートエンジン)であるSmartyを使ってるんですが、昨年最新版の3.1系にバージョンアップしたら色々困ったことが起きたのでその記録の続きです。

include_pathに置いているtplファイルを読んでくれない。

共通化したアプリケーションのtplファイルとか例外表示用のtplとかをPHPのinclude_pathに置いていたんですが、これを表示してくれなくなりました。
template_dir以外を読み込むときにいろいろ制約ができたみたいです。

詳しくは以下のマニュアルページを参照ください。

ファイルテンプレートリソース
http://smarty.m-takagi.org/resources.html

$use_include_pathプロパティ
http://smarty.m-takagi.org/variable.use.include.path.html
（このページは翻訳されていません）

tplファイルやpluginをinclude_pathに置く場合は
$Smarty->use_include_path = true;
をしておく必要があります。

今回の連載は一応ここまでにします。

[PHP]Smarty3.1にバージョンアップして困ったことその3

2014-02-20T18:00:00.000+09:00

プラグインディレクトリを追加しようとして怒られる。

参照させるプラグインディレクトリを追加するために

$Smarty->plugins_dir[] = './plugins';

とかやってたら

Notice: Indirect modification of overloaded property Smarty::$plugins_dir has no effect

って怒られる。
つまり$plugins_dirプロパティはマジックメソッド__get() によって返される値になったということ。
その変数への参照がないので変更ができません。

探してみると同じようなことでやられたひとがごろごろ出てくる。
(例えば)
http://blog.still-laughin.com/archives/2011/11/smarty_31.html

Smarty3.1から2系以前の記法で動かなくなったって話で、
setPluginsDir()とかaddPluginsDir()を使いなさいってことでした。

3.1以降での書き方はこう

$smarty->addPluginsDir(
    array(
        'dir1/plugins/',
        'dir2/plugins/',
    )
);

または

$smarty->setPluginsDir(
    array(
        $smarty->plugins_dir[0],
        'dir/plugins/',
    )
);

addPluginsDir()の場合は追加したものが後ろにつくので、意図的に走査する順番を変えたいなら
setPluginsDir()でセットしなおした方がよいでしょう。

マニュアルを見るとわかるのですが、この記法はPluginディレクトリ以外も同様です。
以下ディレクトリ関係のメソッドです。

get: getCacheDir(); getCompileDir(); getConfigDir(); getPluginsDir(); getTemplateDir()
set: setCacheDir(); setCompileDir(); setConfigDir(); setPluginsDir(); setTemplateDir()
add: addConfigDir(); addPluginsDir(); addTemplateDir()

（add～は複数指定可能なディレクトリのみのメソッドです。）

まだ続く予定です。

[PHP]Smarty3.1にバージョンアップして困ったことその2

2014-02-19T18:00:00.000+09:00

エラーハンドラがfiletime()やunlink()実行時のエラーを拾ってしまう。

他にも困ってる人がいました。
http://k-holy.hatenablog.com/entry/2012/05/10/212139

file_exists()等でファイルの存在確認をせずに@filetime()したり@unlink()したりしているせいで、独自のエラーハンドラーが拾ってしまう罠でした。

で、Smarty3.1のソースをいろいろ見てみると、
Smarty.class.phpの
Smarty->muteExpectedErrors()
のところに、以下のコメントがありました。
Smarty deliberately uses @filemtime() over file_exists() and filemtime() in some places. Reasons include
- @filemtime() is almost twice as fast as using an additional file_exists()
- between file_exists() and filemtime() a possible race condition is opened,
which does not exist using the simple @filemtime() approach.

うーん。
実際には1ファイルあたり0.01秒とかなんで別に気にしないんだけどなー。
それくらいは覚悟してSmarty使ってるつもりだし。
ちなみに3.0.9のソースの同じ個所では、ちゃんとfile_exists()で分岐してました。

Smartyのlibs配下のファイルを編集するのはもちろんやめた方がいいので、
Smartyを使う場合は独自のエラーハンドラーを使うのをやめる。
どうしても使う場合は
display()とかfetch()の前に$Smarty->muteExpectedErrors()後に$Smarty->unmuteExpectedErrors()を入れるようにする。
とかで回避できます。
が、どちらにしても、個人的にはあまり好きな書き方ではなく、ちょっと残念な気持ちになります。

まだ続く予定です。

[PHP]Smarty3.1にバージョンアップして困ったことその1

2014-02-18T18:00:00.000+09:00

ウチではPHPのテンプレートライブラリ(テンプレートエンジン)であるSmartyを使ってるんですが、昨年最新版の3.1系にバージョンアップしたら色々困ったことが起きたのでその記録です。
ちなみにSmarty2との後方互換を維持するためのSmartyBCクラスっていうのもあるんですが、今回は3.0と3.1の違いを中心に紹介するので触れません。

公式サイトの日本語マニュアルが実は古い。

Smartyの公式のマニュアルは公式サイトの以下のURLにあります。
http://www.smarty.net/documentation

この公式サイトのSmarty3のマニュアルは英語は更新日が2013-06-28となっていて3.1系に対応しているのですが、
日本語のものは更新日が2011-01-10で、これは3.0系のままです
なので、3.1系の新しいメソッドなどが載っていません。

新しいメソッドが追加されているだけなら古いマニュアルのままでもそれほど困ることはないのですが、Smarty3.0→3.1には互換性のない仕様変更があり、ハマります。
(詳しくは後日別エントリで紹介します。)

これについては英語のマニュアルを見るしかないと思われ、それは英語力が貧弱な私には悩まし・・・かったんですが、
なんとなく探していたら高木正弘さんのサイト http://www.m-takagi.org/ に日本語訳がありました。
http://smarty.m-takagi.org/
すばらしい。

まだ続きます。

PowerShellで「mysql.exeで外部SQLファイルを引数に使う」方法

2014-02-17T17:00:00.000+09:00

Windowsでmysqlクライアント(mysql.exe)を使う場合、何も考えなければコマンドプロンプト(cmd.exe)のCUIから利用するのが一般的でした。
時代も変わり、WindowsServer2008以降はPowerShellが標準のCUIに取って代わろうとしています。
PowerShellのCUIでもmysql.exeはほぼ同様に利用できますが、SQL文を外部ファイルから利用した場合に少し取り扱いが変わります。

.

入力のリダイレクト

コマンドプロンプトの時はこのように書いていました。

mysql -u myuser -p < C:\batch\hogehoge.sql

ところがこれをPowerShellのCUIで入力すると、

発生場所 行:1 文字:20
+ mysql -u myuser -p < C:\batch\hogehoge.sql
+                    ~
演算子 '<' は、今後の使用のために予約されています。
    + CategoryInfo          : ParserError: (:) [], ParentContainsErrorRecordException
    + FullyQualifiedErrorId : RedirectionNotSupported

と怒られます。
今後っていつだよ。出力のリダイレクト'>'は使えるのにね。

パイプで渡す

最初に思いついたのはこれでした。 PowerShellからの構文で書けるPowerShellらしい書き方です。

PS >Get-Content C:\batch\hogehoge.sql | mysql -u myuser -p

Get-Contet(略式gc)でテキストの内容を取得してパイプで後述に渡します。

これで期待通りの動作はするのですが、mysql.exeからの出力を受け取る方法がちょっと違い、枠線が表示されません。
枠線が表示されないのは外部ファイルだからではなく、パイプで渡した場合の仕様のようです。
例えば「SHOW STATUS LIKE 'TABLE%';」をした場合はこうなります。

PS >"SHOW STATUS LIKE 'TABLE%';" | mysql -u myuser -p
Enter password:******
Variable_name   Value
Table_locks_immediate   493
Table_locks_waited      0
Table_open_cache_hits   0
Table_open_cache_misses 0
Table_open_cache_overflows      0

sourceコマンド

もう一つの案はこちら。 mysql.exeの--execute(略式-e)オプションとMySQLのsourceコマンドを利用する方法です。

PS >mysql -u myuser -p -e "source C:\batch\hogehoge.sql"

これはコマンドプロンプトでも全く同じ書き方で動作します。

また、-eオプションの場合は標準出力に枠線が表示されます。

PS >mysql -u myuser -p -e "SHOW STATUS LIKE 'TABLE%';"
Enter password:******
+----------------------------+-------+
| Variable_name              | Value |
+----------------------------+-------+
| Table_locks_immediate      | 493   |
| Table_locks_waited         | 0     |
| Table_open_cache_hits      | 0     |
| Table_open_cache_misses    | 0     |
| Table_open_cache_overflows | 0     |
+----------------------------+-------+

ちなみにこの結果を一度変数に入れてから表示させるとこうなります。

PS >$result = mysql -u myuser -p -e "SHOW STATUS LIKE 'TABLE%';"
Enter password:******
PS >$result
Variable_name   Value
Table_locks_immediate   493
Table_locks_waited      0
Table_open_cache_hits   0
Table_open_cache_misses 0
Table_open_cache_overflows      0

あれ既視感。

まとめ 外部ファイルにする場合の多くはバッチで実行するので結果など見ないでしょうし、更新のみのSQL文ならどちらでも同じなので、どちらでも構わないと思います。
好きなほうを使いましょう。

[TOSDI] MySQLのBIGINT符号なしをStringで扱う理由

2013-10-30T17:00:00.000+09:00

Talend Open Studio for Data Integration関連エントリです。
今回はMySQLのBIGINT UNSIGNED(符号なし)の型のカラムを取得する際に数値型ではなく文字列型で扱う理由についての考察です。
併せてDATETIME(6)などのマイクロ秒を含む日付時刻型についての注意事項も記述します。

.

文中の「TOSDI」は「Talend Open Studio for Data Integration」を略して記述したものです。
文中の「BIGINT符号なし」は「BIGINT UNSIGNED」と同等です。

標準の動き

前回も少し触れましたが、スキーマ定義の際、BIGINT(符号あり)の場合はLong(数値型)ですが、BIGINT符号なしの列はStringクラスがプリセットされます。

結論から言うと、TOSDIにとある制限事項があり、その制限の中でこの挙動は妥当な挙動と言えます。

選択可能なJavaのデータ型

上記画像の画面でGUIにより以下の中から選択して変更することができます。

Boolean
Byte
byte[]
Character
Date
Double
Float
BigDecimal
Integer
Long
Object
Short
String
List

設定

この挙動は設定ファイルによりマッピングされたもの(正確にはマッピングされなかったもの)です。
具体的な設定の見方を記載すると長くなるので別の機会にしますが、簡単に言うと以下の通りです。

各データ型に対してどのクラスをプリセットするかが設定ファイルに書かれています。
ここで定義しなかった場合、デフォルトのクラスがプリセットされます。
デフォルトのクラスは標準ではStringになっています。

そして、BIGINTはLongにマッピングされ、BIGINT符号なしは未定義になっています。
この設定ファイルを編集すればデフォルトを変更することもできますが、このファイルでわざわざBIGINT符号なしが未定義→Stringになっているのには理由があり、以下私の推測を交えて記載します。

理由1 Longに収まらない

(PHP以外で)アプリケーション開発をされている方はすでにお気づきかもしれませんが、BIGINT符号なしが格納できる数値の最大値はかなり大きく、JavaのLong型では収まりません。

Javaの数値型(整数型)の最小最大値

型名	最小値	最大値
Short	-32768	32767
Integer	-2147483648	2147483647
Long	-9223372036854775808	9223372036854775807
BigInteger	事実上制限なし

MySQLの数値型(整数型)の最小最大値

型名	最小値	最大値
SMALLINT	-32768	32767
SMALLINT UNSIGNED	0	65535
MEDIUMINT	-8388608	8388607
MEDIUMINT UNSIGNED	0	16777215
INT	-2147483648	2147483647
INT UNSIGNED	0	4294967295
BIGINT	-9223372036854775808	9223372036854775807
BIGINT UNSIGNED	0	18446744073709551615

(TINYINTは省略)
MySQL Integer Types (Exact Value): http://dev.mysql.com/doc/refman/5.6/en/integer-types.html

実際に試してみましたが、スキーマ定義でBIGINT符号なしをLongに設定した場合、超える数値を取得したときに、明らかにオーバーしていれば例外が発生しますが、微妙なところだと丸められて誤った数値で取り扱われてしまうことがありました。
(Longで収まるかの判定をするときに計算を誤ってしまうためなんでしょうか。Java詳しくないのでよくわかりません。)

理由2 BigIntegerが使えない

Longより大きな数値を扱えるJavaのクラスはjava.math.BigIntegerなのですが、TOSDIで選択できる型は先に列挙したとおりで、残念ながらこれを選ぶことができません。
java.math.BigDecimalが選択できるのに。惜しい仕様ですね。これは使えるようにしてもいいと思うんですが。
(確実に9223372036854775807を超えないとわかっている場合のみLongに入れるという方法もありますが、私はそういうのは避けるべきと考えています。)

解決方法

そこで、どんな数値(の文字列)も確実に受け取れるのがStringというわけです。

Stringにした場合の課題と対応方法

Stringにしてしまうと困るのが四則演算ができなくなることです。
なので、加工の過程で数値として演算する場合は、別途java.math.BigIntegerをimportして、これに変換し、加工し、出力する必要があります。
(具体的な方法はここでは省略しますが、いずれ記事にしたいとは思います。)
また、MySQLから取り出すSQL文で加工し、演算が必要ない値にしてからStringに取り出すというのも選択肢の一つです。

マイクロ秒

これも前回触れた話ですが、MySQL5.6.4からDATETIME型にマイクロ秒まで格納できるようになりました。
これを取り扱うには注意が必要です。

Javaの仕様

Javaの言語で扱える日付時刻はミリ秒までです。
Java Date: http://docs.oracle.com/javase/jp/6/api/java/util/Date.html
(ナノ秒を取得するメソッドがあるみたいですが、これは現在時刻のみのようです)
ミリ秒よりも細かい精度の時刻をDate型で定義するとミリ秒に丸められてしまいます。
精度を維持するためにはこの場合もStringで受け取るしかありません。

また、マイクロ秒の時刻の演算は言語の仕様によりできません。
分解して計算するのも不可能ではないかもしれませんが、正直そんな構文見たくありません。
どうしても演算が必要な場合はSQL文で計算してからStringで取り出すのが妥当かなと思います。

注意点

注意しなければならないのは、DATETIME(6)のように定義した列もTOSDIはDATETIME()だと認識することです。
(TOSDI ver5.3.0で動作確認)
なのでデフォルトでは前回説明したとおり、Date型がプリセットされます。
これは手動で確実にStringに変更する必要があります。

Talend Open Studio for Data Integration関連エントリまとめ

.

[TOSDI] 日付時刻型のカラムを扱う場合のポイント

2013-10-28T17:00:00.000+09:00

Talend Open Studio for Data Integration関連エントリです。
今回は日付時刻型のカラムを含むテーブルのデータを取得する際の注意についてです。
主にMySQLとの関係について説明しています。他RDBMSについては各仕様に置き換えてお考えください。

.

文中の「TOSDI」は「Talend Open Studio for Data Integration」を略して記述したものです。

標準の動き

TOSDIで日付型や日付時刻型の列を含むテーブルをリポジトリに登録する際、RDBMSやデータ型の細かい違いを問わずデフォルトでは「日付パターン」が「"dd-MM-yyyy"」になっています。

TOSDIではテーブルから取得した各値(属性値)をDB上の列定義から最適なJavaの型(クラス)の変数に格納しようとします。
上の画像では左から5列目の「Type」の欄は取得後にJavaで扱う際の型になります。これはこの画面で手動で変更できます。
Javaの"Date"は日付時刻を扱うクラスで、ミリ秒まで格納できる精度を持ちます。
http://docs.oracle.com/javase/jp/6/api/java/util/Date.html
「日付パターン」はこのクラスから値を取り出して表示する際やSQL文を生成する際に使用されます。
（なお、上の画像で、「BIGINT UNSIGNED」のフィールドを"String"クラスに格納しようとする理由については次回解説する予定です。）

挿入可能なパターン

これをこのまま別のテーブルの日付型の列に挿入しようとした場合、"dd-MM-yyyy"のパターンの文字列で挿入しようとします。
これを受け入れられるRDBMSならばよいのですが、すくなくともMySQLでは無効です。
SQLモード次第で、エラーとなるか、すべて"0000-00-00"で挿入されてしまいます。
(MySQLの)DATE型であれば、"yyyy-MM-dd"などに変更する必要があります。

MySQLで日付型(DATE型)の列へのINSERT時に受け入れられる文字列は"yyyy-MM-dd"か"yy-MM-dd"です。
（区切り文字は半角記号ならほとんどの文字を受け入れる。区切り文字ナシも可。）
http://dev.mysql.com/doc/refman/5.6/en/date-and-time-types.html

時刻情報の損失

取得する元のカラムが日付時刻型で時刻まで格納している場合、時刻の部分が失われます。
MySQLのDATETIME型やTIMESTAMP型（やOracleのDATE型）の場合は時刻まで格納されている可能性があるので、秒までの時刻を取得できる日付パターンに変更すべきです。
この場合、"yyyy-MM-dd HH:mm:ss"となります。

日付パターンの選択

なお、TOSDIのGUIでは、日付パターンの列にカーソルを合わせてCtrl+Spaceでいくつかのパターンから選択できるようになります。

"yyyy-MM-dd HH:mm:ss"が選択肢にないのですが、MySQLの場合、"yyyy-MM-dd'T'HH:mm:ss"でも問題ありません。
(選択肢に"yyyy-MM-dd"がないのが謎です。)

"yyyy-MM-dd'T'HH:mm:ss"の"T"は実際に「T」という半角英字で、この書式はISO8601の定義に基づいているものと思われます。
MySQLのマニュアルでは特に説明されていませんが、エラーにならず挿入可能です。「T」以外の(記号ではない)文字は挿入時にエラーになります。
またISO8601のサブセットにあたるRFC3339で定義されている"Z"をつけ"yyyy-MM-dd'T'HH:mm:ss'Z'"にすると挿入時にエラーになります。(例:2013-10-28T11:51:45Z)

ISO8601:http://ja.wikipedia.org/wiki/ISO_8601
RFC3339:http://suika.fam.cx/~wakaba/wiki/sw/n/RFC%203339
W3CDTF:http://www.w3.org/TR/NOTE-datetime (参考)
MySQL5.6 DATETIME:http://dev.mysql.com/doc/refman/5.6/en/datetime.html

なお、MySQL5.6.4以降でDATETIMEにミリ秒まで格納している先進的なあなたは"yyyy-MM-dd'T'HH:mm:ss.SSS"で取り出してください。
ただし、マイクロ秒まで格納している場合、つまりDATETIME(6)などfsp(fractional seconds part)を4以上にしている場合は、JavaのDateクラスの制限によりこの方法では取り出せません。
これについての具体的なテクニックは次回紹介したいと思います。

デフォルトの挙動変更について

なお、この日付パターンのデフォルトをアプリで設定できたらと思うんですが、残念ながらその機能はありません。
数年前から要望は上がっているのですが、実装はされていません。
https://jira.talendforge.org/browse/TDI-5927

各RDBMSの各データ型ごとに最適な日付パターンがプリセットされているのがよいと思うんですけどね。

Talend Open Studio for Data Integration関連エントリまとめ

.

[TOSDI] DB接続情報の保持方法についての注意事項

2013-10-11T18:00:00.000+09:00

Talend Open Studio for Data Integration関連エントリです。
今回はデータベース接続のユーザー名パスワードの保持方法についてです。

.

結論

から先にいうと、ユーザー名やパスワードは暗号化されないので注意してね。ってことです。

DB接続

例えば少し前に紹介した [TOSDI]Talend Open Studio for Data Integration その2 の中で、MySQLのサーバーに接続しています。
入力インターフェイスではユーザー名は見えてますが、パスワードは黒丸で表示されるためその画面では見えません。（文字数がバレてますけど）

コードビュー

ですが、ジョブを作成してこの接続を利用すると、コードビューの画面では生テキストで表示されます。

これはエクスポートしたジョブパッケージも同様で、テキストファイルに書き込まれています。

つまり

必要な人（パスワードを知られてもよい人）にしかこのアプリケーション及びエクスポートしたジョブパッケージに触れさせないようにしましょう。

Talend Open Studio for Data Integration関連エントリまとめ

.

[TOSDI] Talend Open Studio 関連サイト

2013-10-07T17:00:00.000+09:00

Talend Open Studio for Data Integration関連エントリです。
今回はTalend Open Studioの関連サイトの紹介です。

.
紹介するサイトの半数以上は英語のサイトになります。

公式サイト

Talend.com (英語)
http://www.talend.com/
公式サイト

Talend株式会社 (日本語)
http://jp.talend.com/
公式サイトの日本語訳(兼日本法人サイト)

TalendForge Tutrials (英語)
http://www.talendforge.org/tutorials/menu.php
公式チュートリアルサイト
(ちなみにIE8では参照が困難。別のブラウザが必要。)

Talend Forum (英語)
http://www.talendforge.org/forum/
公式掲示板サイト

Talend Help Center (英語)
https://help.talend.com/display/HOME/Welcome
Knowledgebaseが充実（アカウント登録要）

Talend Busiess Community (日本語)
https://www.talend-bc.jp/
Talendの公式パートナー会社によるの日本コミュニティサイト

個人/有志サイト

Talendのススメ (日本語)
http://talend-jp.jinaka.com/index.html
更新時期 2012年
サブドメインまで作られているが、志半ばで更新が止まってしまっている。

komlog (Tag:Talend) (日本語)
http://komlog2.blog.so-net.ne.jp/tag/articles/Talend
更新時期 2010年～2013年
Talend関連のエントリがいくつか。

Talend by Example (英語)
http://www.talendbyexample.com/
各パーツの解説がある。

Talend社はもともとフランスの会社で、もしかしたらフランス語のサイトですばらしいものがあるかもしれないのですが、少なくとも私は（英語でもかなり残念なのに）フランス語が全く無理なので探していません。

Talend Open Studio for Data Integration関連エントリまとめ

.

[TOSDI] 無償版でジョブスケジューリング

2013-10-04T17:00:00.000+09:00

Talend Open Studio for Data Integration関連エントリです。
今回はジョブをスケジュールする方法について説明します。
関連して作成したジョブを他のPCで実行する方法も触れます。

.

「Talend Open Studio for Data Integration」が長いので以下では「TOSDI」と略します。

無償版にはスケジューリング機能がない

公式サイトの比較を見ると、Talend Enterprise Data Integration（有償版）にはスケジューリングの機能がありますが、Talend Open Studio for Data Integration（無償版）にはありません。

(Talend公式サイト http://jp.talend.com/products/data-integration より引用)

（有償版は使ったことがないのでどんな風にスケジュールできるのかは知りません。）
ただ、ETLツールなんて基本的にはバッチで動かすのが前提でしょうから、スケジュールできないとお話になりません。
そこで無償版でジョブを無人稼動させる方法を紹介します。

手順

TOSDIでは作成したジョブをエクスポートすることができます。

エクスポートするとzipファイルひとつにまとめられ、このzipファイルを伸張すると中にbatファイルとshファイルがあります。

そう、あとはご想像の通り、Windowsならbatファイルをタスクスケジューラーに、Unix/Linux/Macならshファイルをcronで設定すればよいということです。
タスクスケジューラーやcronが気に食わなければ他のスケジューラーをご利用ください。

ジョブの持ち出し

このエクスポートしたzipパッケージはそのまま他のPC(またはサーバー)に持ち出して実行させることができます。
持ち出し先にJavaの実行環境が必要ですが、TOSDIのインストールは不要です。
この持ち出しを前提とすると、スケジューリングに関しては有償版と無償版の優劣がなくなります。

実行ログ

バッチ処理となるとやはり実行ログは必須ですよね。
TOSDIではロギングについて複数の方法/機能があります。
すべてをここで説明するのは難しいのでひとつだけ紹介すると、前回のエントリで「標準出力」の話をしました。
実行時にこの標準出力をパイプしてテキストファイルか何かに渡せばそのまま記録されます。
（行すべてを出力したりしたらパフォーマンス的にもディスク容量的にもセキュリティ的にも面倒なことになるのでご注意ください。）

より詳細なログの取得方法は別途研究しているので後日記事にします。

Talend Open Studio for Data Integration関連エントリまとめ

.

[TOSDI] インストーラーダウンロードの怪

2013-10-03T17:00:00.000+09:00

Talend Open Studio for Data Integration関連エントリです。
今回はインストーラーのダウンロードについて小ネタです。
この記事の内容はこの記事を書いた2013/10/03時点での情報です。

.

どっちだよ？

Talendの公式サイトからインストーラーをダウンロードするためにダウンロードページを開くと、こんな感じです。

Talend公式サイトダウンロードページ http://jp.talend.com/download/data-integration

左右どちらも名前が同じで、OSのアイコンがちょっと違っていますが、Mac以外の人は正直どっちを選べばよいのかわかりません。
OSアイコンにマウスカーソルを合わせてみても何もアドバイスしてくれないし、クリックしても反応ありません。
ペンギンや旗のマークが片側に２つあったりする理由もさっぱりです。
ちなみにこれは日本語サイトでも英語サイトでも同じです。

答え

「DownloadNow!」ボタンのリンク先を見るとそれぞれ
左：http://talend.dreamhosters.com/tos/release/V5.3.1/TOS_DI-r104014-V5.3.1.zip
右：http://talend.dreamhosters.com/tos/release/V5.3.1/TOS_DI-Win32-r104014-V5.3.1.exe
となっています。

つまり、左側は64bit版、右側は32bitWindows版でした。
インストールするOSにあわせてお選びください。

実際このことで困るのは64bit版のWindowsを使っている人だけで、それ以外の人はダウンロードまたはインストールの過程で気づくはずですね。

Talend Open Studio for Data Integration関連エントリまとめ

.

[TOSDI]Talend Open Studio for Data Integration その2

2013-09-24T17:00:00.000+09:00

前回はTalend Open Studio for Data Integration(以下TOSDI)がどんなアプリケーションであるかの概要を紹介させていただきました。
簡単におさらいすると、「EclipseベースのGUIを備えたJavaで動く無償のETLツール」です。

今回は「基本的な操作がいかに簡単か」を紹介したいと思っています。

.

インストール

インストールも非常に簡単で、ウィザードに従っていればできてしまいます。
インストール直後からほぼ作業に入れると思ってください。

画面構成

ジョブを作る画面はこんな感じです。

左側のペインはリポジトリ。メタデータや保存されたジョブデータが格納されます。
中央上段はジョブを編集するための作業スペース、その右側のパレットは各種空パーツの引き出しです。
その下段はジョブ、コンポーネントのプロパティを編集したり実行、デバッグなどを行うための機能が集結しています。

今回の流れ

RDBMSからデータを取得してRDBMSにデータを入れるというのを試します。
流れを見ていただくだけなのでデータソースとロード先は同じサーバー同じデータベース内の別のテーブルにします。
またシンプルにお見せするため、今回は加工せずにそのままのデータをロードします。
よってテーブル構造はデータソースとロード先で同じです。
本来であれば「Oracleから取得してMySQLに入れる」というようなことをやれればよかったのですが、操作方法が伝わればよいと思いMySQLだけにしました。

なお、動画はHDになっていますが、一本一本が短いのでHDに切り替わる前に終わってしまうかも。
文字とかが見づらい場合はHDに変わってから最大化して再生しなおしてください。

DBConnectionを作る

Metadataの中にMySQLのサーバーへの接続情報を保存します。
といってもウィザードに従ってサーバー名、ユーザー名、パスワード、デフォルトスキーマを入力するだけです。
なお、ここの接続は特に言及がないかぎりJDBC接続になり、JDBCドライバはすでに入っているのでダウンロードしてくる必要はありません。

ここで操作している内容

「DB Connections」を右クリックして「Create Connection」を選択します。
任意の名前をつけて次へ進みます。（本来は「Purpose(目的)」や「Description(説明)」を適切に入力してください。）
「DB Type」で接続する先のDBMS種別を選択します。
ログイン名、パスワード、サーバー名、Schemaなどを入力すると、接続文字列が生成されます。
一通り入力したら「チェック」でテスト接続して「成功しました」が出るのを確認します。

Schemaを取得する

DBに接続できたら今度はテーブル定義などを引っ張りだします。
ここはマウスの操作だけで完結できます。
このツールで使う予定のないテーブルに関しては取得する必要がありません。

ここで操作している内容

作成したConnectionを右クリックして「スキーマ情報の取得」を選択します。
ここではフィルタなしで次へ進んでいます。接続先にテーブルが大量にあるとわかっている場合はフィルタを使いましょう。
スキーマの下にテーブル/ビューがならぶので必要なものにチェックを入れて「次へ」進みます。
テーブル定義の確認画面になります。列ごとにどういうカラムタイプであり、Javaのどの型で受け取るかを設定できます。
ここではMySQLのDATETILE型を受け取る際の日付パターンを「dd-MM-yyyy」から「yyyy-MM-dd'T'HH:mm:ss」に変更しています。

日付時刻型の受け取りや日付パターンについては別途記事にしますので、ここでは詳細は割愛させていただきます。

あと、これは私の感覚ですが、メタ情報が増えるとアプリが重たくなるので、出来る限り必要最低限のテーブル、ビューだけを登録しておくようにしましょう。

Jobを作る

データソースとロード先のテーブルをドラッグ＆ドロップし、マウスで線を引きます。
より直感的なインターフェイスです。

ここで操作している内容

「Job Designs」を右クリックして「ジョブの作成」を選択します。
任意の名前をつけて「終了」をクリックします。（本来は「Purpose(目的)」や「Description(説明)」を適切に入力してください。）
ジョブ編集画面が開きます。
取得したsource1テーブルドラッグ＆ドロップしてジョブエディタに乗せます。
コンポーネントを選択する画面が開くのでここでは「tMysqlInput」を選択します。
コンポーネントの「Input」はETLのExtract(抽出)、「Output」はETLのLoad(ロード)に相当すると思ってよいと思います。
source1から期待する値が取得できるかを確認するために、パレットの「Logs & Errors」のなかから「tLogRow」をジョブエディタに乗せます。自動で「tLogRow_1」という名前がつきます。
「tLogRow」は渡されたデータをコンソールに出力する機能があります。
source1から右クリックしてtLogRow_1にドラッグ＆ドロップしてrow1のデータコネクタを作ります。
「実行」タブの「Debug Run」を開いて「トレースデバッグ」をクリックします。
source1から1行ずつ値が取り出されてtLogRow_1に引き渡されるのですが、row1上をどういう値が通過しているかがステージ上に表示されます。(これはトレースデバッグの場合のみです)
tLogRow_1の効果でコンソール(ボタンの下)にも値が表示されています。
トレースデバッグは1行ずつ表示してゆくので終わるまで待っていられません。「強制終了」でとめます。
source1から期待する値が取得できるかを確認できたことにし、tLogRow_1を削除します。
今度はロード先のテーブルとしてdestination1をジョブエディタにドラッグ＆ドロップします。
コンポーネントを選択する画面が開くのでここでは「tMysqlOutput」を選択します。
「tMysqlOutputBulkExec」の方が高速なのですが、今回は他RDBMSとの画面上の互換性のある「tMysqlOutput」にします。
source1から右クリックしてdestination1にドラッグ＆ドロップしてrow1のデータコネクタを作ります。
destination1をクリックして選択し、Componentタブを開きます。
「テーブル操作」で「テーブルのクリア」を選択します。
こうしておくと、データをロードする前に「TRUNCATE TABLE」してくれます。
念のためこの状態でもう一度トレースデバッグします。
例えば二つのテーブルの列の型に差異がある場合などはここでエラーになります。
問題ないとわかったら「実行」します。
完了するとコンソールに「終了しました」が表示され、row1の上に表示される数字が緑になります。
ここでは7.97秒かかって55555行ロードしたことがわかります。

今回使ったデータは「なんちゃって個人情報」で生成したデータです。

今回扱ったsource1とdestination1というテーブルは構造が全く同じものですが、テーブル構造が違う場合は抽出時のSQL文を変更するか、途中で加工する必要があります。
どちらの方法も簡単なのですが、後者の方がETLツールっぽい感じですね。
具体的な方法はいずれ紹介します。

おわり

いかがでしょう。
「まったく簡単だ」と思っていただけたでしょうか。

今回はtLogRowでデータを確認したりトレースデバッグしたりしているのですが、これらを省略すればトータル1分半くらいで出来てしまいます。(省略しなくても約2分。)

ということでTalend Open Studio for Data Integration の紹介編はこれで終わりです。
次回以降はより細かいところやトラブルシュートをちまちま書いていきたいと思います。

Talend Open Studio for Data Integration関連エントリまとめ

.

[TOSDI]Talend Open Studio for Data Integration

2013-09-17T17:00:00.000+09:00

最近この表題のETLツールを色々いじっているんですが、自分なりに理解できてきたところがあるので折角なので記事にしようと思いました。

と、その前にこのアプリがなんなのかを紹介したいと思います。
今回はアプリの紹介だけのエントリになります。

.

前提として「ETLツール」をご存じない方がいるかもしれないのでまずETLツールとは何かを紹介しますね。
ちょっと手抜きをしてWikipediaからかなり引用します。

ETLとは

Extract/Transform/Load（略称：ETL）とは、データウェアハウスにおける以下のような工程を指す。

Extract: 外部の情報源からデータを抽出
Transform: 抽出したデータをビジネスでの必要に応じて変換・加工
Load: 最終的ターゲット（すなわちデータウェアハウス）に変換・加工済みのデータをロード

Wikipedia: http://ja.wikipedia.org/wiki/Extract/Transform/Load より引用

「データウェアハウス」前提で書いてありますが、もともとの成り立ちはDWH向けに作られたのは事実でしょうけれど、ほとんどの製品は必ずしもDWHでしか使わないものではないと思います。

ETLツール

つまりETLツールとは上記ETLを実行できるツールのことを指すということになります。

ETLシステムはほとんどどんなプログラミング言語でも作成できるが、一から作るのは非常に大変である。このためETLツールを購入する企業が増えている。
確立されたETLフレームワークを使うことで、コネクティビティとスケーラビリティが向上する。よいETLツールは様々な関係データベースを扱え、様々なファイルフォーマットを扱える。ETLツールは、企業アプリケーション統合やエンタープライズ・サービス・バスに統合され始めており、システムは全体として Extract/Transform/Load 以上の機能をカバーするようになりつつある。ETL製品は、データプロファイリング、データ品質、メタデータ機能などを含むようになっている。
Wikipedia: http://ja.wikipedia.org/wiki/Extract/Transform/Load より引用

簡単に言うと、「ETLツールとはETLを簡単にできるようになるもので、ETL以外の便利機能が付いているものが増えてるよ」ということです。
（引用した文の中にETLツール、ETLシステム、ETLフレームワーク、ETL製品などと言葉が濫立していて、どういう区分けで言葉遣いを変えているのかは私ははっきりはわかりませんが、ETL製品＝有償ソフトウェアという意味で使っているようです。）
あえて付け加えて言うと、「多くのETLツールがGUIを備えていて、データの流れが視覚的にわかりやすくなる」と言う点が大事だと思っています。

そして「Talend Open Studio for Data Integration」の名前もこのページに「オープンソースのETLフレームワーク」のひとつとして紹介されています。

Talend製品群

「Talend Open Studio for Data Integration」がこんなに長い名前であるのにはわけがあります。

まず、「Talend Open Studio for Data Integration」はフランスのTalend社の製品の一つです。
（私は製品＝有償ソフトウェアという意味で使いません。）
Talend社は「ETLツール」だけでなく「データ品質管理」「マスタデータ管理」など複数の製品を作っており、それらを組み合わせることで企業のデータ管理の統合ソリューションを成立させようとしています。
他にどんなソフトウェアがあるかはTalend社のサイトを見ていただければと思います。
（日本法人もあり、サイトの大部分は日本語化されています。）
http://jp.talend.com/

そしてTalend社は大部分のソフトウェアについて、有償版と無償版を提供していて、これら製品群の中で無償版のものに「Talend Open Studio for ～」の名前をつけています。（有償版のものは「Talend Enterprise ～」または「Platform for ～」）

有償版と無償版の違いはほとんどの場合「追加機能の有無」と「サポートの有無」だと思われます。
有償版のお値段はサイト上で公開されていませんので、どこか取り扱いのある国内代理店さんにお問い合わせいただければと思います。
（私も見積をもらったことがありますが、単品ではビックリするほどの値段ではありませんでした。もちろん個人で払える値段ではありませんが。）

（遠回りしましたが）Talend社の製品群の中で無償のETLツールが「Talend Open Studio for Data Integration」です。
製品公式ページは以下のURLです。有償版と無償版の違いもここに書かれています。
http://jp.talend.com/products/data-integration

Talend Open Studio for Data Integration

さて、いよいよ本題です。といっても言いたいことは残りわずかです。
以下略してTOSDIと書きます。

TOSDIはEclipseベースで作られていて、つまりJavaで動きます。
ほとんどの主要OS(Linux、MacOSX、Windows)で動き、ほとんどの主要DBMSと接続できます。
（ただし、有償版でないと接続できないものも一部ある模様）
また、DBMSだけでなくCSVやExcelなどのファイルもデータソース、ロード先として利用できます。
日本語版があり、大部分が日本語化されています。

必要スキル

TOSDIを扱うにあたって最低限必要なスキルは利用するDBMSに関する基礎知識です。
当然SQL文は理解/記述できたほうが有利です。

基本的な作業はGUIで出来るのでプログラミングの知識は不要ですが、パーツにJavaのコードを埋め込むことでより高度なデータ操作を行うことができます。
GUIで組み立てた一連の（ジョブと呼ぶ）流れは、当然内部的にJavaのコードが生成されているのですが、これも作成中いつでも参照することができます。
エラーはJavaのエラーや例外で出力されます。

つまり何がいいたいかというと、このツールを使いこなすには「SQLだけでなくJavaの知識があったほうがいい」ということです。

今回はここまで。
次回は紹介の続きで、「基本的な作業はGUIで出来る」っていうのを動画を交えて紹介しようと思います。

Talend Open Studio for Data Integration関連エントリまとめ

.

[Windows]監視スクリプトを書いてみたのおまけ(言い訳)

2013-08-31T17:00:00.000+09:00

VBScriptのコードが冗長な言い訳

前回まで監視のスクリプトを書いてきたわけですが、このシリーズのVBScriptのコードはsendMail.vbs以外でかなりのダブりがあり、無駄があります。
このダブりをなくす方法がないわけではないのですが、あえて無駄な状態で公開しました。

その訳を説明します。
「VBScriptのクラスは継承の機能を持たない」
全く同じ関数/サブルーチン(以下関数)や同名同目的の関数があるので、抽象クラスを作って継承して作るのが妥当に思われるかもしれません。
VBScriptでもクラスは作れますが、継承が出来ないのです。
検索すると「擬似的にクラスの継承のようなことをする」やり方もありますが、この程度の規模のコードでそれを採用すること自体かなり冗長です。

「単体で使いやすく」
取り回しの問題です。sendMail.vbsだけは外部ファイル化してますが、それ以外は出来るだけファイル単体で使いやすくしたかったのです。
また、分離することで、内容を変更した場合の影響範囲がわかりやすくなります。

「sendMail.vbsだけ外部ファイル化」した訳
共通の関数の中で、環境依存の変数が必要なのはログファイルのディレクトリだけなのに比べて、sendMailだけは環境依存変数が特に多く、最大8項目あります。
これを個々に持たせるのは流石にアレですよね。
まぁ、ログディレクトリを個々に持たせてるのもアレなんですが。

今後の発展

直近で予定しているものはないですが、発展させるとしたら
・複数ファイルになるけどやっぱりクラス化して冗長をなくしつつ計量化。
・もっとスマートにWMIとか使う。(Win32_Service)
・いやそろそろPowerShellで出来るところはそっちに移行。
とかですかね。

このコードを書いていたころはまだクライアントもWindowsXPだったので、デフォルトで入っていないPowerShellは使わない方針でしたが、XPのサポートも来年で切れ、ほとんどすべてのWindowsにおいて標準でPowerShellが入っている環境になります。

無限ループしても警告してくれないし、クラスの継承はできないし、例外処理もまともにできないし、色々かゆいところに手が届かないけど、
デフォルトの環境(メモ帳)でチョチョっと編集でき、デフォルトの環境で実行でき、事前コンパイルが要らず、一応クラスも書ける。
超絶に中途半端だけどお手軽なVBScriptはまだまだ活用するシーンがあるんではないかと思っておる次第です。

今後はVBScriptなエントリが増えるかもしれないです。

[Windows]監視スクリプトを書いてみた(5/5) MySQLレプリケーション監視

2013-08-30T18:00:00.000+09:00

ApacheやらMySQLのサービスが落ちてないかなどを監視するのを自分でチェックして異常があったら発報する仕組みが必要だと思ってました。
サードパーティに頼らず、WindowsOSの機能だけで作ってみたかったので、ほぼVBScriptだけでくみ上げてみました。

そんなマゾヒズム感全開なエントリがこちらです。

今回は第5回です。

処理フロー
メール送信
サービス監視
ポート監視
MySQLレプリケーション監視(今回)

内容

MySQLのレプリケーションのスレーブのステータスを確認します。
MySQLのインスタンスとして問題なくてもレプリケーションの動作だけおかしいという場合はありえる話で、参照はできるけど実は2時間前にレプリケーションが止まっていて2時間前のデータを見ているなんてことも起こりうるということです。
なので特にスレーブステータスのエラーや遅延秒数をチェックします。

使い方

前回のサービス監視とほぼ同じですがこのスクリプトは可変な変数が多いため、引数をとりません。
下のVBScriptと第2回で紹介したsendMail.vbsを同じディレクトリに置き、さらにバッチファイルを置いて以下のように記述します。

Call watchReplication.vbs

ポート番号他の各設定値はスクリプト内に記載します。
複数のスレーブインスタンスを監視したい場合は、ファイル名を変えて以下のようにすればよいでしょう。

Call watchReplication_3307.vbs
Call watchReplication_3308.vbs

ポイント

今回使うコマンドは(3307ポートの場合)

mysql -P3307 -umysql_user -pmysql_pass -e"SHOW SLAVE STATUS\G"

です。
これを分解すると、

-P ポート指定
-u ユーザー名指定
-p パスワード指定
-e SQL文指定

オプションの後ろは余白が要りません。特に-pの後ろは余白があるとその余白もパスワードの一部と誤認してしまうので注意が必要です。
また、5.6.10以降は-pオプションを使用すると「Warning: Using a password on the command line interface can be insecure.」が出ます。
（Warningが出ても今回の内容の目的は果たせますが、セキュアにしたい方、Warningを出したくない方はそれなりの対処をしてください。方法の説明はここでは省略します。）
SQL文のデリミタは;ではなく\Gをつけてフィールドごとに行で出力させるようにします。

そしてこの出力の中で以下の項目をチェックします。

Slave_IO_State: 「Waiting for master to send event」かどうか
Slave_IO_Running: 「Yes」かどうか
Slave_SQL_Running: 「Yes」かどうか
Last_Error: (空)かどうか
Last_IO_Error: (空)かどうか
Seconds_Behind_Master: 指定した数値以下かどうか

※Seconds_Behind_Masterの上限値として変数に値を入れますが、このスクリプトが実行したときのステータス値しかチェックできません。
日常の上限値ではありませんのでご注意ください。

冗長なコード

さて、このシリーズを毎回まじめに読まれた奇特な方は、VBScriptのコードが少し、いやかなり冗長で無駄が多いように思われたかもしれません。
私なりに整理した結果こうなっているのですが、その言い訳はまた別の機会に。

.

[Windows]監視スクリプトを書いてみた(4/5) ポート監視

2013-08-29T23:52:00.000+09:00

処理フロー
メール送信
サービス監視
ポート監視(今回)
MySQLレプリケーション監視

内容

引数で指定したポートが待ち受け状態にあるかを確認します。
サービスにくわえてポートまで監視する必要性は薄いように思われるかもしれませんが、「サービスは開始されていてもポートが待ちうけ状態にない」ことはありえることです。
特にIISで稼動するWebサイトは複数のポートで配置することができ、サービスの稼動とサイトの稼動は別の制御になっています。
最近ApacheからIISに移行した私にとっては重要かもしれない監視になるのです。

使い方

前回のサービス監視とほぼ同じです。
下のVBScriptと第2回で紹介したsendMail.vbsを同じディレクトリに置き、さらにバッチファイルを置いて以下のように記述します。

Call watchPort.vbs 80

複数のポートを監視したい場合は以下のように記載します。

Call watchPort.vbs 80
Call watchPort.vbs 3306
Call watchPort.vbs 21

ポイント

今回使うコマンドは

NETSTAT -an|FIND "TCP"|FIND "0.0.0.0"

です。
これを分解すると、

NETSTAT -an

すべてのアクティブなTCP接続とコンピュータがリッスンしているTCPとUDPポートを表示します。ここから

FIND "TCP"

でプロトコルがTCPのものだけを拾い、さらに

FIND "0.0.0.0"

でコンピュータがリッスンしているものに絞り込みます。

この出力の中から完全一致の行を見つけるために正規表現で検索しています。
例えば80番ポートを検索する場合の正規表現パターンはこうなります。

"TCP\s*0.0.0.0:80\s.*LISTENING"

VBScriptで使える正規表現では特定のデリミタがなく、"で囲みます。

サービス監視よりも少し簡単ですね。

さて次回はMySQLのレプリケーション監視です。

.

[Windows]監視スクリプトを書いてみた(3/5) サービス監視

2013-08-28T18:00:00.000+09:00

処理フロー
メール送信
サービス監視(今回)
ポート監視
MySQLレプリケーション監視

内容

引数で指定したサービスが開始の状態になっているかをチェックします。
WindowsだとApacheのサービスがいつのまにか落ちてるなんてことが・・・私の場合はありました。
通常営業時間中であればすぐに周りが騒ぎ始めるのですぐ気づくんですが、夜間とかはまぁ気づかないのでご迷惑をおかけしてしまうわけで、このシリーズを書くことになったきっかけです。

使い方

下のVBScriptと第2回で紹介したsendMail.vbsを同じディレクトリに置き、さらにバッチファイルを置いて以下のように記述します。

Call watchService.vbs "Apache2.2"

通常「.vbs」は自動で探しに行く拡張子なので、「watchService.vbs」は「watchService」に省略可能ですが、仮に同じディレクトリにwatchService.batとかあるとそちらを先に見に行ってしまうので注意してください。(末尾に余談記載あり)
複数のサービスを監視したい場合は以下のように記載します。

Call watchService.vbs "Apache2.2"
Call watchService.vbs "mysqld"
Call watchService.vbs "mongod"

ポイント

VBScriptでちゃんとやる方法もあるとは思うのですが、スクリプトの中でコマンドプロンプトを呼び出してNETコマンドを実行し、その結果の標準出力を解析して状態を確認するという、かなりの手抜きをしています。
（なお、この手法はこのシリーズ共通です。）

使っているコマンドは

NET START|FIND /i サービス表示名

です。
これを分解すると、

NET START

で開始されているサービスの一覧を取得します。ここで一覧されるのはサービス名ではなく、サービス表示名であることにご注意ください。コマンドプロンプトで実行するとこんな感じで出力されます。

で、これをパイプで

FIND /i サービス表示名

に渡して絞り込みます。上記のものを「epson」で絞り込むとこうなります。「/i」は「大文字小文字を区別しない」オプション指定です。

みていただければわかるとおり、FINDは部分一致での検索なので、例えば mysqld と mysqld_slave というサービス表示名があったときに mysqldで検索しても両方ヒットして2行出力されてしまいます。
そこでその後でこの出力の中から完全一致の行を見つけるために正規表現で検索しています。

それから、フラグファイルやログファイルにこのサービス名を使っているのですが、サービス表示名にはスペースが使われていることがあります。
これをそのままファイル名に使うと後が面倒なので、フラグファイル名とログファイル名ではスペースを_に置き換えています。
例）「World Wide Web Publishing Service」 → 「World_Wide_Web_Publishing_Service.log」

ログファイルは月ごとにローテーションさせています。好きに変えてください。このシリーズ共通です。
メール送信はこのシリーズ第二回で紹介したsendMail.vbsを使います。このシリーズ共通です。

余談

自動で探しに行く拡張子と順番は

ECHO %PATHEXT%

のコマンドで確認できます。

これはシステム環境変数で、管理者権限があれば変更できます。

さて、次回はポート監視です。

.

[Windows]監視スクリプトを書いてみた(2/5) メール送信

2013-08-27T18:00:00.000+09:00

処理フロー
メール送信(今回)
サービス監視
ポート監視
MySQLレプリケーション監視

必要性

「発報」はMSのIMEの漢字変換で出てこないんですが、多分業界では一般的な言葉だと思います。
無人で監視しているシステムで異常が起こって、その監視しているPCや監視対象のサーバー上でエラーダイアログが出ても、気づくことはできませんので、異常を検知したらメールでお知らせしてくれるようにします。
24時間の監視をするなら、携帯メールも送信先に入れておく必要もあるかもしれませんね。

コード

「VBScript+メール送信」で検索すればコードはごろごろ転がってるんで、それを参考に書き直してみました。
このシリーズではメール送信単体で使うことはなく、「異常を検知したらそれを知らせる」必要があり、それに適した形に書いています。

ポイントはこのスクリプトを単体のファイルとして保存し、外部ファイルから呼び出せるようにすること。
呼び出すときに件名と本文を指定できるよう、引数を受け入れること。
自らがSMTPサーバー機能を持っていなくてもよいように、外部のSMTPサーバーに接続するパターンにしています。

例えば社内ネットワークの中にあるSMTPサーバーなど、自由に接続できる場合はよいのですが、接続するのにユーザー名/パスワードが必要になるなら25,26,82,83,84行目のコメントアウトを外して適宜変更してください。

本文エンコードは一応「ISO-2022-JP」にしていて、ほとんどのメールクライアントはこの文字コードに対応していると思っていますが、文字化けして読めないようなら変えてください。
（iPhoneのメールとWindows版Outlook2003,2010では読めることを確認しています。）

次回はVBScriptでサービス監視をします。

.

[Windows]監視スクリプトを書いてみた(1/5) 処理フロー

2013-08-26T18:00:00.000+09:00

はApacheやらMySQLのサービスが落ちてないかなどを監視するのを自分でチェックして異常があったら発報する仕組みが必要だと思ってました。
サードパーティに頼らず、WindowsOSの機能だけで作ってみたかったので、ほぼVBScriptだけでくみ上げてみました。

そんなマゾヒズム感全開なエントリがこちらです。

今回から5回にわたりコード含めて紹介したいと思います。

処理フロー(今回)
メール送信
サービス監視
ポート監視
MySQLレプリケーション監視

処理ルーチン

以下の処理を行うバッチファイルを作り、これをタスクスケジューラで5～10分ごとに実行するよう仕込みます。

バッチファイルの中身は以下の通りです。

システム障害がないかをチェックします。

システム障害がなければ「正常」としてログファイルにログを記録して終了です。

システム障害が検知されたら「障害発生」としてメールで発報します。
ログファイルにログを記録して終了します。

障害継続の場合の処理

ただ、これだけだと次回までに復旧できないと「システム障害を検視した」としてまたメールを（10分おきに）送信してしまいます。
またメールが来なくなったら障害が復旧したのかなと思うわけです。
これではちょっと頭悪そうなので工夫が必要だと思いました。

システム障害がないかをチェックします。

異常がなければ「正常」としてログファイルにログを記録して終了です。

異常があれば「障害発生」としてメールで発報します。
さらに障害が発生していることをローカルに記録するフラグファイルを生成します。
ログファイルにログを記録して終了します。

すでにフラグファイルがある場合は以下の動作になります。

システム障害がないかをチェックします。

異常がなければ「障害復旧」として、フラグファイルを削除し、復旧通知のメールを送信します。
ログファイルにログを記録して終了です。

異常があれば「障害継続」として、発報はせず、ログファイルにログを記録して終了です。

フローチャート

この処理をフローチャート風にするとこんな感じでしょうか。
(フラグファイル有無の確認と障害検知の順番をちょっと変えています。)

(Cacooのフローチャートのセットにはサブルーチンのステンシルがないのね。)

なお、このシリーズではすべてローカルのサービスやポートなどを監視する前提です。
リモートの監視については工夫すればできるものもありますが、今回は触れません。

次回はメールをVBScriptで送信してみます。

.

untitled

[デバイス] Windowsのリストアイメージを作るのにZALMANのHDDケースがとても便利

[WinPE] WindowsPE 10.0.16299.15 (1709相当) を作る時にエラー

[WinPE] WindowsPEで画面の解像度が低いのをなんとかしようと四苦八苦した話

WindowsPEでの解像度をあげる

デバイスドライバの追加

応答ファイルで解像度を指定してみる

そもそもUEFIモードでは解像度を変更できない?

不具合だったらしい

もっと早く教えてよ

ここでまた罠に引っかかる

結論

Stackeditで書いてBloggerに投げてみた

マイブーム

StackEdit

拡張

ちょっと違うところ

更新

リンク

[Oracle] 複数の異なるバージョンのOracleサーバーを扱う場合の注意点

注意点１ クライアント(ドライバ)バージョンの選択の話

注意点２ DBLINKが作れない話

PowerShellで「mysql.exeで外部SQLファイルを引数に使う」方法 の補足

読み取る際の文字コード

引き渡す際の文字コード

UTF8? UTF-8?

もっと詳しい話

私なら

[PHP]Smarty3.1にバージョンアップして困ったこと その4

[PHP]Smarty3.1にバージョンアップして困ったこと その3

[PHP]Smarty3.1にバージョンアップして困ったこと その2

[PHP]Smarty3.1にバージョンアップして困ったこと その1

PowerShellで「mysql.exeで外部SQLファイルを引数に使う」方法

入力のリダイレクト

パイプで渡す

sourceコマンド

[TOSDI] MySQLのBIGINT符号なしをStringで扱う理由

標準の動き

選択可能なJavaのデータ型

設定

理由1 Longに収まらない

理由2 BigIntegerが使えない

解決方法

Stringにした場合の課題と対応方法

マイクロ秒

Javaの仕様

注意点

[TOSDI] 日付時刻型のカラムを扱う場合のポイント

標準の動き

挿入可能なパターン

時刻情報の損失

日付パターンの選択

デフォルトの挙動変更について

[TOSDI] DB接続情報の保持方法についての注意事項

結論

DB接続

コードビュー

つまり

[TOSDI] Talend Open Studio 関連サイト

公式サイト

個人/有志サイト

[TOSDI] 無償版でジョブスケジューリング

無償版にはスケジューリング機能がない

手順

ジョブの持ち出し

実行ログ

[TOSDI] インストーラーダウンロードの怪

どっちだよ？

答え

[TOSDI]Talend Open Studio for Data Integration その2

インストール

画面構成

今回の流れ

DBConnectionを作る

ここで操作している内容

Schemaを取得する

ここで操作している内容

Jobを作る

ここで操作している内容

おわり

注意点１　クライアント(ドライバ)バージョンの選択の話

注意点２　DBLINKが作れない話

PowerShellで「mysql.exeで外部SQLファイルを引数に使う」方法の補足

[PHP]Smarty3.1にバージョンアップして困ったことその4

[PHP]Smarty3.1にバージョンアップして困ったことその3

[PHP]Smarty3.1にバージョンアップして困ったことその2

[PHP]Smarty3.1にバージョンアップして困ったことその1

[Windows]監視スクリプトを書いてみたのおまけ(言い訳)