+BeepCap+ブログ Blogger本店

nftablesでiptablesのhashlimitの代わりをしようとしたら世の中の情報もChatGPTも間違ってた話

2025-06-06T06:37:00.004+09:00

まぁタイトルのとおり。beepcapです。
日本語どころか英語の文献も調べたのに正解がないのでみんなdebian系のnftables真面目に使ってないんじゃないかと思う。

要件

要件は以下の通り。

sshへのnewアクセスを制限したい
sshへはipv4以外からのアクセスを遮断している
1時間に5回以上のアクセスを検知したら遮断
遮断判定したIPアドレスは24時間アクセスを拒否

対応

まず、nftables.confのtable inet内にblacklistをsetする。

set ssh_blacklist {
type ipv4_addr
timeout 24h
}

そして、さらにchain input 内に処理を追加する。

ip saddr @ssh_blacklist log prefix "Deny SSH access：" drop
tcp dport 22 ct state new limit rate over 5/hour add @ssh_blacklist { ip saddr } log prefix "SSH blocked due to excessive access:" drop

これだけ。良かったね、僕が記事を書いたあとに対応する人は楽で。

説明

まず、setしたblacklistがアクセス過多の相手のIPアドレス(v4)を記録する。timeoutに24hを指定しているので、登録された情報は24hで消去されまたアクセスができるようになる。

set ssh_blacklist {
type ipv4_addr
timeout 24h
}

次にsource addrがssh_blacklistに含まれている場合にdropする。

ip saddr @ssh_blacklist log prefix "Deny SSH access：" drop

最後に情報がなかった回数を検出する処理だが、nftはコマンドの連携で成り立つ機能であるため要素を分解して説明する。

今回はssh(port 22)へのアクセスを受信側のportで判定する。

tcp dport 22

次に接続時のstateが新規(TCP SYN)かを確認する。

ct state new

そして、一時間に5回のアクセスを超えているかを確認する。このlimit rateはnftablesの機能であり簡単にiptablesのhashlimitのような対応ができるが、実はこの指定は60sec(たぶん)で自動的に解消されてしまう。なので遮断時間が60secの要件の場合しか使えないのだ。この辺を理解してない記事がwebには非常に多い。overを付けないと5回以下の場合に条件マッチするので注意。

limit rate over 5/hour

これまでの条件に合致したIPアドレスをssh_blacklistに追加する。

add @ssh_blacklist { ip saddr }

ログはおまけ

log prefix "SSH blocked due to excessive access:"

最後にこれらの条件にマッチしたパケットを落とす

drop

とこのようになっている。

考察

そもそもなんでwebにちゃんとした情報がないかを考察する。まずfirewallをCUIで設定している人が少ないのではないか、特にlimit rateの時間制限はまずくてこれで十分としている記事は非常に多いし、limit rateそのものの説明も非常に少ない。最終的に情報として頼れたのはman nftだけであった。hashlimitの採用例が少ない可能性もある。多くの場合過剰アクセスのログインの遮断は認証処理側で行われている場合も多い(webページなど)。

当然の帰結として、ChatGPTも嘘ばかり教えてくれた。役に立たんやつである。

Twitterが終わった後の連絡先

2022-11-19T11:19:00.002+09:00

Twitterがサ終することは無いとおもってますけど、一応連絡先書いておきますね。

メールアドレス: beepcap@gmail.com

以上

真面目な人にはちょっと言えない話

2021-03-16T23:59:00.001+09:00

どうもbeepcapです。
今回も年に一回の発作でblogが書きたくなってしまったので書こうと思います。

さて、最近こんなツイートをしたら結構ナイーブな反応があったんですよ。
https://twitter.com/beepcap/status/1371601605007532033

で、なんで飲み会に参加しない人がいわゆる無能と判断される率が高いのか持論があるのでそれを書こうかと思います。
が、ここで確認しなければならないことがあります。
以下の人は多分この文書は毒なので読まないほうが良いとおもいます。

真面目に生きることが大事だと思っている人
努力することに美徳を感じる人
公正な世界を期待している人

あと、これらに該当しない人にとっても毒にはなっても薬にはなりませんので、そのつもりでどうぞ。

仕事の本質
最初に言っておきたいことがあるのですが、皆さんお仕事ってしてる人が多いじゃないですか。
あれの9割(*1)は成果を出すための作業ではなく根回しです。

例えばプログラマはソフトウェアを供給するだけでなくお客が企業であれば設計書を、お客が一般消費者であれば説明書を作成します。
これはソフトウェアを売るための根回しをしているに過ぎません。
ソフトウェアという成果物をお金に変えるために、買ってくれる人のご機嫌取りをしているのとそう変わらないことを毎回やっているのです。

事務をやっている人でも同じで役所に提出する書類などはフォーマットが決まっていてそれに合わせるために結構な時間を使っていますが、あれは提出した書類をお役人さんに読んでもらうための根回しです。

もちろんこれはサービス業にも当てはまり、八百屋さんがお客さんにお勧めを紹介したりする行為や「安いよ」と声を掛けるのも根回しですし、農家さんが農作物を出荷する時にJAを通して検品してもらい、等級を付けてもらうことも消費者に対する根回しと言えます。

この世の中のほとんどの人はお仕事でお金をもらうために根回しが欠かせません。
反対にお金を払う側も根回しなしに仕事を評価出来る人もほとんど居ません。

国立競技場の設計の話を思い出してもらえば分かるかと思いますが、ザハ案はまぁ近未来的な形をしていましたし、近年のオリンピックの傾向を考えると実に合理的で高温多湿な日本でのオリンピック開催を見越してなんと冷房がついていました。
この一見完璧な案ですが、皆様もご承知の通り、コンペで謎の木が貼り付けられた空調もない開放型の競技場に負けました。
なぜならば根回しが不足していたからです。
ザハ氏は天才設計家ですが、天才肌なので日本のお役人が望む特徴を入れずに理想の競技場を設計しました。よって、設計の正しさだけで根回しが完了しない人々に評価されなかったのです。(*2)

繰り返しますが、仕事の9割は根回しなのです。
評価される仕事とは
根回しが仕事の多くを占めるのだとしたら仕事が評価されるとはどういうことでしょうか。

簡単ですね、根回しが高く評価されます。

もちろん成果がゼロでは回す根がありませんが、10%の成果を根回しして納品しお金をもらった人間は、成果が100%でも全く根回しが出来ずにお金に変えられない人間と比べるべくもないほど勝者です。

担当者に良いことばかり言う営業や、出来もしないことを約束してくるリーダー、やれもしないことを命令する課長、それを都合良く客先に報告する部長、株主に調子の良いことばかり言う社長。
みながそれぞれ評価されているのは、その行為が根回しそのものだからなのです。

そして、彼らがそういう根回しを行った結果、あなたの成果物はお金に変わるのです。

当然根回しは対外的なものばかりではありません。
組織内でも根回しによって、仕事の予算を獲得したり、人員の追加が出来たり、より儲かる仕事を回してもらえます。

実力はいまいちだとあなたが思っている人も、おべっかだけで昇進していくように見えます。
もうなぜだか分かりますね。
おべっかは根回しの一種だからです。
なんで飲み会に参加しない人は無能なのか
もういいですかね。
散々読んで分かったと思いますが、飲み会はグループ内での根回しのために最適な空間です。
コミュニケーションが取りやすいのもありますが、他にも約束事をしても大抵の場合相手の記憶が曖昧で、しかも約束した事だけは(念を押せば)覚えていることが多いのですから、こんなに都合が良いことはありません。

その飲み会に「お酒が飲めない」とか「他の事が忙しい」だなんて理由で参加しないだなんて！！！信じられない愚行です。

それは根回しを軽視しているということです。
お仕事の9割を軽視しているんです。
人は真面目に仕事をして成果を出すだけでは仕事のたった1割しかやってないんです。

そりゃあ、評価もされないし、仕事も上手くいかないし、無能と評価されるでしょうよ。

しかしですね...
根回しって才能かもしれない
この記事読んで欲しくなかった理由なんですが、根回しって僕の観測範囲だと手順書やHow Toがあること以外は才能に依存するんですよ。
上司やお客に気に入られる奴とかは、努力もしているのでしょうが圧倒的に才能が支配的です。
僕の10年以上の付き合いになる営業畑の天才的な(*3)友人も、最後には「美人の後輩が体を売ってすべてを持って行った」とか言ってました。性差別的ですけど、でもそういうことです。

だからね、根回しでもうすでに成果を出してる奴らに勝とうなんてのは無理なんですよ。努力だけでは覆らないのです。諦めましょう。

それでも諦め切れないのなら、ほんのチョットの努力でできる飲み会への参加くらい、してみたらどうですかね。

*1 数字は勘
*2 もっともザハの設計事務所は設計の費用はもらったとも聞いたのでそれはそれで根回し(契約)はちゃんとしてるとも思いますが
*3 証券会社で全国ランカーつったら相当なもんだよね

サルシッチャ作るぞ

2020-07-26T02:37:00.000+09:00

まだ作成前のメモ

ひき肉、塩(5%)、ハーブ

よく混ぜて冷蔵庫で小分けにしながら熟成(およそ1週間以上)

食べるときは茹でて焼くか

パスタの材料などにする

(自作)冷製たらこパスタのオリジナルレシピ

2020-07-04T00:54:00.003+09:00

色々と試した結果の自分用のメモ

材料：

オリーブオイル　おおさじ２
にんにく　１片
たらこ　２腹
日本酒　おおさじ１
パスタ　１人前(100~150g?)
大葉　一枚分

手順：

オリーブオイル(おおさじ2程度)に芽を取り除いて潰したにんにくを入れ、弱火にかけて香りを抽出する。
金属のボールを二重にし、下のボールに氷水を入れる。(生クリームを泡立てる時と同じ)
上のボールに香りを抽出したオリーブオイルを入れ、冷やしておく。(あらかじめ火を消した後、粗熱を取ってから入れた方が氷がすぐ融けず不足しにくい)
オリーブオイルが冷めたら、たらこ２腹の皮を包丁で割き、中身を上のボールに加える。
日本酒おおさじ１を上のボールに加え混ぜておく。
細めのパスタ１人前を1.5%ほど塩を加えたお湯で既定の時間より1分ほど長く茹でる(湯で時間は目安、お好みで調整可、ただしパスタは冷やすと少し硬めの食感になる。)
茹でたパスタのお湯を切って、上のボールに加える。
よく和えて、刻んだ大葉を乗せ完成。

備考：

手順５で溶かしバターや醤油、魚醤などを加えてもいいが、パスタの塩気とたらこの量を調整しないと塩辛くなる。
日本酒は代替が見つからなかった。臭みを消せるのならもしかしたら中国酒とかならいけるかも。ワインは僕には合わなかった。

追記：
日本酒のアルコールが残ってしまうので、まだ油が熱いうちに入れてアルコールと水分を飛ばすなどの確認は今後の研究項目。

GNU コーディング標準 C言語編(多分前編)

2019-11-05T00:58:00.001+09:00

どうもどうもbeepcapだよ。

Twitterにてバカにしたのだが、意外とみんな知らなそうなのでもしかしてと思って調べたら日本語訳が無い。
そりゃ知らん人が多いわけだ。

ということで簡単に訳してみる。(一部超訳)
原文は: GNU Coding Standards: Making The Best Use of C

「5 C言語の最も優れた使い方」

この章では、GNUソフトウェアを作成する際にC言語を使用する最善の方法についてアドバイスします。

「5.1 ソースコードのフォーマット」

幅広い環境で最大限に読みやすくするために、ソース行の長さは79文字以下にしてください。

関数の本体を開始する左中かっこを1列めに配置して、定義することが重要です。いくつかのツールは、C 関数の始まりを見つけるために、１列めで左中かっこを探します。これらのツールは、この方法で書式設定されていないコードでは動作しません。

--- 訳注 ---

func () { //これをやるな

func ()
{ //こうしろと言っている

--- 訳注終わり ---

関数内で左中かっこ、左かっこ、または左大かっこを1列めに入れることは避けてください。
構造体本体を定義する左中かっこは、役に立つ場合は１列めに定義することができます。

また、関数定義では、1列めで関数の名前を開始することも重要です。これは、ユーザーが関数定義を検索するのに役立ち、特定のツールが関数定義を認識するのに役立ちます。
上記に従って標準Cを使用すると、次の形式になります。

static char *
concat (char *s1, char *s2)
{
  …
}

--- ここK&Rにつき略 ---

標準Cでは、引数が1行に収まらない場合は、次のように分割します。

int
lots_of_args (int an_integer, long a_long, short a_short,
              double a_double, float a_float)
…

構造体型や列挙型の場合も同様に、内容全体が1行に収まらない場合、中かっこを1行めに配置します。

struct foo
{
  int a, b;
}

or

struct foo { int a, b; }

--- ここEmacs固有の話なので略 ---

2つの異なるプログラムの書式が異なる場合、ユーザーに問題が発生しないため、書式は要件とは考えません。

しかし、あなたが使用するスタイルが何であれ、1つのプログラム内に複数のスタイルが混合していると視認性が下がるので、一貫して１つのスタイルを使用してください。既存のプログラムに変更を加える場合は、そのプログラムの元々のスタイルに従ってください。

関数の本体では、推奨されるスタイルは次のようになります。

if (x < foo (y, z))
  haha = bar[4] + 5;
else
  {
    while (z)
      {
        haha += foo (z, z);
        z--;
      }
    return ++x + bar ();
  }

--- 訳注(インデントずれてませんよ！本当に推奨がこうなの！) ---

プログラムが左かっこの前とコンマの後にスペースを入れると読みやすくなります。特にコンマの後。

式を複数行に分割する場合は、演算子の後ではなく、演算子の前で分割します。正しい方法は次のとおりです。

if (foo_this_is_long && bar > win (x, y, z)
    && remaining_condition)

同じレベルのインデントで優先順位の異なる 2 つの演算子を使用しないようにしてください。たとえば、次のように記述しないでください。

mode = (inmode[j] == VOIDmode
        || GET_MODE_SIZE (outmode[j]) > GET_MODE_SIZE (inmode[j])
        ? outmode[j] : inmode[j]);

代わりに、インデントで入れ子が表示されるように、追加のかっこを使用します。

mode = ((inmode[j] == VOIDmode
         || (GET_MODE_SIZE (outmode[j]) > GET_MODE_SIZE (inmode[j])))
        ? outmode[j] : inmode[j]);

Emacs がコードを正しくインデントするように、追加のかっこを挿入します。たとえば、次のインデントは、手で行うと綺麗に見えますが、

v = rup->ru_utime.tv_sec*1000 + rup->ru_utime.tv_usec/1000
    + rup->ru_stime.tv_sec*1000 + rup->ru_stime.tv_usec/1000;

しかし、Emacsはそれを(醜く)変更します。かっこのセットを追加すると、同じように見栄えの良いものが生成され、Emacs は保持します。

v = (rup->ru_utime.tv_sec*1000 + rup->ru_utime.tv_usec/1000
     + rup->ru_stime.tv_sec*1000 + rup->ru_stime.tv_usec/1000);

--- 訳注：それってEmacs固有の問題じゃ・・・ ---

do-whileループは以下の書式が好ましいです.

do
  {
    a = foo (a);
  }
while (a > 0);

フォームフィード文字(control-L)(訳注: 改ページ文字のこと)を使用して、プログラムを論理的な場所 (ただし関数内では除く) のページに分割してください。ページは印刷ページに収まる必要がないため、ページの長さは関係ありません。フォームフィードは、単独で行に表示されます。

--- 訳注：コードを印刷してた時代の名残りですかね？それともTeX用？ ---

「5.2 コメントでやるべきこと」

すべてのプログラムは、それが何のためのものであるか簡単なコメントを記載する必要があります。

例: 'fmt - テキストの単純な塗りつぶしのためのフィルター'

このコメントは、プログラムの 'main' 関数を含むソースファイルの先頭に記載する必要があります。

また、各ソースファイルの先頭に、ファイル名とファイルの全体的な目的に関する1行または2行の簡単なコメントを書いてください。

英語はすべての国のほぼすべてのプログラマが読むことができる言語ですので、英語でGNUプログラムのコメントを書いてください。英語を上手に書けない場合は、英語でコメントを書いて、他の人に書き直してもらいます。英語でコメントを書けない場合は、一緒に仕事をしてくれる人を見つけて、コメントを英語に翻訳してもらってください。

各関数に対して、関数の動作、引数の種類、引数に使用可能な値と値の意味、使用目的を示すコメントを記載してください。C標準の型が慣習的な方法で使用されている場合は、引数宣言の意味をコメントで繰り返す必要はありません。使用に関して非標準のものがある場合(例えば、最初の文字ではなく、文字列の2番目の文字のアドレスである char * 型の引数など)、または期待どおりに動作しない値がある場合(改行を含む文字列など正しく動作する保証がない値)、それらのことを確認して記載してください。

また、重要な戻り値がある場合は、それついても記載してください。

--- Emacsの話なので割愛 ---

引数名を使用して引数の値について説明すると、関数に対するコメントは非常に明確になります。
(C言語では)変数名自体は小文字にする必要がありますが、変数自体ではなく値について話すときは大文字で記述します。したがって、「inode」ではなく「inode の数の NODE_NUM」と記載してください。(英語では"the inode number NODE_NUM")

読者は自分で関数名を確認することができるので、通常、関数名をコメントに記載する必要はありません。

コメントが長くて、関数自体が画面の一番下から出る場合は、例外が発生する可能性があります。

--- これは古い記述ですね ---

次のように、各静的変数にもコメントが必要です。

/* 0以外の場合は、表示内の行を与えられた値で切り捨てます。
0の場合は、切り捨てずに継続することを意味します。 */
int truncate_lines;

ネストされていない短い条件 (ほんの数行) の場合を除き、すべての '#endif' にはコメントが必要です。コメントは、ブロックの識別を含め、終了する条件を示す必要があります。'#else' には、次のコードの条件とブロックの識別を説明するコメントが必要です。

#ifdef foo
  …
#else /* not foo */
  …
#endif /* not foo */

#ifdef foo
  …
#endif /* foo */

しかし、対照的に、'#ifndef'のためにこのようにコメントを書きます。

#ifndef foo
  …
#else /* foo */
  …
#endif /* foo */

#ifndef foo
  …
#endif /* not foo */

-----------------------------==

めちゃくちゃつかれたので前半はここまで、
後半は何年後になるかわからん。

しかし改めて訳してみると、古くさいものの
結構いいことも書いてあるじゃないか・・・
いままでバカにしてごめんよGNU Coding Standard...

でもあのインデント例はキモくて辛い。

無敵の人なんていない

2018-06-27T22:30:00.000+09:00

無敵の人なんていない

beepcap

2018/06/27

最近殺人事件が起きて世間を騒がせている。事件の被害者の方のご冥福を祈るばかりだが、この事件では加害者が「40代のニート」であって、守る物が何もないから起きたと分析する向きもあるようだ。こういう人たちを、黒子のバスケの脅迫事件の犯人のセリフから、「無敵の人」と呼ぶことが多くなってきた。

曰く、「『無敵の人』はすべてを失っているからもう何も守る必要がない、そう社会性の根源たる法律もだ！」という理屈なわけだ。なるほど、一理あるように見える。すべての失って何も捨てる物がなければ、ほんのわずかなバランスで殺人の犯す、理屈が通っているように見える。

が、本当にそうだろうか？

まず前提として、彼らはすべてを失っているだろうか？職が無い？友人や家族がいない？そんな人間くさるほどいるし、それでも楽しく生きている人間もそれなりに見かけないか？ネットの世界ではよく居るような気さえしないか？今回の犯人も、インターネットでは暴れ者として有名だったようだ。少なくとも彼らの居場所はインターネットにあったようだ。「すべて」を失っているわけではないように見える。

また、すべてを失った人は人を殺しに行くか？という問題もある。孤独死の件数が昨今増えているという報道があるが、彼らとて、孤独に死ぬくらいなのだから、世間に恨みの一つや二つはあるだろう。しかし、孤独死をしそうな人間のモラルが急激に低下したといったような... 少なくとも今回の事件につながるような類型の事件は起きていない。半面、新幹線斧事件もそうであるように、何らかの要因と共に、事件は発生している。そして、これは誰しもが経験があるとは思うが、人は世間とのつながりをすべて失ってしまったと、(それが誤解でも) 認識してしまったら、自殺してしまうのではないか？「すべて」を失ってしまった人は、犯行を起こす動機も失ってしまうように見える。

僕はだから、「無敵の人」などというものはいないと考えている。では彼らは何なのか、何が要因で「普通の人」なら考え付きもしないような、凄惨な事件を起こせるのか。

僕は彼らが、「世間とのつながりが先鋭化した人たち」ではないかと予測している。カンダタのように、細い細い蜘蛛の糸で世間とつながっている人たちだ。今回のブロガー殺人事件では、その細い糸が「はてな」だったのではないか？

皆は「はてな」を凍結されただけで、殺人を犯すなんて酷いという。しかし、もしも、人生に於ける世間との最後の繋がりが、彼の正義や社会性のありかが「はてな」だったのだとしたら...

彼の行為は許されるものではない。しかし、彼は決して「無敵の人」ではない、さいごの砦を守る、孤独の人だったのではないだろうか。

About this document ...

無敵の人なんていない

This document was generated using the LaTeX2HTML translator Version 2017.2 (Released Jan 23, 2017)

The command line arguments were:
latex2html -split 0 無敵の人なんていない.tex

The translation was initiated on 2018-06-27

ニーア・オートマタ

2018-05-20T23:55:00.000+09:00

ニーア・オートマタ

beepcap

2018/05/20

本文

すこし長文になるかもしれないので、Twitterではなくこちらに書こうと思う。先に言っておくが、ニーア・オートマタのネタバレを含むので、見たくなければここでタブを閉じて欲しい。

beepcapである。

さて、タイトルの通りニーア・オートマタ(NieR:Automata)をプレイしての感想を書こうと思っているわけだが、その前に断っておきたい。まず僕はアクションゲームが余り好きではない。アクションは常に理不尽なマップを用意しているし、なぜか限界が測りきれないキャラクターが闊歩している。調査仕様にも体当りする以外に無かったりする。しかも、美少女が主人公とか言うともうダメだ、なんで美少女を起用するんだ、安心感のあるマッチョジジイにしてくれ。などと考えている人間だ。ニーア・オートマタにしても当時は食指が動かず、最近になってPS4のストアで半額になっているのを見て買った。

さて、プレイしてみると、これがアクションゲーではなくシューティングゲーの仲間であることがわかった。シューティングは大好きだ。その昔、ゲーセンで金を積んでいろんなシューティングをやってた。偶然購入したことを感謝しつつ、ゲームを進める。人気があるのもうなづける中々重いストーリーと、心を持たないと主人公たちに思われている機械の村。素晴らしゲームである。

Twitterでこの村が素晴らしいとツイートしたら、みんなが「鬼畜な展開に泣くがいいさ」といった反応をしてきた。

悲劇と聞いて、感じていた違和感の正体がなんとなくわかった気がした。物語の端々に感じる、「作り物の中の作り物」演出。私が想像したこの世界の仕掛けは、この世界のEエンドより、もう少し残酷なものだった。

例えば機械生命体の心は「実は人間」であり、人の体が滅びた後の、魂の器として機械生命体が作られ、エイリアンは狂言であり、アンドロイドたちは、もう壊れている。主人公たちは、その事実に気づき、何も救われない世界で延々と「元人間」を壊し続けなければならないことを知る。といったような話だ。

ほんもののエンドはもう少しだけ救いがあるので、興味のある人はぜひプレイしてみてほしい。最後に、これほどの素晴らしいゲームを作ってくれた人々に感謝したい。

About this document ...

ニーア・オートマタ

This document was generated using the LaTeX2HTML translator Version 2017.2 (Released Jan 23, 2017)

The command line arguments were:
latex2html -split 0 diary180520.tex

The translation was initiated on 2018-05-20

SNS時代のブログとは

2018-03-20T09:28:00.001+09:00

SNS時代のブログとはみたいなクサい記事を書いてみたくなったんだよ。
beepcapなんだよ。

さて、昨今SNSが大変に隆盛で、Twitterが無くなったらMastodonだなんて言われてる。
ブログに戻るなんて話は全然出てこない。
SNSがマイクロブログなんて呼ばれていたのも過去の話のようだ。
そんな中、昔から継続して日記を書いている人たちはまだブログを使ってる。
でも我々のように思いつきで記事を書いていた人間はどんどんSNSで思いつきが吐き出せるからブログは廃れる一方だ・・・
というのが風潮の分析だ。

でも、ブログってSNSとはだいぶ違う。
文字数の制限などの問題じゃなくて、SNSとブログは反応のあり方が違う。

SNSはふぁぼやRTで誰かが何かしらの反応をしていることがすぐわかる。
だから、短期間でウケの良い発言が多くなる。
意識しようがしまいが、自分のTLにウケが良い、同じ方向の話題が多くなる。
ある意味でキャラ付けが濃くなるというべきか。

でも、一方でキャラじゃない自分というのがいる。

俺だってたまにはライブハウスでメタルやハウスミュージックが聞きたいし、若い頃の悪い仲間がいれば原宿でナンパしたいし、エロビデオを友人の家に持ち込んでみんなでゲラゲラ笑ってみたい。

でもそういうキャラクターはSNSでは出にくい。
その方面は自分にとって知識も経験も、読者層も薄いからだ。
ニワカとしての意見をSNSでは書きにくい。

ブログではどうなのか。

ブログは閉じてる。
作者が書いて、読者がコメントを書くスタイルは、すくなくとも読者と作者が対等じゃあない。
だから、どんなにチープで悲惨で見る価値のないこういう記事を書いても、
誰からも文句を言われないし、言われても消すことが出来る。
私は私のブログの王様で（もっと強大な管理会社ってのもいるけど、そこは連合王国みたいなもんだから・・・）私の権力の及ぶ範囲は絶大なのだ。

だから、本当に変なことも書ける。
誰の反応も気にしなくても良いのだ。

ねえみんな、疲れたらブログに戻ってきてもいいんだよ。

邪悪なxonsh(の予定だったんだけどなぁ・・・)

2017-12-20T22:10:00.000+09:00

Xonshを邪悪に使おうとしたが失敗した話から

beepcap

2017/12/20

はじめに

10日ぶりである。
この記事はXonsh Advent Calendar 2017の20日目だ。

Xonshに対する解説は他の人がたくさん書いているので、この記事では邪悪な使い方を書こうと思っていた。まず僕の用途だとXonshはとてもいいものだけど、ちょっとまだ実用に至ってない。 zshのほうがちょっとだけ便利だ。補間の学習具合や、historyに溜め込んだコマンドの記録が僕を拘束する。 historyを移植してやろうと思ったが、Xonshの履歴はちょっとばかし扱いがめんどくさかったんでやめた。そんなわけで気合が入らないなか、試してみたことの記録を展開していこうと思う。なお、この記事はXonsh 0.5.12をベースに書いている。もしも改善されていたり、間違っていたらどんどん指摘してくれ。 Twitterの@beepcapで待ってるぞ。

最初の不満は

最初の不満はリダイレクトにあった。 Xonshはその性質上Pythonで書いた関数をシェル上で利用できるが、これをシェルの中の人に渡すにはaliasを使わねばならず、そうすると折角関数で作ったのに引数が使えずという苦しみが出てくるのだ。もちろん、そこはこう・・・パラメータを与えてやればいい

$ echo 'hogehoge' | fuga > out.txt

・・・・・・いやいや正気か？どう考えてもこうやりたい

$ fuga('hogehoge') > out.txt

そこで考えた。「aliasを使うから引数を付けられないのである」「！そうだaliasなしでリダイレクト制御すればよくね！？」 Pythonのコードをこうすれば、>を再現することが出来る。

class fuga: gtxt = "" def __init__(self, in_t): fuga.gtxt = in_t def __gt__(self, other): f = open(other, "w") f.write(fuga.gtxt) f.close() $ fuga("hogehoge") > "out.txt"

Oh!Yes!!!
ほんのちょっとばかし"が増えてしまったが、おおよそ思い通りではないか？！・・・・・・・・・うん。そうなんだ。 Pythonは文字列を扱うときには""が必須で、これを外せなかったんだ・・・悲しい。挫折した。 aliasを使う方法に対するメリットがあるとすれば、渡されるオブジェクトがファイル名でなくても良いという点だろうか。例えば、

$ fuga("hogehoge") > "twitter"

こういう使い方も考えられるわけだ。ツイートするのが簡単になる。
がまぁ、テキストの指定がダサいので失敗とする。

xonshの秘密をあかしてやろうとしたんだが・・・

xonshを今回いじるにあたって、自分に一つのルールを課した。それは、「ソースコードを見ない」ということである。我々は開発者であり、しかもxonshを喜んで扱うような人間であるからして Pythonには詳しい。その我々がソースコードを見ながらhackすれば、そりゃ何でも出来てしまうはずだ。あくまでも、プロプライエタリ・ソフトウェアに対するように、ユーザに開示されている情報のみで解析しなければ、面白くないだろう。

そんなわけでxonshをポチポチ遊んでいたのだが、 Twitterでばんくし(@vaaaaanquish)と会話している時にこんな発見があった。

[del x for x in dir()]でええやろと思ったけど、Xonsh自体が死んでダメだった。ネタだ。
— ばんくし (@vaaaaanquish) 2017年11月24日

Xonshは色々と強力だが、長くつけっぱなしで使用しているとゴミが多くなってくる。これはzshなども同じはずなのだが、あいつらはそれが見えないのでなんとなく気にされてない。しかしXonshはPythonなので、dir()を呼べば一覧が出てくる。もちろんdelで解放することも出来る・・・はずだった。

$ for i in dir(): del i

このコードを実行してみてほしい。バージョンによってコードは予想外の動きをする。例えば私の手元の0.5.12では、「何も起こらない」。意味が分かるだろうか？ dir()内の要素が消せないのだ。ところがどっこい、例えば

$ del __name__

では、ちゃんとname要素が消えてなくなるのである。どうもbuiltinsを消そうとするとなにか強制力が働いて、処理が中断されるようなのだ。実際、dir()を使った解放コードはある時まで Xonshの本体を巻き込んで死亡していた。

このbuiltins、何か秘密が隠れているに違いない。

調査のために、以下のように確認してみる。

$ dir(__builtins__)

ふむふむ、ちょっと中身は違うが標準的なbuiltinsの要素を含んでいそうだ・・・オブジェクトの名前でも確認してやろうかな・・・

$ print(__builtins__.__name__) AttributeError: 'dict' object has no attribute '__name__'

は？

え？いやいや、オブジェクトならそれが引けないって致命的でしょ・・・

ちょっとまて、あ、手が滑った

$ print(__builtins__) '__name__': 'builtins', '__doc__': "Built-in functions, exceptions, and other objects.\n\nNoteworthy: None is the `nil' object; Ellipsis represents `...' in slices.", '__package__': ”, '__loader__': <class '_frozen_importlib.BuiltinImpor ...略

お、おい・・・お前これ・・・ dictじゃねーか！！！！！！！！！！！！！！！！！！！

そう、そういうことなのだ。 Xonshはbuiltinsの中身をまるごと置き換えていたのだ。しかも、built-inモジュールではなく、辞書型のオブジェクトとして。この中身は大変面白いので、みんなもぜひいじってみてほしい。例えば、

$ __builtins__['testtxt'] = "test text." $ testtxt 'test text.'

といった感じである。 aliasなどの定義もこの中にある。

が、時間不足でこの遊びも失敗した。 subprocessを利用している処理を一部置き換えることには成功したのだが、まだ、根幹の定義済み命令を置き換えると、xonshがハングアップしてしまう。これでは大して悪いことに使えない。

ということで、失敗である。

イカロスの翼

神話の時代にイカロスは翼を作って飛び立ったが、太陽の熱に焼かれて翼が壊れ、落下して死んだそうだ。あれから得られる教訓は、「パワーが足りない」である。なぜロケット推進にしなかったのか。

そんなわけで、xonshでも処理するにパワーが足りない時がある。パワーといえばマルチプロセスだ！！！しかし、bashやzshのように、pipeでつなげばプロセスが起きたり、 xargsを使った今流行りのhackも使えない。 Pythonにはmultiprocessing()があるが、 CPythonがベースのxonshではGILがある。性能への影響がどの程度とかそういうの関係なく嫌だ。 Cとの結合をしようとしたらGILが働く設計にしとけばよかったじゃんか

ということで、os.fork()を使うことにした。

fork()を使用したマルチプロセス化の問題点として fork()は子と親でメモリ以外の資源を共有する、という点が挙げられる。例えばxonshで

$ import os $ os.fork()

とやると、とんでもないことになる。入出力が多重化し、まともに入力を受け付けなくなるだけではなく、表示も二重に出て、有り体に言えばバグる。そして、親プロセスを終わらせたが最後、ゾンビと化した子供はエラーを吐き続けターミナルを埋め尽くすのである。

何が悪いのか。 xonshはターミナルの上で動くCUIプログラムなので、ターミナルソフトとの通信には当然、stdin, stdoutを利用している。 fork()するということは、これらを複数のプロセスで共有してしまうことになる。

ここで、経験の多い人はこう思うだろう。

「stdinとstdoutを閉じればいいんだよ馬鹿だなぁ」

やってみよう。

$ import sys $ sys.stdin.close()

どうなっただろうか。おそらく例外が発生して/bin/shへfallbackされたのではないだろうか？コードを見ないルールなので、これは予測だが、トレースバックを見るにどうやらstdinに対してxonshはポーリングを掛けており、これが閉じられてしまうケースを想定していないようなのだ。 Oh...じゃあfork()しても、stdinをclose()した段階で、プロセス落ちちゃうじゃん。

ところが、ここに光明が見える。

$ import sys $ sys.stdout.close()

どうなっただろうか？何も起こらない？ではこうして見てほしい。

$ import sys $ sys.stdout

お分かりだろうか。そう、このstdoutは_ioに属していないのだ。 stdoutが別のclassに差し替えられているということは、同じことをstdinにも施してやればいい。無害なインタフェースクラスを作り、stdoutとstdinを差し替えてやればオッ！

・・・

ところが、そうは行かなかったのである・・・。

解析中にトレースバックで見たのだが・・・

$ import os $ os.close(1)

これをやって出てくるトレースバックに、あろうことか

File "/usr/lib/python3/dist-packages/xonsh/__amalgam__.py", line 15626, in settitle with open(1, 'wb', closefd=False) as f:

fuxx!!! オイオイオイオイ、その使い方は無いだろオイオイ！

stdoutをですね！ダイレクトにですね！叩いてるコードがいるんですね！！！

俺の言えた義理じゃないが邪悪すぎやしませんかね？

ということで、いまだに俺はXonshを使ってfork()をうまく使うことが出来ない。だれか助けてくれ。

最後に

新たなおもちゃを手に入れたと思って遊んでいたが、成果だけが出ていなかった。皆さまはこのような悪い大人になってはいけませんよ？

それではまた。

About this document ...

Xonshを邪悪に使おうとしたが失敗した話から

This document was generated using the LaTeX2HTML translator Version 2017.2 (Released Jan 23, 2017)

The command line arguments were:
latex2html -split 0 xonsh.tex

The translation was initiated on 2017-12-20

Footnotes

... どう考えてもこうやりたい: これ実は出来るよって情報求む
... 挫折した。: これも出来るなら教えてほしいと思うが・・・いやこれは無理やろ
... ツイートするのが簡単になる。: ほんとか？tweet()みたいな関数用意しとけばいいだけじゃね？
... Pythonには詳しい: そんな気がする
... 実際、dir()を使った解放コードはある時まで: バージョン控えておかなかったんだよなぁ
...調査のために、以下のように確認してみる。: Pythonにおいては未知のオブジェクトを調べる標準的な手法だ
... まだ、根幹の定義済み命令を置き換えると、xonshがハングアップしてしまう。: なにやら新しいバージョンで試したら、今度はハングアップしなくなっているのかな？これは期待が持てる
... Cとの結合をしようとしたらGILが働く設計にしとけばよかったじゃんか: 愚痴
... 表示も二重に出て、有り体に言えばバグる。: xonshのバグではないと思うけど
...これ: stdoutを無理やり止めようとしたのだ

web スクレイピング隠蔽技術

2017-12-10T22:42:00.002+09:00

web スクレイピング隠蔽技術

beepcap

2017/12/10

はじめに

なんか気づいたらアドベントカレンダーに登録してた。 webスクレイピングの10日目だ。 beepcapである。

webスクレイピング... 最近はwebスクレイピングなどとかっこいい名前が付いているが、昔はwebクローラといった気がする。厳密な定義がどうかは分からんのだが、軽く調べてみても両者を明確に区別する文言は見つからない。本記事ではwebクローラと言うことにする。

さて、古くからwebを扱っている人間にとって、 webクローラというのは親の敵のような存在だ。ネットワークが従量課金性であった時代では、アップロードとダウンロード双方に回線料が発生するのだ。クローラにアクセスされた分の料金を支払わねばならない個人サイトの運営者はとにかくクローラを排除する必要に迫られた。

その検出手法と攻防の推移を紹介しながら話を進めよう。

基本編

初歩的なクロール対策

「初歩的な」と書いたが、一般的なwebクローラの攻防は大体これだ。まずさくっとwebクロールしてみよう。きっと今回のACの他の記事にwgetによるクロールの話が出てくると思うので仔細は語らないが、

$ wget -r -l inf -k -nc -E -np http://targ.et

といったところだろうか。上記は最速で取得しようとするので、 httpdのアクセスログは単一のIPアドレスでうめつくされる。管理者側からはバレバレだ。

この行為への対策はIPアドレスフィルタリングとなる。自動化して一定時間のアクセスを禁止するものから、

$ iptables -A INPUT -p tcp -m hashlimit -dport 80 -hashlimit-name no_robot -hashlimit 5/s -hashimit-burst 3 -hashlimit-mode srcip -j ACCEPT $ iptables -A INPUT -dport 80 -j DROP

やらかしたら二度とアクセスを許さないものまで多種多様だが、

$ iptables -A INPUT -s xx.xx.xx.xx/32 -j DROP

対webクローラの手法としてIPアドレスフィルタリングは良く使われていた。 90年代〜2000年代初頭にwebページを運営していた仲間内では「クロール元のIPリスト」なるものがやりとりされていたりもしたのだ。こうなってしまっては満足に収集も出来ない。そこで、次のような対策が打たれた。

初期の対策の対策

これもwgetの例でいいだろう。

$ wget -r -l inf -k -nc -E -np -w 1 http://targ.et

このコードは1秒に1回のアクセスに取得を制限するものだ。一般的なクローラの動作といっていい。現代の普通のサイトではクローラを拒否する理由なんて負荷くらいのものだから、この対策で十分に効果があるし、目を付けられてブロックされる恐れも無い。
世の中の大半が幸せなら、それ以上の技術はいらない。

などという甘い考え方が通用しない人たちもいる。

例えばセキュリティ技術者のようにログを監視している人々にとっては、こんなふうにこれらのアクセスが見える。

[水 12月 6 08:30:03 2017] Inbound_tcp_s SRC=xxx.xxx.xxx.xxx DST= LEN=40 TOS=0x00 PREC=0x00 TTL=238 ID=45566 PROTO=TCP SPT=43146 DPT=80 WINDOW=1024 RES=0x00 SYN URGP=0 [水 12月 6 08:30:04 2017] Inbound_tcp_s SRC=xxx.xxx.xxx.xxx DST= LEN=40 TOS=0x00 PREC=0x00 TTL=238 ID=45567 PROTO=TCP SPT=6666 DPT=80 WINDOW=1024 RES=0x00 SYN URGP=0 [水 12月 6 08:30:05 2017] Inbound_tcp_s SRC=xxx.xxx.xxx.xxx DST= LEN=40 TOS=0x00 PREC=0x00 TTL=238 ID=45568 PROTO=TCP SPT=22012 DPT=80 WINDOW=1024 RES=0x00 SYN URGP=0 [水 12月 6 08:30:06 2017] Inbound_tcp_s SRC=xxx.xxx.xxx.xxx DST= LEN=40 TOS=0x00 PREC=0x00 TTL=238 ID=45569 PROTO=TCP SPT=30153 DPT=80 WINDOW=1024 RES=0x00 SYN URGP=0 . . .

webクローラであることがバレバレだ。 webクローリングを阻止したい人間がいれば、排除されてそれで終わりとなる。

そこで、ここからが本題だ。如何にしてwebクロールを隠蔽するのか。

アクセスのタイミングの隠蔽

人間が操作しているかのようなログを残せば、機械だと見破られなければ如何に優秀な管理者が相手であっても、これをブロックして仕舞うことは難しい。

例えばこれをランダム化によって回避しようとする手法がある。 wgetで言えば-random-waitという手法である。これを行うとアクセスの待ち時間がランダム化し、パッと見では分からなく・・・ならない。普通に怪しい。ただし、自動解析ツールを使って監視している場合は検出されなくなることがある。周期性をキーに監視しているツールが存在するからだ。それでも、まぁアクセスが多くなるので、人間に監視を促すよう警告が出る場合がある。そうしたらお陀仏だ。

ランダムではなく、人のような動きをクローラにはさせてやらねばならない。

とここまで書いたが、残り締め切りまで一時間しか無いので、巻いていこう。タイミング隠蔽を含めて、クロールが発覚しにくい手法の肝要な部分は3つある。

人の動きを模倣するには2つの点で気をつけねばならない。一つはアクセスする頻度だ。先程までの話から展開させると、つまり人は文書を読んでから次のリンクをクリックするので、文書上の距離を計測すれば適切な待ち時間を算出できる。この方法は、レンダリング後の画像を使う確実な方法と、マークアップと文を含めた文字数で算出する方法があるが、評価し確認してみた所だと、文字数だけでもかなり精度が高い。これはマークアップという書式の特徴だと思われる。ただし、画像の中に文書があるような形態の場合はやはり画面上の距離を推定する必要がある。どの程度の精度と成果をバランス良く摂るのかを検討して設計して欲しい。

アクセス元の偽装

言うまでもないが、アクセス元を偽装しなければ、同じサイトに毎日現れる不審なログに気付かれる可能性がある。とはいえ、アクセスのたびにProxyを切り替えるような手法はダメだ。 SYNのたびにProxyが切り替わるログは完全に怪しさしかないし、まともなサイトの管理者は、むしろパブリックなProxyを弾くように設定している。ここで大事なのは、企業などからアクセスしているように見せかけることだ。この場合、仮に頻度がある程度高くても、同じページを一斉に参照している可能性も考慮されるからだ。

ということで、この場合も最適解だけ書くと、安価なクラウドサービスをレンタルし、自前のProxyサーバを立てること。そして、一日以上、短くても数時間以上の長いスパンでProxyの切り替えをすることだ。同じサイトに同じ人間がいることはおかしくない。という心理上の正しさを追求すべきである。

クロールする時間

最後の項目だが、これは簡単だ。 24時間ページを見続けられる人間は居ない。あなたがクロールする時、それをアルバイトに任せることを考えて、稼働のシナリオを考えるのだ。webクローラとは隠密の世界なのである。

最後に

最後に、これらのいかがわしいwebクローラのコードを貼っ付けるのと、 Apache ManifoldCFとApache Solrによって構築するwebクローリングシステムの運用方法に言及しようと思っていたのだが。時間切れでなんにも出来てません。本当に申し訳ない。これらの話を聞きたい方は、Twitterで直接話しかけて欲しい。 @beepcapとしていつでもリプライを待っているぞ。

以上

About this document ...

web スクレイピング隠蔽技術

This document was generated using the LaTeX2HTML translator Version 2017.2 (Released Jan 23, 2017)

The command line arguments were:
latex2html -split 0 webスクレイピング.tex

The translation was initiated on 2017-12-10

Footnotes

... 本記事ではwebクローラと言うことにする。: そっちの方が短いし
... 「初歩的な」と書いたが、一般的なwebクローラの攻防は大体これだ。: 煽ってるんじゃないよ？それで十分なのさ。
... 自動化して一定時間のアクセスを禁止するものから、: 同じIPから port 80への3回以上のアクセスは1秒5回まで
... こうなってしまっては満足に収集も出来ない。: リトライをちゃんと仕込んでおけば前者は回避できるが、後者をされる確率が上がる

愚痴

2017-05-17T23:17:00.004+09:00

また標準テーマが気に入らなくてカスタムテーマを作ってしまった。
こうやってカスタムするから、引き継ぎができなくて、
毎回標準テーマが更新されるたびに泣く泣く時間をかけてカスタムする羽目になるというのに。

cgroupを利用して処理ごとに資源を割り振る話

2017-05-16T23:20:00.003+09:00

仕事でcgroupを使用したくなってちょっと調べたのですが、
Googleで調べると、昔こんな記事を書いたことが発覚しました。

当時は動いたのだでしょうが、現代では間違いだらけの動かないポンポコピーなので、
書き直すことにします。
なお当該のパッチは現在でも形を変えて(当時ほど率直ではないものの)残ってはいるので、この対応は全くの無駄です
。
でもgoogleでcgroupの使いかたの日本語記事でこのblogが引っかかるので、訂正しておかなければならないですよね・・・。

まず、Cgroup自体についてはRed Hat社のこの記事がとても詳しいです。

Red Hat Enterprise Linux 6 リソース管理ガイド

なので、私の駄文など読まずに上記のリンクを踏むのが最適解となります。

しかしながら、昔シェルごとにCgroupを作る記事を書いてしまった手前更新して置かなければならないので、更新します。

~~ああ面倒くさい。これが技術的負債というやつだ。~~

まず、
現代のディストリビューションではCgroupの資源はすでにmountされているのです。
なので、元の記事でcgroup用のディレクトリを作り、mountしていたが無駄です。

例えばUbuntu 17.04 だと
/sys/fs/cgroup
にすでに基本的な機能を展開済みです。

ファイル操作だけでも設定できるのですが、
誰でも簡単に扱えるようにするためのツールを入れましょう。

sudo aptitude install cgroup-tools

以上。
これで、基本的なcgroup制御用のコマンドが使えるようになります。
詳しくは、Red Hatの記事を読んでね。

しかし、今回はあくまでも前回の記事の更新なので、前と同じテイストでも書いておきます。

sudo mkdir -m 0777 /sys/fs/cgroup/cpuset/users
sudo cp /sys/fs/cgroup/cpuset/cpuset.cpus /sys/fs/cgroup/cpuset/users/
sudo cp /sys/fs/cgroup/cpuset/cpuset.mems /sys/fs/cgroup/cpuset/users/

はい、何やってるかというと、cgroupのcpusetというサブセットの中にusersというユーザ用のフォルダをアクセス権全開で作ります。
しかし、cgroupは初期値では何も動作しないようになっているため、cpusetの値(基本的には環境のフル機能)をusers環境にコピーしています。
cgroupのフォルダは階層型の設定がファイルに仮想的にマッピングされている構造であるため、こうやって無理矢理風にコピーしても、動いちゃいます。
スゴイネー

あとは前回と同じスクリプトをシェルの環境設定に仕込んでください。

.bashrc や .zshrcに

if [ "$PS1" ] ; then
mkdir -m 0700 /sys/fs/cgroup/cpuset/users/$$
cp /sys/fs/cgroup/cpuset/users/cpuset.cpus /sys/fs/cgroup/cpuset/users/$$/
cp /sys/fs/cgroup/cpuset/users/cpuset.mems /sys/fs/cgroup/cpuset/users/$$/
echo $$ > /sys/fs/cgroup/cpuset/users/$$/tasks
fi

と追記すれば、はい、これでシェルから起動したプロセスは毎回cgroupに個別に閉じ込められることになりました！
プロセスディスパッチのヒンテングに効果抜群で・・・

・・・という時代は終わりました。
もうパッチもその後継も十分にみなさんに行き渡っていると思います。
いまさらこのパッチが当たる前の世代のカーネルを使っている人はいないでしょう。
すくなくとも、cgroupが使えて、パッチが当たっていない環境は残っていないと思います。

まぁ上記のスクリプトを一部イジることで、アプリの機能を常にCPUの70%までしか使わないようにしたり、CPUにラウンドロビンで割り当てたりと、カスタム自由なので、遊んでみてください。

なお、cgourpに割り当てた資源を

rm -rf /sys/fs/cgroup/cpuset/users

みたいに消そうとすると、権限がなくて失敗します。
仮想なので。

簡単なのは、先程入れたコマンドで、

cgdelete -r cpuset:users

とやると一発です。

でも、どうしてもファイル操作でやりたいひねくれ者のあなた。
そう僕。

そんな人のためにファイル操作でも出来る方法を見つけておきました。

資源のグループごとにrmdirで消すことができます。(盲点だったZE)

rmdir /sys/fs/cgroup/cpuset/users/$$
rmdir /sys/fs/cgroup/cpuset/users

こんな感じ。

それでは本当にではでは。
過去の負債を精算する記事でした。
さよなら！

なんだかTwitterにプロモーションツイート課金してみた。

2017-02-12T21:29:00.001+09:00

どうも。
beepcapです。

最近この喋り出しがyoutuberっぽいって言われました。
そりゃああっちがネットラジオからパクってった文化ですからね！

youtubeできるより前からラジオしてたっての。
もうやってないけど。

さてさて、本題ですが、
Twitterで課金してみました。

Twitterの運営が傾いてるという話は聞いてて、
トランプが買ってくれねぇかなぁくらいに思ってはいたのですが、
どうやら、自分で課金することができるようなのでやってみました。

最近Twitter社から定期的こんなメールをもらってまして、

これの「管理画面で設定を始めるをポチッと押して、
あとは適当に設定し、クレジットカードを登録すれば完了です。

とりあえず、1clickいくらかも気にしてないですが、
一日100円いくと自動的に止まります。
つまり月に3000円・・・くらいの課金ですね。

だれもクリックしないと、一切お布施にならないところが、
なんというか物悲しいです。

もしみかけたらクリックしてやってください。
どうせここに来るだけなんで。

ではでは

SO-FI

2016-12-17T13:26:00.002+09:00

この記事はロックバンド Advent Calendar 17日目です。

はい皆様お久しぶりです。
beepcapです。

ばんくしのアドベントカレンダーに合わせて一年ぶりに記事を書いています。
正直眠いです。

さて、タイトルのSO-FIですが、ロックを演ってはいたものの、
ロックバンドかと言われると少々怪しい感じです。

メンバーは

大島こうすけ - キーボード、作曲、編曲

甲斐冴子 - 2代目ボーカル

佐々木美和 - 作詞、キーボード

岩切玲子 - 初代ボーカル、作詞

wikipediaより

上記のようにボーカルは2代いるのですが、僕が好きな方は2代目の方です。
もともと大島こうすけというすでに業界で活躍していた大物キーボードと、
佐々木美和というこちらも経験のあるキーボード、
それにド新人の歌手という組み合わせで、
"いかにも寿命が短そうな"構成なのですが、

実際に大変短命で、初代で2枚、2代目でも2枚しかシングルを出さずに解散してしまいました。

まぁでも、グダグダ言わないで聞いてくださいよ！
ニコニコ動画などで探すと出てきてしまうのですが、ブログに転載はしかねるので、
Amazon置いときます。

カッコつけろよ SO-FI

バブル時代のロックミュージックとしてとても良い曲です。
制作年を考えるとバブルは終わってるはずなんですが、
時代を少し間違えちゃった感もGoodです。

ダブルキーボードはなかなかうまく、そこに素人に毛が生えたようなボーカルが混ざるところも色々ロックです。
でもこのボーカルの声が良いんです。

SUPER LOVE SO-FI

こちらもJ-ROCKといったところですが、正しく90年代スタイルです。
迷走が伺えます。

こちらはアニメソングにも起用されており、
きこちゃんすまいる
というアニメのOPとしても知られています。
子供向けアニメとは思えないアンバランスなOPが記憶に残っていますが、
正直、アニメの内容は全く覚えていません。

こっちの曲はyoutubeなんかにも違法な動画があります。

ということで思いは尽きないのですが、
シングル２枚しかないので、これで紹介は終わりです。

正直、今回のカレンダーでは他にも
X-Japan(X)とかFire Bomberとか書きたいものはいっぱいあったのですが、
でも他の誰ともかぶらないだろうし、僕が紹介しなければこのカレンダーを見ている人たちには一生縁がないバンド(?)だろうと思い紹介しました。

みんなは現代イケイケのバンドを書いてくれていて、
非常に楽しみに読ませていただいているのですが、
ぜひとも過去のバンドにも興味をもってもらいたいです。

ではでは

たった半日でRaspberry Piを使った監視カメラと配信サーバを作る　Step 2

2015-11-28T22:12:00.001+09:00

前回

ということで、今回から設定していきます。
beepcapです。

前回で必要なソフトのインストールは大体終わったので、設定を行います。

Raspberry Pi 設定

Raspberry Pi2ではmotionの設定を以下のように変更します。

画像の出力は動体検出ではなく定期的に
画像のファイル名は固定（取得のたびに上書き）
画像の置き場はramfs

そのためには、まずエディタで/etc/motion/motion.conf
を開く必要があります。

raspbianではデフォルトでnanoが採用されているので、

sudo nano /etc/motion/motion.conf

とします。

とりあえず僕は以下のように変更しました。
<<後日設定ファイルをはりつける>>

## デーモンモードを切る
daemon on
↓
daemon off

## 常にキャプチャを取得する
emulate_motion off
↓
emulate_motion on

## 動画の出力を停止する
ffmpeg_output_movies on
↓
ffmpeg_output_movies off

## ramfsにファイルを出力する
target_dir /var/lib/motion
↓
target_dir /dev/shm

## 出力ファイル名を固定する
picrure_filename %v-%Y%m%d%H%M%S-%q
↓
picure_filename output

ここで、動作確認をしてみます。
USBカメラをRaspberry Pi2に接続し

sudo motion

を実行し、出力された/dev/shm/output.jpgを確認して下さい。
画面がキャプチャされていれば成功です。

さて、サーバにuploadするための仕組みも作りましょう。

以下のようにしてスクリプトを書きます。

nano upload.sh

以下ファイル内

#!/bin/bash
while :
do
scp -i "azureサーバの秘密鍵" /dev/shm/output.jpg azureuser@******.test-serv.cloudapp.net:/home/azureuser/output.jpg
sleep 1
done

秘密鍵は事前に作っておく必要があります。
秘密鍵の作成手順は、あとで例として載せますが、同じ手順である必要はありません。

上のスクリプトは1秒に一回、画像ファイルを/home/azureuser/output.jpgに上書きします。

あとはこれらを起動時にじっこうするよう、Raspberry Pi2に登録します。

sudo nano /etc/rc.local

このファイルのexit 0 の前に以下の2行を追加します。

motion&
/bin/bash /home/pi/upload.sh&

これで、Raspberry Pi2は起動後からカメラだ撮った内容をサーバにuploadし続ける機器になりました。

サーバ側の設定

さて、Azure側では受け取った画像を公開しなければなりません。
今回は気取って、canvasを使いました。
web 1.0な人はimgタグをつかってreloadすればおしまいです。

nano index.html

ここで新規に作成して


<html>
<script>
onload = function() {
  draw();
  setInterval("draw()", 1000);
};

function draw() {
  var canvas = document.getElementById('c1');
  if ( ! canvas || ! canvas.getContext ) { return false; }
  var ctx = canvas.getContext('2d');
  var img = new Image();
  img.src = "output.jpg?" + new Date().getTime();
  img.onload = function() {
    ctx.drawImage(img, 0, 0, 640, 480);
  }
}
</script>
<canvas id="c1" width="640" height="480"></canvas>
</html>

こんな感じのスクリプトを仕込みます。

上のスクリプトが何をやっているのかは見ていただければわかりますが、
最大限手抜きをしているので資源がもったいないとかはご容赦下さい。

さて、index.htmlがAzureの /home/azureuserに出来たかとおもうので、
webサーバを立ち上げます。

~/thttpd-2.27/thttpd -d .

終わり！！！(※1)

※1 Azureの場合はポートを開ける動作として、エンドポイントの設定でHTTPを開いて下さい。

あとは、Raspberry Pi2を起動して、サーバのwebページにアクセスすれば、
バッチリカメラ画像が更新されているはずです。

さいごに

どうだったでしょうか？
半日で出来たでしょうか？

普段、ちょっとほしいなと思いつつも、中々ハードルが高そうで出来ないこと。
それを実現するのがIoTと呼ばれる、簡易組み込みの世界だと思います。

こうやってどんどん、楽に、色々作っていけたら楽しいですよね！

ではでは。
beepcapでした。

おまけ

サーバで公開鍵認証を行う方法

ssh-keygen -t rsa
cd ~/.ssh
cat id_ras.pub >> authorized_keys

あとは、id_rsaをRaspberry Pi2側に転送すればok

使いまわさないように注意。

たった半日でRaspberry Piを使った監視カメラと配信サーバを作る　Step 1

2015-11-28T09:37:00.003+09:00

「たった半日でRaspberry Piを使った監視カメラと配信サーバを作る」
という流行りっぽい名前で記事を書いてみようかと思います。

beepcapです。
皆様お久しぶりです。

====ここから下は隠すみたいな表記も忘れてしまった====

さて、Twitterでふぁぼは募ったのですが、集まらなければこっちで公開した内容をあっちに貼らなければ良いだけなので、先に記事を書いておきます。

三分間クッキングよろしくまず材料を集めます。

材料

Raspberry Pi2 Model B (Raspberry Piでもよし)
なんかサーバ(※1)
USB接続のwebカメラ(※2)
LANケーブル、マイクロUSB給電ケーブル
micro SDカード
マウスとキーボード(※3)

※1 WANから参照可能でsshが使えればなんでもいいです。(今回はAzure)
※2 市販のwebカメラで大丈夫ですが、RPiの場合専用カメラもあります。
※3 実働には不用です。開発のために調達してください。

座料は揃いましたか？
ない人は買ってきましょう。
Raspberry Pi 2 Model B
なんかサーバ
USB接続のwebカメラ
LANケーブル
マイクロUSB給電ケーブル
micro SDカード

マイクロUSB給電ケーブルは100円ショップのものでも良いのですが、
Raspberry Pi2は比較的大食いなので、発熱などに気をつけて下さい。

「なんかサーバ」は今回はWindows Azureを採用してみました。
Microsoft AzureはAWSとして使うと幸せなんです。
多彩な機能はぶっちゃけ使いにくいAzureですが、Linuxサーバとしては優秀です。
ただ、料金は240円/日くらいかかります。
月額7200円ですね。
なので、この記事を見ている方々は自身のお好きな資源を使われたほうが良いと思います。

材料はこんなもんです。

下準備

下準備を始めましょう。

Raspberrt Pi2にはRaspbianを入れておきます。

といっても楽をしたいので、NOOBSで入れましょう。

NOOBSのダウンロード

上記のリンクから、NOOBSをダウンロードしてきます。

多分Liteでもいいのですが、標準版にはRaspbianがすでに格納されています。

ダウンロードしてきたzipを解凍し、フォーマット済みのmicro SDに入れます。

あとはRaspberry Pi2にmicro SDを挿入し、マイクロUSB給電ケーブルで

USB電源と接続してください。

<<忘れなかったらここにNOOBSの画面>>

Raspberry PiのOSをインストールしてみた（NOOBS篇）: Raspberry Piでやってみた:

このへんの記事を参照に、Rasbianをインストールして下さい。

AzureにはLinuxサーバをインストールする必要があります。

Azureを使わない人はVMでも何でもいいので、Linuxのインストールと読み替えて下さい。

なお、Linux側は楽をするために、Ubuntu 14.04 LTSを使っています。

Azureのメニューの新規作成からこんなふうに新しいサーバを作成します。

作成すると、sshdが有効になったサーバが立つので、

user: azureuser

pass: 上記画面で指定したもの

でsshログインができます。

ssh azureuser@******.test-serv.cloudapp.net

といった感じでしょうか。

ソフトのインストール

では今回使用するソフトをインストールしていきましょう。

まずは、Raspberry Piから。

Motionの導入
Motion Wiki Home Motion - Web Home
今回はビデオキャプチャとしてmotionを使います。
motionを選択した理由は、
1. 導入が簡単
2. 定期的に画像ファイルとして出力できる
3. 同じファイルに連続して上書き出来る。
ということで、今回はこれを選択しました。
3が重要です。

ではインストールします。
ディストリビューションはdebianベースなので、

sudo apt-get install motion

終わりです。

次にwebサーバをAzure側に作ります。
といっても、Apacheとかnginxとか巨大だしめんどくさいですよね？

ということで、

thttpdの導入
thttpd
導入の理由は
1. とにかく簡単に設定(?)が終わる
これに尽きます。

こちらもAzure上のubuntuなので

sudo apt-get install thttpd

とやりたいところなのですが、
コレではダメです。
なぜダメかというと、Ubuntu 14.04 TLSでは愚かなことに、thttpdが
パッケージに含まれなくなってしまったのです。

仕方がないので、野良ビルドします。

先ほどのページからthttpdをダウンロードして、ビルドします。

wget http://acme.com/software/thttpd/thttpd-2.27.tar.gz
tar -xf thttpd-2.27.tar.gz
cd thttpd-2.27
./configure
make

こんなかんじでしょうか。

さて、重要なソフトのインストールは出来たので、
次回から、設定と環境構築と楽しいコーディングと行きましょう。

ではでは

次回

好きこそものの上手なれ

2015-01-18T04:42:00.001+09:00

とってもいい言葉だよね。
でも上手じゃないと好きになれない段階ってあるよね。

で、画期的な解決方法を思いついたんだよ

好きなことしかやらなければいいのでは

bloggerへの投稿をTwitterに自動連携するようにしてみた

2015-01-17T22:21:00.001+09:00

恥ずかしい男
beepcapです。

タイトルの実験的記事なので、別に何も書くこと無いのですけど・・・

そうだなぁ、
自由に生きるために必要なものって、
お金かと思ってたんですけど、

どうも違うみたいです。

では

景気回復

2015-01-17T21:59:00.001+09:00

どうも、無為に時間を過ごすのが大好きなbeepcapです。

でも意識して過ごしているのを無為と言っていいのかは疑問。

さて、昨今アベノミクスかはおいといて、
景気回復してきましたね。

あなたのお財布が寒いのは別にバブル期でも一緒でしょ？

少なくともお仕事増えてきました。

例えば、2008年頃にはリーマン・ショックのせいで、大手のお仕事がだいぶ減り、
僕の前職でも今までのグループの仕事だけでは立ち行かなくなり、
単価の低く、リスクが高い仕事を選択せざるをえなくなり、
だいぶ負債を抱えました。
もちろん、しっかり社員に還元されました。
ボーナスは出ても"寸志"という名目で数万程度。
もともと年収が低かったので大変なことになりましたっけ・・・

2011年の震災直後もお仕事減りました。
輪番停電の影響で工場の稼働が下がり、その分だけ次期開発計画に影響が出て、
社内で休息室でずっと休んでる（しかない）ような社員がでてきました。

そうして、どんどん仕事が減っていき
減る分だけ、人員もカットしていき
今までの忙しさは、5人でやらなきゃいけない仕事を、人が2人しかいないから
2.5倍働かなきゃ行けないといった、そういう忙しさで、
正直やってられないものでした。

でも去年くらいから今度は純粋に仕事が増え始めました。
僕の今の忙しさも、新規件が増えて、その対応に追われてるからです。
こういう、現体制を評価し、褒めるような発言が出来るのはインターネットならでは
と言った感じがしますね・・・。
既存のメディアは敵対的な話ばかりしてる気がします。

このまま安定してくれるといいなぁ。

beepcapでした。

自分の過去記事が役に立つ

2015-01-16T23:40:00.006+09:00

はいどうも連続投稿beepcapレンジャーです。

今blogger読み返してみたら、結構役に立つというか
今でも僕の興味を引く記事がワンサカあるのね。

中々上出来です。

ということで、今現在僕がハマっているものも
ついでなんでここに書き残しておきますかね。

ということで、
スマートフォンのブラウザに常に表示させてるページのリンクを
パラパラと貼っておきます

--
読解アヘン
http://dka-hero.com/top.html
--
この漫画家さんのファンなのですよ。
多分前に書いてた作品とかもずーっと見てました。
もう未公開になってしまった作品がいくつかあるのが、悲しい

--
こんな所も住めば都・ネオ！
http://www.h6.dion.ne.jp/~tkg-tkg/
--
最近激しくハマり直したTRPG読み物の最高峰。
ぜひガープス・ルナルリプレイは読んでください。
活動再開してたとは知らなんだ。

--
ログ・ホライズン - 小説家になろう -
http://ncode.syosetu.com/n8725k/
--
アニメも絶賛放映中ですが、やはり小説としてサイトで読むと
想像力が掻き立てられます。
今まさに連載再開中なので、毎週楽しみ。
一つストーリが終わると、半年くらい休眠します。

--
麻布十番の老舗
http://jin3.jp/juban/sinise.htm
--
我が実家というか今はなくなってしまった元実家の商店街の現況を
まとめたサイト。
親戚は住んでるので、まだたまに行ったりしますね。
冠婚葬祭で。
懐かしのお店がだいぶなくなってる感じ。

--
サウンドハウス
http://www.soundhouse.co.jp/
--
オーディオ機器を日本で手に入れるならここってくらいオーディオに
便利なサイト。
ヘッドフォンとかアンプとか買うときはまずここを確認します。
数年前にクレジットカード情報流出事件を起こしてから、
クレジット決済ができなくなりました。
早く復活してほしい。

--
ホントに実在する変な法律
http://www.ceres.dti.ne.jp/chu/law/
--
法律関連でイライラした時に読むサイト
ホントストレス解消用。
これ読むと、ちょっとした法律トラブルはどうでもいい気がしてきます。

以上かな？
またそのうち追加するかも。
ではでは

完璧主義なブロガーの悩みを読んで

2015-01-16T23:14:00.002+09:00

はいどうも、年に１記事も書かないbeepcapです。

完璧主義なブロガーの悩み - かすてらすねお。（非日常編） http://suneo3476.hateblo.jp/entry/2015/01/16/230037

これを読んで思ったことをつらつら書いてみようかと思い
筆を取りました。

そもそも、ブログなんてものが日本で一般的でなかった時代、
僕らは文書をインターネットで発表するのに
HTMLでしこしこ文を書いて公開してました。

それらはテキストサイトなんて言われ方をしていて、
要はコンテンツがテキストしか無いという意味でした。
まぁ当時テキストはインターネットに参加している人間であれば、
誰にでも”作れる”コンテンツでしたし。

そんな時代からチャットが流行り、掲示板が流行り、ブログが流行り、SNSが流行り、
そうして、今はSNSの中でもチャット的な機能を併せ持つ”マイクロブログ”が
流行っています。

でも結局、みんな自分が言いたいことを言えるスペースがほしいだけなんですよ。

多分Twitterだから気楽で、blogだから推敲に時間がかかるとか
見てる人を意識しなきゃっていうのは、自分のこだわりだけで、
言いたいことを言いやすくするための言い訳なんですよ。
推敲の先に言いたいことがあるんですから。

推敲して完璧主義を貫く、意地を通す媒体としてのブログ
もっと肩肘張らずに楽しんでみたらいいのではとか
思います。

なんて、全く遂行しないで投稿してみました。
僕の言いたいことは推敲の先にないので。

それでは

Minecraft1.6 ランチャーの使い方

2013-07-22T23:39:00.002+09:00

はい、どうも。beepcapです。

まずはランチャーを起動してみましょう。
皆様起動はできますね？

出来ないという方。

あなたはおそらくMojanのwebサービスにログインしていなかったのでしょう。
Mojanにログインしてから、そのアカウントでMinecraftにログインすると
以下の画面が出てきます。

ほい、左下に見えているドロップボックスがプロファイルです。
ここで、Minecraftのユーザ名や起動バージョンを管理します。

New Profileを開くとこうなっています。

さて、ここで設定なのですが・・・
基本的には何も変える必要はありません。

もし、最新の1.6.2以外で遊びたい方は、Use versionの右側のドロップボックスで古いバージョンのマインクラフトを選びましょう。

適当な名前を Profile Nameに指定してSave Profileを選択すれば準備完了です。

後は、play を押すだけ。

れっつえんじょい

告知とか？

2013-03-01T07:25:00.002+09:00

ちょっと、今年の春終わりから夏に掛けて連載の予定があります。

こうご期・・・・いや期待はしなくていいです。

VirtualGL　その１

2012-04-08T02:54:00.000+09:00

知っている人は知っている。
というより知らない人には全く興味が湧かないであろうVirtualGLを導入するためのメモ

beepcapです。

さて、早速ソースをおとしてくる。
http://www.virtualgl.org/
公式サイトを見ると、version 2.3が最新のようだ（なぜか最新日付は2.3b1なんだが、通常のバージョンの付けかたの常識から考えれば2.3が最新のはずだ)
ので、早速おとしてきて作業用のディレクトリに格納。
今回は鯖側はDebian系なのだが、端末側はpuppyLinuxであるため
どちらでも使用可能であろうソースを参照する。

さて、ユーザーズガイドも同じページにあったため参照すると
ユーザーズガイド
ソースパッケージのBUILDING.txtを読めとある
わー親切。

気を取り直して
ソースパッケージの当該テキストを読むと・・・ふむふむ・・・
要はcmakeしろと書いてある。長々と書いてあるのは他の環境ごとの情報だ。
どう考えても別ファイルにしたほうが読みやすいんだけど・・・

いいや

$ cmake -G "Unix Makefiles"

っと

ん？

CMake Error at cmakescripts/FindTurboJPEG.cmake:23 (message):
Could not find turbojpeg.h in /opt/libjpeg-turbo/include. If it is
installed in a different place, then set TJPEG_INCLUDE_DIR accordingly.
Call Stack (most recent call first):
CMakeLists.txt:250 (include)

はぁ・・・つまり、libjpeg-turboがないと。
そういやそんなことがガイドに書いてあったな。

http://libjpeg-turbo.virtualgl.org/

ここからおとしてインストールするっと。
まぁlibjpeg-turboの方は各自やってもらうとしてこれで問題なくビルドできるはずだ。

$ cmake -G "Unix Makefiles"

よしよし

-- CMAKE_BUILD_TYPE = Release
-- VERSION = 2.3, BUILD = 20120408
-- CMAKE_INSTALL_PREFIX = /opt/VirtualGL
-- VGL_BINDIR = /opt/VirtualGL/bin
-- VGL_DOCDIR = /opt/VirtualGL/doc
-- 64-bit build
-- Linking with static libstdc++:
/usr/lib/gcc/x86_64-linux-gnu/4.6.1/libstdc++.a
-- Enabling X Video support
-- TJPEG_INCLUDE_DIR = /opt/libjpeg-turbo/include
-- TJPEG_LIBRARY = /opt/libjpeg-turbo/lib64/libturbojpeg.a
-- Building VirtualGL server components
-- VGL_FAKELIBDIR = /opt/VirtualGL/fakelib/64
-- VGL_INCDIR = /opt/VirtualGL/include
-- VGL_LIBDIR = /opt/VirtualGL/lib
-- Configuring done
-- Generating done
-- Build files have been written to: /run/shm/VirtualGL-2.3

出来たみたいだ。
じゃあ

$ make

っと
ちなみにVirtualGLはpicを有効にしておいて欲しいらしく先ほどのlibjpeg-turboはwith-picを付けないとこの時点でビルドエラーになる。

ということでビルド完了。

使うにはgdm止めたりしなきゃいけないようなので。
とりあえずここらで一旦投稿。

続きはそのうち

+BeepCap+ブログ Blogger本店

nftablesでiptablesのhashlimitの代わりをしようとしたら世の中の情報もChatGPTも間違ってた話

要件

対応

説明

考察

Twitterが終わった後の連絡先

真面目な人にはちょっと言えない話

仕事の本質

評価される仕事とは

なんで飲み会に参加しない人は無能なのか

根回しって才能かもしれない

サルシッチャ作るぞ

(自作)冷製たらこパスタのオリジナルレシピ

GNU コーディング標準 C言語編(多分前編)

無敵の人なんていない

無敵の人なんていない

ニーア・オートマタ

ニーア・オートマタ

SNS時代のブログとは

邪悪なxonsh(の予定だったんだけどなぁ・・・)

Xonshを邪悪に使おうとしたが失敗した話から

Footnotes

web スクレイピング隠蔽技術

web スクレイピング隠蔽技術

Footnotes

愚痴

cgroupを利用して処理ごとに資源を割り振る話

なんだかTwitterにプロモーションツイート課金してみた。

SO-FI

たった半日でRaspberry Piを使った監視カメラと配信サーバを作る Step 2

Raspberry Pi 設定

サーバ側の設定

さいごに

おまけ

たった半日でRaspberry Piを使った監視カメラと配信サーバを作る Step 1

材料

下準備

ソフトのインストール

好きこそものの上手なれ

bloggerへの投稿をTwitterに自動連携するようにしてみた

景気回復

自分の過去記事が役に立つ

完璧主義なブロガーの悩みを読んで

Minecraft1.6 ランチャーの使い方

告知とか？

VirtualGL その１

たった半日でRaspberry Piを使った監視カメラと配信サーバを作る　Step 2

たった半日でRaspberry Piを使った監視カメラと配信サーバを作る　Step 1

VirtualGL　その１