メモOFF

Java ScriptでQuery StringをObjectに変換する

2018-07-04T11:25:00.002+09:00

var qs = document.location.search.replace(/(^\?)/,'').split("&").map(function(n){return n = n.split("="),this[n[0]] = decodeURIComponent(n[1]),this}.bind({}))[0];

これで
?name=hoge&gender=female
に対して
qs.name --> hoge
と値が取得できます。

elFinderでchmod出来るようにする

2017-07-03T17:46:00.000+09:00

ブラウザ上から、サーバーのファイル操作ができるWEBアプリ版のファイルマネージャー elFinder ですが、デフォルトではパーミッションの変更が出来ず少々苦労したのでメモです。

どうやらこのオプションを有効にしてあげれば良いみたいです。

https://github.com/Studio-42/elFinder/wiki/Connector-configuration-options-2.1#statOwner

elFinder/php/connector.minimal.php

のファイルに次の記述を入れれば設定が有効かされました。

'statOwner' => 'True',

記述箇所はこのあたり

$opts = array(
 // 'debug' => true,
 'roots' => array(
  // Items volume
  array(
---- 中略 ----
   'statOwner' => 'True',
---- 中略 ----
  ),

この設定を入れて、リロードしてみると＊みたいな黄色のアイコンが出現し、属性変更（パーミッション変更）が出来るようになりましたヽ(´ー｀)/

AWS Management ConsoleのS3新UIで、deletedなオブジェクトをprefix指定でフィルタリング表示する

2017-06-27T16:57:00.001+09:00

バージョン管理をenableにしたS3バケットで、大量のdeletedなオブジェクトの中からprefix指定でオブジェクトをピックアップしようとしてみたところ

No keys were found for prefix search.

と言われてしまい、deletedなオブジェクトに対してprefix指定での検索ができませんでした(´・ω・`)

ブラウザ上の操作では

Type a prefix and press Enter to search. Press ESC to clear.

と書かれているフォームにprefixを指定してみても、deletedではない現行バージョンに対して検索してしまうようです。

ワークアラウンドとして、次のように直接URLで指定してあげるとdeletedなオブジェクトに対して検索することができましたよヽ(´ー｀)/

https://console.aws.amazon.com/s3/buckets/<バケット名>/<prefix>?showdeleted=true

MySQLでユーザーに設定したパスワードが効かなくて嵌った件

2017-02-14T20:17:00.001+09:00

Amazon Linuxでyumを使ってMySQL56をインストールし起動し、データベースとユーザーを作成して
ログインしてみると設定したパスワードでログインできないではありませんか（；゜〇゜)

mysql> create database mydb character set utf8;
mysql> grant all on mydb.* to user identified by 'xxxxx';

$ mysql -u user -p
Enter password: 
ERROR 1045 (28000): Access denied for user 'user '@'localhost' (using password: YES)

ところが、パスワードなしでログインを試みるとは入れてしまいましたΣ(゜д゜;)

プロセスを確認してみると指定したユーザーでログインしています。

$ mysql -u user
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 30
Server version: 5.6.35 MySQL Community Server (GPL)

Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show processlist;
+----+-----------+-----------+------+---------+------+-------+------------------+
| Id | User  | Host      | db   | Command | Time | State | Info  |
+----+-----------+-----------+------+---------+------+-------+------------------+
| 28 | user      | localhost | NULL | Query   |    0 | init  | show processlist |
+----+-----------+-----------+------+---------+------+-------+------------------+
1 row in set (0.00 sec)

ユーザーテーブルどーなってるか確認してみるとユーザー名なし、パスワードなしの登録が入っていました

あやしいです(；一_一)

mysql> select user,host from user;
+-----------+------------------+-------------------------------------------+
| user     | host        | password       |
+-----------+------------------+-------------------------------------------+
| user      | %         | *XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX |
| root     | 127.0.0.1        |                                           |
| root     | ::1        |                                           |
|     | ip-xxx-xx-xx-xxx |                                           |
| root     | ip-xxx-xx-xx-xxx |                                           |
|     | localhost        |                                           |
| root     | localhost        |                                           |
+-----------+------------------+-------------------------------------------+

mysql> select host from user where user="";
+------------------+
| host     |
+------------------+
| ip-xxx-xx-xx-xxx |
| localhost    |
+------------------+
2 rows in set (0.00 sec)

怪しいので消してしまいましょうヽ(´ー｀)/

mysql> delete from user where user="";
Query OK, 2 rows affected (0.00 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

そしたら、次の通り入れました！ヾ(*･∀･)ノ"

$ mysql -u user -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 30
Server version: 5.6.35 MySQL Community Server (GPL)

Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

restart dhclient without OS reboot

2016-10-05T13:33:00.000+09:00

yum updateを実施したところdhclientがdeletedな状態となってしまいました

# lsof|grep del
dhclient   2292      root  txt      REG       202,1    547784   402927 /sbin/dhclient (deleted)

いろいろと調べて、最終的に辿り着いた対応方法がこれ

# service network reload
Shutting down interface eth0:       [  OK  ]
Shutting down loopback interface:      [  OK  ]
Bringing up loopback interface:       [  OK  ]
Bringing up interface eth0:  
Determining IP information for eth0... done.
          [  OK  ]
# lsof|grep del

瞬断はあるものの、接続中のセッションが切れることもなくdeleted状態から抜け出せましたヾ(*･∀･)ノ"

agettyを再起動する方法

2016-10-05T12:57:00.001+09:00

yum updateしたら、どうもagettyが更新されたようでdeletedな状態となってしまいました。

# lsof|grep del
agetty    2777      root  txt      REG       202,1 36184   401041 /sbin/agetty (deleted)

OSごと再起動してしまえば済むのでしょうけれど、OSは再起動せずにagettyだけ再起動できないものかと

restart agetty

みたいな感じでぐぐってみるもなかなか対処方法にたどり着きませんでした。

そして、最終的にたどり着いた方法がこれ

# initctl list
...中略...
serial (ttyS0) start/running, process 2777
# initctl status serial DEV=ttyS0
serial (ttyS0) start/running, process 2777
# initctl restart serial DEV=ttyS0
serial (ttyS0) start/running, process 27704
# lsof|grep del

agettyが再起動され、deleted状態から抜け出しましたヽ(´ー｀)/

psコマンドでCPU使用率、メモリ使用率で降順ソートする

2016-04-25T10:05:00.002+09:00

CPU使用率はcpuではなくpcpu、メモリ使用率はrssでそれぞれ-をつけてあげると降順ソートされるのですねヾ(*･ω･)ｼ

$ ps aux --sort -pcpu|head -4
USER    PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root  27481 4.9  0.0 417760  5504 ?        Sl   Apr04 1484:06 xxx
lumata  21324 0.4  0.1 386072 10636 ?        Sl    2015 1361:06 xxx
root      1 0.0  0.0  19456  1472 ?        Ss    2015   2:09  xxx

$ ps aux --sort -rss|head -4
USER    PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME  COMMAND
root  12295 0.0  0.2 366620 18220 ?        SN    2015   5:39  xxx
lumata  21324 0.4  0.1 386072 10636 ?        Sl    2015 1361:06 xxx
root  23780 0.0  0.1 155064  9088 ?        Ss    2015  16:09  xxx

CloudWatchのSumな統計値の最新値を採用してはいけない件

2016-04-15T16:31:00.000+09:00

Periodとして指定できる最低値は60秒なのだが、最低値の60秒を指定してSumな統計値を取得してみると

最新値は取得タイミングによって変化していく

なので、最新値はfixされている保証がないのでこの値を採用してしまうと後で変わる可能性がある

最新より1つ以上前の値を採用しましょうヾ(*･ω･)ｼ

$ aws cloudwatch get-metric-statistics \
--region us-east-1 --metric-name Requests \
--namespace AWS/CloudFront \
--statistics Sum \
--dimensions 
 Name=DistributionId,Value=xxxxxxxxxxxxxx \
 Name=Region,Value=Global \
--start-time `date --iso-8601=seconds -d '3 minute ago'` \
--end-time `date --iso-8601=seconds` \
--period 60 \
--output text|sort -k3

Requests
DATAPOINTS 4231.0 2016-04-15T06:54:00Z None
DATAPOINTS 4389.0 2016-04-15T06:55:00Z None
DATAPOINTS 1205.0 2016-04-15T06:56:00Z None

$ aws cloudwatch get-metric-statistics \
--region us-east-1 --metric-name Requests \
--namespace AWS/CloudFront \
--statistics Sum \
--dimensions 
 Name=DistributionId,Value=xxxxxxxxxxxxxx \
 Name=Region,Value=Global \
--start-time `date --iso-8601=seconds -d '3 minute ago'` \
--end-time `date --iso-8601=seconds` \
--period 60 \
--output text|sort -k3

Requests
DATAPOINTS 4231.0 2016-04-15T06:54:00Z None
DATAPOINTS 4389.0 2016-04-15T06:55:00Z None
DATAPOINTS 4380.0 2016-04-15T06:56:00Z None

ELBのログよりWEBサーバーのログが多くなる件

2016-04-06T20:21:00.002+09:00

ELBはクライアントへ応答を返した時点
WEBサーバーはELBへ応答を返した時点
でログを出力するので、ELBからクライアントへの応答が受信キャンセルや回線断などで中断されるとWEBサーバーのログへは残るがELBへのログには残らないという事象が発生する

* test?escapeはレスポンス受信中にescapeボタンを押してレスポンス受信を中断
* test?timeoutはレスポンス受信中にELBのタイムアウトにひっかかり応答中断…この場合はWEBサーバーからELBの応答完了は、ELB→クライアントの応答中断の後となるがWEBサーバーのログには残る
* test?linkdownはレスポンス受信中に回線断で中断

■Apacheのログ抜粋

[06/Apr/2016:10:39:40 +0000] "GET /test?escape HTTP/1.1" 200 95 35008269
[06/Apr/2016:10:41:00 +0000] "GET /test?timeout HTTP/1.1" 200 95 35008254
[06/Apr/2016:10:43:47 +0000] "GET /hoge HTTP/1.1" 403 213 92
[06/Apr/2016:10:43:52 +0000] "GET /piyo HTTP/1.1" 403 213 95
[06/Apr/2016:11:06:39 +0000] "GET /test?linkdown HTTP/1.1" 200 95 35009322
[06/Apr/2016:11:07:30 +0000] "GET /ok HTTP/1.1" 403 211 86

■ELBのログ抜粋

2016-04-06T10:41:00.811664Z 504 0 0 0 "GET https://xxx:443/test?timeout HTTP/1.1"
2016-04-06T10:43:47.905126Z 403 403 0 213 "GET https://xxx:443/hoge HTTP/1.1"
2016-04-06T10:43:51.996916Z 403 403 0 213 "GET https://xxx:443/piyo HTTP/1.1"
2016-04-06T11:07:30.187571Z 403 403 0 211 "GET https://xxx:443/ok HTTP/1.1"

GOM Playerの広告を非表示にする

2016-02-15T16:27:00.001+09:00

■http://d.cpsoft86.com　を制限付きサイトとして登録
コマンドを指定して実行([Windowsキー]+R)
↓
inetcpl.cpl　を入力
↓
OK
↓
セキュリティタブ
↓
制限付きサイト
↓
サイト
↓
このWebサイトをゾーンに追加する　のところへ
http://d.cpsoft86.com
を入力して「追加」ボタン
↓
閉じる
↓
OK

■広告系のドメインを127.0.0.1として名前解決するよう設定 … 5/8更新
C:\Windows\System32\drivers\etc\hostsへ次の記述を追加して保存する

#GOMプレーヤー広告系
127.0.0.1 wpad
127.0.0.1 cdn.taboola.com
127.0.0.1 trc.taboola.com
127.0.0.1 adclients.gomplayer.jp
127.0.0.1 adc.gomplayer.jp
127.0.0.1 playinfo.gomlab.com
127.0.0.1 securepubads.g.doubleclick.net
127.0.0.1 applog.gomtv.com
127.0.0.1 b.scorecardresearch.com
#オプション
127.0.0.1 www.googletagservices.com
127.0.0.1 www.google-analytics.com
127.0.0.1 partner.googleadservices.com

■GOM Playerを起動してみる
広告枠は出ているものの、中身は表示されなくなりましたヾ(*･∀･)ノ"

ファイルのタイムスタンプを他のファイルと同じにする

2016-02-12T13:56:00.001+09:00

Linuxでいうところのtouchで他のファイルを参照してタイムスタンプを揃えるみたいなことをWindowsでやってみようという訳です。

Linuxならこんな感じ

$ touch target.txt -r source.txt

WindowsだとPowerShellを使って、次のような感じでとりあえずはできました。
もっとスマートな方法あるのかな・・・(´・ω・｀)

Set-ItemProperty target.txt lastwritetime -value $(Get-ItemProperty source.txt).lastwritetime
Set-ItemProperty target.txt creationtime -value $(Get-ItemProperty 0source.txt).creationtime

Amazon LinuxにtcpflowをインストールしてHTTPリクエスト＆レスポンスをキャプチャして覗いてみる

2016-02-08T16:22:00.000+09:00

http://apt.sw.be/redhat/el7/en/x86_64/rpmforge/RPMS/ からtcpflowの最新rpmパッケージを探してインストール

# yum install `curl -s http://apt.sw.be/redhat/el7/en/x86_64/rpmforge/RPMS/|grep -o '"tcpflow[^"]*'|sed 's|"|http://apt.sw.be/redhat/el7/en/x86_64/rpmforge/RPMS/|'`

Dependencies Resolved

======================================================================================================================================
 Package   Arch   Version    Repository      Size
======================================================================================================================================
Installing:
 tcpflow   x86_64   0.21-1.2.el7.rf   /tcpflow-0.21-1.2.el7.rf.x86_64    61 k

Transaction Summary
======================================================================================================================================
Install  1 Package
Is this ok [y/d/N]: y
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : tcpflow-0.21-1.2.el7.rf.x86_64             1/1 
  Verifying  : tcpflow-0.21-1.2.el7.rf.x86_64             1/1 

Installed:
  tcpflow.x86_64 0:0.21-1.2.el7.rf                  

Complete!

eth0の80番ポートのパケットを試しにキャプチャ
※-cでコンソール出力,-sで表示できない文字を.で表示
ELBからのヘルスチェックのリクエスト＆レスポンスが取得されました。

# tcpflow -cs -i eth0 port 80
tcpflow[6577]: listening on eth0
010.000.012.250.26633-010.000.022.012.00080: GET / HTTP/1.1
host: 10.0.22.12
User-Agent: ELB-HealthChecker/1.0
Accept: */*
Connection: keep-alive

010.000.022.012.00080-010.000.012.250.26633: HTTP/1.1 200 OK
Date: Mon, 08 Feb 2016 03:34:19 GMT
Server: Apache
Content-Type: text/plain;charset=ISO-8859-1
Content-Length: 0
Keep-Alive: timeout=5, max=100
Connection: Keep-Alive

manpage

# man tcpflow
tcpflow(1)

NAME
tcpflow - TCP flow recorder

SYNOPSIS
tcpflow [-chpsv] [-b max_bytes] [-d debug_level] [-f max_fds] [-i iface] [-r file] [expression]

DESCRIPTION
tcpflow is a program that captures data transmitted as part of TCP connections (flows), and stores the data in a way that is convenient for protocol analysis or debugging. A program like tcpdump(4) shows a summary of pack‐
ets seen on the wire, but usually doesn't store the data that's actually being transmitted. In contrast, tcpflow reconstructs the actual data streams and stores each flow in a separate file for later analysis. tcpflow
understands TCP sequence numbers and will correctly reconstruct data streams regardless of retransmissions or out-of-order delivery.

tcpflow stores all captured data in files that have names of the form
192.168.101.102.02345-010.011.012.013.45103
where the contents of the above file would be data transmitted from host 192.168.101.102 port 2345, to host 10.11.12.13 port 45103.

OPTIONS
-b Max bytes per flow. Capture no more than max_bytes bytes per flow. Any data captured for a flow beyond max_bytes from the first byte captured will be discarded. The default is to store an unlimited number of bytes
per flow.

-c Console print. Print the contents of packets to stdout as they are received, without storing any captured data to files (implies -s ).

-d Debug level. Set the level of debugging messages printed to stderr to debug_level. Higher numbers produce more messages. -d 0 causes completely silent operation. -d 1 , the default, produces minimal status mes‐
sages. -d 10 produces verbose output equivalent to -v . Numbers higher than 10 can produce a large amount of debugging information useful only to developers.

-f Max file descriptors used. Limit the number of file descriptors used by tcpflow to max_fds. Higher numbers use more system resources, but usually perform better. If the underlying operating system supports the
setrlimit() system call, the OS will be asked to enforce the requested limit. The default is for tcpflow to use the maximum number of file descriptors allowed by the OS. The -v option will report how many file
descriptors tcpflow is using.

-h Help. Print usage information and exit.

-i Interface name. Capture packets from the network interface named iface. If no interface is specified with -i , a reasonable default will be used by libpcap automatically.

-p No promiscuous mode. Normally, tcpflow attempts to put the network interface into promiscuous mode before capturing packets. The -p option tells tcpflow not to put the interface into promiscuous mode. Note that it
might already be in promiscuous mode for some other reason.

-r Read from file. Read packets from file, which was created using the -w option of tcpdump(1). Standard input is used if file is ``-''. Note that for this option to be useful, tcpdump's -s option should be used to
set the snaplen to the MTU of the interface (e.g., 1500) while capturing packets.

-s Strip non-printables. Convert all non-printable characters to the "." character before printing packets to the console or storing them to a file.

-v Verbose operation. Verbosely describe tcpflow's operation. Equivalent to -d 10 .

Skypeの広告を非表示にする Version 7.18編

2016-02-04T20:07:00.002+09:00

■Skypeユーザー別の設定ファイルを編集
C:\Users\[Windowsのログインユーザー名]\AppData\Roaming\Skype\[Skypeのログインユーザー名]\config.xml
を開いて、次の記述を探しコメントアウトして保存する

↓

■Skypeユーザー別の設定ファイルを読み取り専用に変更する
C:\Users\[Windowsのログインユーザー名]\AppData\Roaming\Skype\[Skypeのログインユーザー名]\config.xml
ファイルを右クリック
↓
プロパティ
↓
読み取り専用にチェック
↓
OK

■https://apps.skype.com　を制限付きサイトとして登録
コマンドを指定して実行([Windowsキー]+R)
↓
inetcpl.cpl　を入力
↓
OK
↓
セキュリティタブ
↓
制限付きサイト
↓
サイト
↓
このWebサイトをゾーンに追加する　のところへ
https://apps.skype.com
を入力して「追加」ボタン
↓
閉じる
↓
OK

■Skypeを起動
はっぴーヾ(*･∀･)ノ”

tcpdumpでHTTP通信を覗く

2016-02-04T19:29:00.000+09:00

まず、前提として
TCPヘッダのヘッダ長は先頭から 12[Byte] offset された後の4[bit] に記述されており、そのbit値を4倍することでヘッダ長になる

TCPヘッダ長を得るために
tcp[12:1]
で、12[Byte]オフセットしたところから1[Byte](8[bit])を取得し
& 0xf0
で、その後半を0にするために0xf0 (1111 0000)との積を採る
後半の0000を捨てて（右に4[bit]シフト）、4倍する（左に2[bit]シフト）をまとめて実行→右に2[bit]シフト
>> 2
その、TCPのヘッダ長をオフセットとしてデータ部からMETHODが書かれている先頭部分を取得（ここでは4[Byte]）
tcp[((tcp[12:1] & 0xf0) >> 2):4]
これが、"GET "であればtrueとする
= 0x47455420

"GET "のASCIIコード表現は次のように取得

$ echo "GET "|hexdump -C
00000000  47 45 54 20 0a        |GET .|
00000005

これにより、GETメソッドだけフィルタするには

sudo tcpdump -s 0 -A 'tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420'

■POSTだけフィルタ

sudo tcpdump -s 0 -A 'tcp dst port 80 and (tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x504f5354)'

■リクエスト、レスポンス、ボディだけフィルタ

sudo tcpdump -A -s 0 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)'

awk Tips

2016-02-04T18:39:00.001+09:00

awkについてφ(・ω・ )ﾒﾓﾒﾓ

標準入力をそのまま標準出力に出力する。
$ cat foo.txt | awk '{print $0}'
標準入力をそのまま標準出力に出力する。
$ cat foo.txt | awk '1'
空行を削除する。
$ awk '/./' foo.txt
空行を削除する。
$ awk 'NF' foo.txt
最初の 10 行を表示する。
$ awk 'NF >= 10' foo.txt
一行ごとに改行を追加する。
$ awk '1;{print ""}' foo.txt
一行ごとに改行を追加する。
awk 'BEGIN{ORS="\n\n"};1' foo.txt
ファイルに行番号を付ける。
$ awk '$0 = NR OFS $0' foo.txt
ファイルに行番号を付ける。
$ awk '{print NR "\t" $0}' foo.txt
ファイル毎に行番号を付ける。
$ awk '{prin FNR "\t" $0}' foo*.txt
行番号を 4 桁で表示させる。
$ awk '{printf("%4d : %s\n", NR, $0)}' foo.txt
最も長い行の長さを表示する。
$ awk '{if (length($0) > max) max = length($0)} END {print max}' foo.txt
80 文字を越える行を表示する。
$ awk 'length($0) > 80' foo.txt
0 から 100 までの間の乱数を 5 つ表示する。
$ awk 'BEGIN {for (i = 1; i <= 7; i++) print int(101 * rand())}'
ファイルの行数を数える。
$ awk 'END {print NR}' foo.txt
奇数行を表示する。
$ awk 'NR % 2 == 1' foo.txt
偶数行を表示する。
$ awk 'NR % 2 == 0' foo.txt
最初の 1 行を表示する。
$ awk 'NR == 1' foo.txt
最初の 1 行を表示する。
$ awk '{print; exit}' foo.txt
最後の 1 行を表示する。
$ awk 'END {print}' foo.txt
最後の 1 行を表示する。
$ awk '{last = $0} END {print last}' foo.txt
同一行の削除を行う。(uniq)
$ awk 'a !~ $0; {a = $0}' foo.txt
同一行の削除を行う。(uniq)
$ awk '{if ($0 != line || NR == 1) print; line = $0}' foo.txt
行のソートを行う。(gawk 以上)
$ gawk '{line[NR] = $0} END {asort(line); for (i = 1; i <= length(line); i++) print line[i]}' foo.txt
10 行目から 20 行目までを表示する。
$ awk 'NR == 10, NR == 20 {print $0}' foo.txt
1 から 10 までの数字を生成する。
$ awk 'BEGIN {for (i == 1; i <= 10; i++) print i}'
'#' で始まるコメントを削除する。
$ awk '{sub(/#.*/, "", $0)}1' foo.txt
さいころを作る。
$ awk 'BEGIN {srand();print int(rand() * 6 + 1)}'
ワード数をカウントする。
$ awk '{n += NF} END {print n}' foo.txt
文字数をカウントする。
$ awk '{n += length($0)} END {print n}' foo.txt
Load Average を表示する。(Linux のみ)
$ awk '{print $1}' /proc/loadavg
yes コマンドを作る。(延々と 'y' を返す)
$ awk 'BEGIN {for (;;) print "y"}'
yes コマンドを作る。(延々と 'y' を返す)
$ awk 'BEGIN {while (awk != "Perl") print "y"}'
Apache のログにある IP アドレスからホスト名をリアルタイムで引く。(root のみ)
# tail -f /var/log/httpd/access_log | gawk '{system ("dig -x" $1 " +short")}'
Apache のログからリンク元をリアルタイムで表示する。(root のみ)
# tail -f /var/log/httpd/access_log | gawk -F\" '$4!~/gauc/&&$4!="-"{fflush();print $4}'
CSV (カンマ区切り) から TSV (タブ区切り) への変換を行う。
$ awk -v FS=',' -v OFS='\t' '$1=$1' foo.txt
TSV (タブ区切り) から CSV (カンマ区切り) への変換を行う。
$ awk -v OFS=',' -v FS='\t' '$1=$1' foo.txt
各フィールドの和を求める。
$ awk '{for (i = 1; i <= NF; i++) s += $i} $0=s' foo.txt
各行のフィールド数を表示する。
$ awk '{print NF ":" $0}' foo.txt
最後の行のフィールド数を表示する。
$ awk '{s = NF} END {print NF}' foo.txt
フィールドが 5 以上の行を表示する。
$ awk 'NF >= 5' foo.txt
改行 CR/LF を LF に変換する。
$ awk 'sub(/\r$/,"")' foo.txt
改行 LF を CR/LF に変換する。
$ awk 'sub(/$/,"\r")' foo.txt
行頭の空白とタブを削除する。
$ awk '{sub(/^[ \t]+/, "")}1' foo.txt
行末の空白とタブを削除する。
$ awk '{sub(/[ \t]+$/, "")}1' foo.txt
行頭と行末の空白とタブを削除する。
$ awk '{gsub(/^[ \t]+|[ \t]+$/, "")}1' foo.txt
行頭と行末の空白とタブを削除する。(フィールドも再構成される)
$ awk '$1 = $1' foo.txt
最後の行から表示する。(tac)
$ '{a[i++] = $0} END {for (j = i - 1; j >= 0;) print a[j--]}' foo.txt
正規表現 abc の行を表示する。(grep)
$ awk '/abc/' foo.txt
正規表現 abc にマッチしない行を表示する。(grep -v)
$ awk '! /abc/' foo.txt
Pattern にマッチした前の行を表示する。
$ awk '/Pattern/ {print a} {a=$0}' foo.txt
Pattern にマッチした前の行を表示する。
$ awk '{D[NR] = $0} /match/ {print D[NR-1]}' foo.txt
ファイルサイズが 0 byte のものを表示する。
$ ls -al | awk '$5==0 {print $8}'
Subversion の svn status で '?' の付くファイルを全て svn add する。
$ svn status | gawk '/^?/{print $2}' | xargs svn add

Amazon Linuxで無料のウイルススキャン実施

2016-02-04T18:36:00.001+09:00

オープンソースなantivirus engineであるClamAVが利用できます。

■インストール

# yum install clamav

■設定

# vi /etc/freshclam.conf
Example  表記をコメントアウト

■定義ファイル更新

freshclam

■スキャン実行

clamscan --exclude-dir="/sys/" -r -i /

※以下のようなエラーが出るので、回避策として/sys/を除外しています

LibClamAV Warning: fmap_readpage: pread fail: asked for 4085 bytes @ offset 11, got 0

yumでその場限りのproxy設定をする

2015-12-21T15:11:00.001+09:00

/etc/yum.confに記述するならば

proxy=http://xxx.xxx.xxx.xxx:3128

な感じですが、一発だけproxy設定したい場合は

$ yum --setopt=proxy=http://xxx.xxx.xxx.xxx:3128 info ntp

な感じでOKヾ(*･∀･)ノ"

Windows10のWindowsUpdateでKB3122947が0x80070643エラーになる場合の対処法

2015-12-09T07:03:00.003+09:00

1. スタートメニューを開き cmd と入力
2. 検索されてでてきた　コマンドプロンプト　を右クリックし　管理者として実行　を選択する
3. エクスプローラーを開き　C:\Windows\SoftwareDistribution\Download\c4a1b8896ce9fbfea96c1ee6890d52a5　に　windows10.0-kb3122947-x64.cab　があることを確認する
4. dism /online /add-package /packagepath:C:\Windows\SoftwareDistribution\Download\c4a1b8896ce9fbfea96c1ee6890d52a5\windows10.0-kb3122947-x64.cab を実行する

C:\WINDOWS\system32>dism /online /add-package /packagepath:C:\Windows\SoftwareDistribution\Download\c4a1b8896ce9fbfea96c1ee6890d52a5\windows10.0-kb3122947-x64.cab

展開イメージのサービスと管理ツール
バージョン: 10.0.10586.0

イメージのバージョン: 10.0.10586.0

1 / 1 を処理しています - パッケージ Package_for_KB3122947~31bf3856ad364e35~amd64~~10.0.1.0 を追加しています
[==========================100.0%==========================]
操作は正常に完了しました。

5. 再度WindowsUpdateを実行しエラーがなくなっていることを確認

Power Shellで全ファイルをファイル名の逆順でタイムスタンプ更新

2015-11-15T09:28:00.000+09:00

Get-ChildItem . -Recurse|sort -descending|%{Set-ItemProperty $_.fullname -Name LastWriteTime  -Value $(Get-Date)|start-sleep -m 1}

Amazon Linuxにrsyslog v8をインストール

2015-09-29T21:31:00.003+09:00

# vi /etc/yum.repos.d/rsyslog.repo
----
[rsyslog_v8]
name=Adiscon CentOS-$releasever - local packages for $basearch
baseurl=http://rpms.adiscon.com/v8-stable/epel-7/$basearch
enabled=0
gpgcheck=0
gpgkey=http://rpms.adiscon.com/RPM-GPG-KEY-Adiscon
protect=1
----
# /usr/bin/yum install rsyslog --enablerepo=rsyslog_v8 --setopt=rsyslog_v8.priority=1

=======================================================================================================
 Package        Arch        Version     Repository        Size
=======================================================================================================
Updating:
 rsyslog        x86_64        8.13.0-1.el7    rsyslog_v8       627 k
Installing for dependencies:
 json-c         x86_64        0.11-6.8.amzn1    amzn-main        31 k
 libestr        x86_64        0.1.10-1.el7    rsyslog_v8       9.3 k
 libgt         x86_64        0.3.11-1.el7    rsyslog_v8        58 k
 libksi         x86_64        3.2.2.0-1.el7    rsyslog_v8        96 k
 liblogging        x86_64        1.0.5-1.el7    rsyslog_v8        25 k

Transaction Summary
=======================================================================================================
Install      ( 5 Dependent packages)
Upgrade  1 Package

Total download size: 846 k
Is this ok [y/d/N]: y

これで行けましたヾ(*･∀･)ノ”

ログファイルから指定範囲のタイムスタンプが付いた行を切り出す

2015-09-14T11:34:00.003+09:00

ログファイルのタイムスタンプが

2015-09-14T02:29:05+00:00 ....

の様な形式だとして、5分前以降のログを切り出すならば次のような具合でいけます

$ awk -v from=$(date '+%Y-%m-%dT%H:%M:%S' -d '5 minute ago') -F+ 'from < $1' /var/log/hoge.log

5分前から1分前までだとしたらこんな具合

awk -v from=$(date '+%Y-%m-%dT%H:%M:%S' -d '2 minute ago') -v to=$(date '+%Y-%m-%dT%H:%M:%S' -d '1 minute ago') -F+ 'from < $1, to <= $1' /var/log/hoge.log

シェルスクリプトで変数のデフォルト値を使う

2015-08-27T20:24:00.001+09:00

${var:-foo}	変数varが未定義の時fooを返す
${var:=foo}	変数varが未定義の時fooを代入する。
${var:+foo}	変数varに値がセットされているときfooを返す
${var:?puyo}	変数varが未定義の時"puyo"を出力しexit 1する

な感じで使えます(ﾉﾟ⊿ﾟ)ﾉ

cronから起動されたスクリプトの多重起動チェック

2015-08-26T12:35:00.001+09:00

多重起動チェックについてググってみると次のような例が多く見つかりました

[[ $$ != `pgrep -fo "$0"`  ]] echo "$0 is already running" && exit 2

これは、自身と同じプロセス名を検索して、

そのもっとも古いプロセスIDが自身のプロセスIDと一致していればおーけー

という処理になります。

ただ、これは直接スクリプトを実行した場合にのみ有効で

cronなどから子プロセスそしてスクリプトを実行した場合は

$$は子プロセスとして起動されたスクリプトのプロセスID

pgrep -fo "$0"で引っかかってくるのが起動元の親プロセスのIDとなり

一致しないので、多重起動として扱われてしまいました(´・ω・`)

これに対応するため、親プロセスIDが格納される$PPIDとの比較も追加して次のようにしてみました

[[ $$ != `pgrep -fo "$0"`  ]] && [[ $PPID != `pgrep -fo "$0"`  ]] && echo "$0 is already running" && exit 2

これで、直接起動した場合も、cronなどから子プロセスとして起動した場合も多重起動チェックできますヾ(*･ω･)ｼ

シェルスクリプトで変数に格納された文字列から部分文字列を抽出する

2015-08-26T12:21:00.002+09:00

str=abcdefg

echo ${str:0:2}  # ab
echo ${str:2:2}  # cd

な感じ(ﾉﾟ⊿ﾟ)ﾉ

sudo初回実行時のレクチャメッセージを改めて表示する

2015-03-20T10:00:00.004+09:00

■Cent OS 6.xの場合

# find / -name <ユーザ名>
/var/spool/mail/<ユーザ名>
/var/db/sudo/<ユーザ名>
/home/<ユーザ名>

な感じでひっかかってくるので

# rm -rf /var/db/sudo/<ユーザ名>

■Cent OS 5.xの場合

# find / -name <ユーザ名>
/var/spool/mail/<ユーザ名>
/var/run/sudo/<ユーザ名>
/home/<ユーザ名>

な感じでひっかかってくるので

# rm -rf /var/run/sudo/<ユーザ名>

これでsudoを実行すると改めて表示されます