Life Hack for Music

AKB48を分析する - 5.twitterからデータを取得

2012-04-06T18:15:00.004+09:00

Google+からデータを取得する方法がだいぶわかってきたので、今度はtwitterに挑戦する。
twitterの検索機能を使ってみる。

下記のページを参考に、あらかじめpythonからtwitterにアクセスするための準備をしておく。

1.Keyの取得
http://blog.hogeo.jp/2011/05/how-to-make-twitter-bot-python-twitter.html

2.モジュールpython-twitterの取得
http://code.google.com/p/python-twitter/

3..python-twitterの基本的な使い方を覚える
http://blog.hogeo.jp/2011/05/python-twitter-api-python-twitter-part2.html

4.検索キーワードで日本語を使うやり方を覚える
twitterから特定のキーワードで検索するには、api.GetSearch()を使う。
ここで、キーワードに日本語を使いたい場合、一工夫必要。リクエストのURIに日本語の文字列を渡す場合、文字コードの変換が必要である。こちらを参考にした。
http://d.hatena.ne.jp/yamahei7/20110520/1305871361

作ったコードはこちら。
keywords　に好きなキーワードを設定してみよう。

http://www.mycodestock.com/code/5704/

twitterへのapi経由のアクセスは、件数の制限あるので、
statuses = api.GetSearch(keyword, per_page=30, page=1, lang='ja')
のper_page,pageの数値は調整していってください。langで言語が指定できる。

AKB48を分析する - 3.AKB48のメンバーリストをMongoDBに突っ込む

2012-04-04T18:51:00.000+09:00

下記のPython スクリプトで、メンバーのIDをAKB48 on google+のサイトからゲットし、やすす等スタッフのIDを加えてMongoDBにinsertできる。
BeautiflSoupというモジュールを使ってサイトからgoogle+のメンバーIDを抽出している。このモジュールはこういた処理をするときの定番みたいです。
_idという項目が、リレーショナル・データベースでいうところのプライマリーキーの役割をはたすもので、これは指定しないとMongoDBが自動的に採番する。リランしたときにデータが重複しないように、google+のIDを_idにセットするようにしている。

次は、このレコードを読み、google+のアクティビティを取得するプログラムを作る予定です。

#! c:/Python26/python.exe

# coding: utf-8

import pymongo #@UnresolvedImport

from pymongo import Connection #@UnresolvedImport

from BeautifulSoup import BeautifulSoup #@UnresolvedImport

import urllib

def ggtsidlist_make():

soup = BeautifulSoup(urllib.urlopen("http://www.google.com/intl/ja/+/project48/").read())

lisoup=[]

ggtsidlist = []

for lisoup in soup.findAll("li"):

try:

ggtsidlist.append(lisoup['data-gplusid'])

except:

continue

ggtsidlist.append('113474433041552257864') #やすす

ggtsidlist.append('108897254135232129896') #よすす

ggtsidlist.append('112435502021367429566') #しのぶ

ggtsidlist.append('113091703821013997975') #木島

ggtsidlist.append('103803814106571203433') #北川

return ggtsidlist

if __name__=='__main__':

con = Connection()

ggts = con[u'ggts']

# con.ggts.ggtsid.remove()

record = {}

ggtsidlist = ggtsidlist_make()

for ggtsid in ggtsidlist:

record = {u'ggtsid':ggtsid,u'_id':ggtsid}

print record

con.ggts.ggtsid.insert(record)

AKB48を分析する - 4.Google+のデータを取得する

2012-04-04T18:50:00.000+09:00

Google+におけるAKB48メンバーの投稿(アクティビティ)と、それに対するコメント（メンバーのみ）を取得し、MongoDBにインサートするPythonプログラムを作成した。
これを実行し、数時間経つと、私のPCにすべてのデータが格納されるのだ！

次はこれを使ってどういう分析をするかだな。

ソースコードは、mycodestockというサービスを使って公開している。
このサービス、ちょっとしたコードを書いて保存しておくのに便利だ。

1.Google+ AKB48 ProjectからメンバーのID一覧を取得する
http://www.mycodestock.com/code/5672/

1.1.BeautifulSoup を使用して、Google+ AKB48 ProjectのhtmlからメンバーのIDを抽出
1.2.PyMongo を使用してPythonのスクリプトからMongoDBにデータをinsertする
1.3.MongoDBで、RDBにおけるプライマリーキーの働きをする'_id'という項目にIDをセットする
これにより、リランしてもデータが重複しないようにする

2.アクティビティを取得する
http://www.mycodestock.com/code/5673/

2.1.dateutil.parser を使用してRFC3339形式で格納されているアクティビティの投稿日付、更新日付をPythonのdatetime型に変換し、PyMongo上の項目として追加する。これは後々日付別の分析を簡単にするため
2.2.あとのテックニックは1.2と1.3を使う

3.コメントを取得する
http://www.mycodestock.com/code/5674/

3.1.Activity　IDからCommentを取得する際、対象の日付を絞る。こうしないととっても時間がかかる。最初に実行するときはすべての日付を取得するようにするが、２回目以降は前日以降のActivityのみ対象とする。
この際、Pythonのdatetime型の日付と、Google+のRFC3339形式のデータを比較するため、rfc3339.pyというスクリプトを使う

3.2.あとのテックニックは1.2と1.3を使う

AKB48を分析する - 2.参考にしたブログ、サイト

2012-03-28T11:27:00.002+09:00

最近では、主要なWebサービスは、外部のプログラムへのインターフェースを提供するのが一般的になってきて、趣味でプログラミングをする（そんな人が何人いるかわからないが）には非常に面白い状況になっている。
一昔前だと、プログラミングするといっても、家にはそんなにデータがないから、まったくやる気はおきなかったが、システムといい、コンテンツといい、とっても充実している。アイドルが自分でどんどん情報を発信していて、それを家で利用できるのだ。

私がAKB48を分析するに当たり、だいたい２週間ぐらいで諸々の技術要素の利用環境を整えた。下記の通り、参考にしたサイト、ブログをまとめた。

１．Pythonの導入～入門
分析するためのツールとして、プログラミング言語Pythonを使用する。
Pythonは日本ではまだマイナーな言語だが、外国ではかなり使われている。GoogleやYoutubeもこの言語を使用しているとのことである。
下記のサイトはとってもわかりやすい。これを参照すればとりあえず使えるようになるだろう。

http://www.python-izm.com/

Ubuntuの場合、最初からPythonがインストール済み。

２．PythonからGoogle+にアクセスする
プログラムからGoogle+にアクセスするためのPythonモジュールの利用方法が書いてあるブログ。
この手順どおりにやればPythonからGoogle+のデータが利用できるようになる。

http://typex2.wordpress.com/2011/09/16/google-api%E3%82%92python%E3%81%8B%E3%82%89%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95/

４．MongoDB
Google+から取得したメンバーの投稿を手元にストアするため、MongoDBを使用する。
Google+から取得したデータをそのまま突っ込めばきれいにストアして、再利用できるのでとってもお手軽。

とっかかりとしては、公式ドキュメントを参照するのがよいと思う。
http://www.mongodb.org/display/DOCSJP/Home

ただし、インストールの方法は日本語化されていないようだ。
http://www.mongodb.org/display/DOCS/Quickstart

PythonからMongoDBを利用する方法はこちらを参考にした。
http://d.hatena.ne.jp/stog/20100525/1274890034

入門自然言語処理　（アマゾンのサイトより）
５．MySQL
もう一つのデータストアの手段として、オープンソースではメジャーなRDBMSのMySQLを使用する。
定量的な分析、例えばチームごとの投稿数、誰が誰にコメントしたかのカウントなどを実施するにはRDBが向いていると考えるから。やはりSQLは強力なのだ。

WindowsにMySQLをダウンロードするのは、こちらのサイトからインストーラをダウンロードして実行すればよかった。
http://www-jp.mysql.com/downloads/

Ubuntuにインストールするのは、ソフトウエアセンターからやればよかった。

PythonからMySQLを利用する方法はこちらを参考にした。Python-ismはホントに良くできたサイトだ。
http://www.python-izm.com/contents/external/mysql.shtml

６．スクレイピング
サイトのデータから必要な情報を取り出すテクニックをスクレイピングと総称するらしい。
Beautiful Soupという、Pythonのサードパーティのモジュールを使用する。
Google+における、各メンバーのIDを取得するためにこのテクニックを使用した。
参考にしたのはこのブログ
http://d.hatena.ne.jp/lolloo-htn/20090128/1233155734

７．今後に向けた参考図書
今後、メンバーのメッセージに対して色々分析した生きたいと考えている。Pythonでの処理の実例が書かれているので、この本を読んでいる最中である。

入門自然言語処理　（アマゾンへ）

AKB48を分析する - 1.メンバーのIDをゲットする

2012-03-27T23:22:00.000+09:00

私は最近、AKB48の俄ファンになっている。いわゆる推しメンはチームBの鈴木紫帆里。
AKB48の各メンバーが利用している、ぐぐたす（google+)がとってもおもしろいので、分析しようと思う。ソーシャルデータの活用といいうやつだ。

分析のためのツールとしては、プログラミング言語のPythonと、データベースのMongoDB、MySQLを使用する方針とする。
尚、OSはUbuntu11.10とWindows XPをいったりきたりしながら試行錯誤している。
各ツールの導入は、googleで検索すると（Python インストール　等のキーワードで）いろいろと出てくるので参考にしてください。
UbuntuだとPyothonは最初から入っています。また、MySQLはUbuntuソフトウエアセンターからインストールできます。
ちょっと迷ったのがUbuntuでのMongoDBである。いくつか方法があるようですが、私は、
こちらを参考にしました。

分析しようとすると、各メンバーのIDの一覧が必要になる。最初は地道に右クリックでリンクをコピーしてたのですけれど、色々試行錯誤した結果、AKB48 Now on Google+のサイトから一覧をゲットすることに成功した。プログラムは下記の通りです。
ただし、これだと、やすすとかよすすとかしのぶのIDは取ってこれないので、別途追加する必要があります。
BeautifulSoupという、サードパーティーのライブラリを使用しています。
これは、HTMLのソースから必要なデータを抽出する際に非常に便利なライブラリです。こういう処理をスクレイピングというらしい。その筋ではメジャーなツールのようだ。

#! c:/Python26/python.exe

# coding: utf-8

from BeautifulSoup import BeautifulSoup #@UnresolvedImport

import urllib

def ggtsidlist_make():

soup = BeautifulSoup(urllib.urlopen("http://www.google.com/intl/ja/+/project48/").read())

lisoup=[]

ggtsidlist = []

for lisoup in soup.findAll("li"):

try:

# print "'" + lisoup['data-gplusid'] +"'"

# ggtsid_get = lisoup['data-gplusid']

ggtsidlist.append(lisoup['data-gplusid'])

except:

continue

return ggtsidlist

if __name__=='__main__':

ggtsidlist = ggtsidlist_make()

for ggtsid in ggtsidlist:

print ggtsid

グラフのテスト

2012-03-15T17:42:00.001+09:00

Super Mario がいっぱい

2011-07-26T21:48:00.002+09:00

任天堂のゲーム、スーパーマリオブラザースのテーマ曲はミュージシャンの小ネタとして格好の材料のようだ。

・ギター編
２台のギターをたくみに弾きこなす。

・ブルーグラス編
おっさんと思いきや、以外に若そうな気もするメンバーの微妙なドヤ顔が面白い。楽屋で撮影したのかな。

・１１弦ベース編
こんな楽器があったのね。惜しいところがちょっとあるものの、かなりうまいねえ。

・サキソフォン・アンサンブル編
この編成での演奏はたくさんあるけど、この映像、若くてよい。ちゃんと応援はしてるのかな。

・スチールドラム編
トロピカルいっぱい。曲とのマッチ度ではこれが一番だったりして。

・ウクレレ編
ウクレレでマリオといえばジェームス・ヒルのものが有名だが、ちょっと身近な感じということで。

・番外編

超絶技巧の映像を集めたサイト

2011-07-25T15:11:00.002+09:00

こんなサイト見つけました。

超絶技巧な人々継

ヤマハDX7の衝撃

2011-07-20T17:01:00.005+09:00

ヤマハは１９８３年、ＤＸ７というシンセサイザーを発売した。当時画期的だったのは、２４万円という価格で和音（１６音）が出せたことだった。当時、４音とか６音しか出せなかったのに、いきなり１６音（指の数より多い！）で、大学生ががんばれば手が届く値段であった。

典型的な使われ方はこんな感じ。

この映像は１９８７年、ＤＸ７の後継機種ＤＸ７Ⅱのラウンチ時の映像

次の映像はビンテージシンセのコレクター、Retorosoundによるデモ画像。

ＤＸ７を特徴付ける金属的なサウンドは、当時このシンセでしか出せないものだった。今となっては特に目新しいサウンドではないのだが、オリジンはこの楽器だったのである。

フェンダーローズの名手

2011-07-19T16:25:00.001+09:00

シンセやキーボードのプリセット音に必ずあるエレクトリック・ピアノのオリジナルがローズ・ピアノと考えていいぐらいすごい楽器である。この名手を紹介したい。
一人目はリチャード・ティー。色んな人のバックで弾いています。
Richard Tee - The bottom line

二人目は最近の人。Ino Hidefumi。

２分目ぐらいから本題に入るので、ちょっと我慢して聞いてね。
この曲のオリジナル、クリスタルの恋人達はグローバー・ワシントン・ジュニアのヒット曲で、ティーの他にスティーブ・ガッド、マーカス・ミラー、エリック・ゲイル、ラルフ・マクドナルド等、鉄板のサイドメンたちがプレイしている。

リチャード・ティーはずいぶん前に亡くなっていて（享年４９歳）、もう観られないのだが、Ino Hidefmiは東京の人だし、そのうちにライブを見に行きたいと思っている。

ウクレレでリベンジ

2011-07-19T11:13:00.001+09:00

もうすぐ子供たちも夏休みで、すっかりウクレレの季節だ。
ウクレレの季節になると毎年出るのがこの本。
ウクレレ本体、ミュージシャン特集、楽譜など、一通りの要素がコンパクトにまとまっていて、これからウクレレを始める人にも、それなりに弾ける人にも楽しめる雑誌になっている。

私は３年前にウクレレを買った。私の買ったのはこのメーカーのソプラノモデル。
ちょっと高かったのだが、弾いててうっとりする。練習する気になるので、買ってよかったと思う。
お茶の水Woodmagicのサイトより

これからウクレレを買う人にアドバイスしたいことは、ギターと同じ形をしたペグにしたほうがいいよ、という事。ウクレレは伝統的に、フリクション・ペグといって、ギアを挟まない構造になっている。このペグだとチューニングがすぐに狂うのだ。これは結構なストレス。

お勧めの楽譜本はこれ。

ちょっと練習しないと弾けないが、合理的なアレンジなので、心が折れずに練習していけると思う。

ウクレレを練習するにあたって有益なサイトは下記の２つ。ここから色んなサイトに飛んでいけます。
TOP 100 UKULELE SITES
Top 50 Ukulele Sites

ウクレレのコードを表示するiOSアプリは、これが最強かな。
Ukulele Chord Kumu on iTunes
Ukulele Chord Kumu on Facebook

ギターを挫折した人もウクレレなら何とかなる。弦が４本というのは、人間の指の数からして非常に合理的なのだ。しかもゴールはいくらでも遠くに設定できる。Jake Himabukuro、James Hill等からもわかるとおり、練習すれば非常に高度な演奏も可能だ。

みんながんばろう！ウクレレでリベンジだ。

若者がこんなプレイを・・・80s Synth Medley (from Youtube)

2011-07-15T13:10:00.000+09:00

若者たちがとっても懐かしい曲をプレイしている！やや古めのシンセ！お父さんのですかとコメントしたら僕のですと強い口調でコメントが返ってきました。

setlist.fm　ライブの曲目リストを検索できるサイト

2011-07-14T17:58:00.000+09:00

世界中のライブの曲目リストを検索できるサイトを発見。
ミュージシャン、ツアー名、日程などで検索でき、表示された曲目リスト(set list)からポチッとするとyoutubeで検索してプレイしてくれる。（但し、ずばりそのライブの映像ではなく、曲目からyoutubeを検索しているだけみたいだが）

setlist.fm

とってもよくまとまったシンセサイザーのリファレンスサイト

2011-07-14T17:11:00.000+09:00

当時、小学生の僕の心を鷲掴みにした、Moog Modularから、最近ストリートで大活躍のJunoまでを網羅した、Timlineのページが圧巻。シンセの歴史が一目で分かる。

Vintage Synth Explorer

シンセサイザーを作ってみる - Auduino

2011-07-13T23:19:00.000+09:00

シンセって、作れるもんなら作ってみたいよね。電子工作の格好の材料だと思います。
Arduinoというハードウエア（３，０００円程度）＋ちょっとの部品で、結構面白い物が作れるんです。

私の作ってみたのはこれ！

すばらしい作品はこれ！

本家のサイトはこちら。
Auduino

世の中、いろいろ面白いことがあるねえ。老後が楽しみだねえ。

8 Tracksをやってみる

2011-07-13T17:53:00.002+09:00

8Tracks
これは趣味の良さ披露系のサービスですね。ミックステープを作るというメタファーは、私の中学校ぐらいのときテープに色々ダビングして（今でいうコンピレーションというやつ）、セレクションとか曲の流れとかのセンスを披露し、さらに恥ずかしいことにカセットレーベルを雑誌の切り抜き＋インレタで作ってたのを思い出します。大きくなってからはカーステレオで聴くためのカセットを一所懸命作ったりしたような記憶があります。今度実家に帰ったらテープ探してみよっと。

私も作ってみました。
Back to Old Fusion
まず、手持ちのmp3かm4a形式のファイルをアップロードする必要があります。

ミックスを作るには、下記の制限事項があります。
"In order to be published, your mix must have at least 8 tracks, and no more than 2 of by the same artist or album. Track, album and artist names are required."

これは著作権違反を防ぐためのテクニックみたいですね。私の利用しているLive365でも同じようなチェックがかかります。

珍しくIn Japan Onlyなコンテンツ系サービス

2011-07-13T17:26:00.000+09:00

Techcrunchより。

Nintendo Video Hits The 3DS Tomorrow (In Japan Only, Alas)

コンテンツ配信とか、ストリーム系サービスって、日本では使えないものが多いけど、これは日本でしか使えないらしい。ざまみろ。

CD v.s. Download

2011-07-13T11:54:00.001+09:00

アマゾンでＣＤを買うほうが、iTunesでアルバムをダウンロード購入するより安い場合がある。
例えば、私が最近買ったＣＤの例。

Amazonだと、1,150円。

iTunesだと、1,500円。
Lee Ritenour - Over Time

Amazonだと入手までに２～３日かかってしまうのが難点だが、安いし、DRMフリーなのでいいとこづくめだ。届くまでの間はGrooveSharkやLastFMなどのストリーミング・サービスで楽しもう。
JazzやFusionでは、演奏に参加しているパーソネルの情報が重要なので、CDを買ったほうが有利。今時、Wikipediaやミュージシャン自身のサイトでパーソネル情報は調べられるのだろうけど、CDに書いてあるのを見たほうが便利だと思う。
私の場合、MP3にパーソネル情報のテキストを追加して、iPodでプレイ中に参照できるようにしています。

名盤だと、一枚980円とか、780円とかで売ってたりするのでさらにお得です。Amazonは送料が無料になったし、チマチマ買っても損しないしね。

おニューでナイスなミュージックを見つけるコツ(ReverbNation編)

2011-07-13T11:30:00.000+09:00

このサイトのキャッチフレーズは、

The best tools for musicians and the best music for everyone else.

というわけで、ミュージシャンが自分の音楽をPRするためのツールが豊富にそろっており、かつ、リスナー側も新しい音楽にふれることができて、非常にwin-winなサイトなのである。
ジャンルもまんべんなく、またミュージシャンのレベルも高い、というか、メジャー指向であり、非常に聞き易いものが揃っている。
ミュージシャンによってはサンプルMP３ファイルも用意されている。
このMP３ファイルにジャケットイメージと、ReverbNationのロゴが含まれていて、再生した時に思い出しやすい。これは意外に重要。
どのサイトから入手したかすぐ忘れちゃうもんね。

ReverbNation

おニューでナイスなミュージックを見つけるコツ(Twitter編)

2011-07-13T11:20:00.000+09:00

最近、新しいミュージックを見つけるのに凝っている。
どうやっているかというと、HootSuieみたいに複数のストリームを設定できるアプリでtwitterをチェックすること。
この時に、リストを作るとか、アプリ側でキーワードを設定しておくと、玉石混交だがいろんな情報が引っかかる。
私の場合は、"jazz"、"fusion"、"bigband"というキーワードを設定してある。
ツイートにURLが書いてある場合が結構あるので、これをiPodなどでナナメ読みしながら、ピピッときたサイトをチェックする。
結構有効ですよ、この方法。ビジネス書何かにもビジネス目的で書いてあったりする方法なんだろうけれども。

ドヤ顔的ミュージックサイト

2011-07-13T11:10:00.003+09:00

俺様こんなナイスなミュージック見つけたぜ！知ってるぜ！、と人様に自慢したいときに便利なのがこのサイトだ。

サインアップすると、あなたは”DJ”として登録される。

音楽や動画の検索画面が上部に現れるので、お好みのものを選択して、BLIPボタンを押すと、コメント付きで投稿できる。
また、ツイッターみたいに、フォローしたい人を探してフォローしたり、逆にフォローしてくれる人が現れたりして、タイムラインが構成されていく。
英語でコメントすると、海外の人からフォローされやすくなるね。
自分の投稿だけを見ることもできるので、プレイリストとしても使えるし、とっても便利だ。
TwitterやFacebookとの連携もバッチリ。

あんまり話題になってないけど、結構すごいサービスだと思います。皆さんもぜひ。

http://blip.fm/

↓これは私のページ。古いフュージョン系を中心に、お宝画像を発掘してます。

http://blip.fm/invite/cigarmanTH