Pandasでのデータ集計
pandasを使ったデータフレームの成形について。meltやpivot_tableの使い方に関する備忘録。
例：
都市ID毎の日別気温、湿度データが与えられているが、各列にデータがまとめられている（例えば、気温の列に全ての都市IDに紐づくデータが一纏めになっている）とき、都市ID毎の気温、湿度データを取り出し、別の列にまとめ直す。
pandasを用いた操作は、次の３つのステップで実行する。
ステップ１：meltを使って、気温、湿度データを一列（value）にまとめる。あるいは、複数列で持っている値を行持ちに展開する。
ステップ２：IDとvariable名をくっつけ、keyという列をつくる。
ステップ３：pivot_tableを使って、key列を横方向へ展開する。あるいは、複数行で持っている値を列持ちに変換する。
import pandas as pd import datetime # データフレームの作成 df = pd.DataFrame(data=[('2016-04-01', 'a', 10.2, 60.3), ('2016-04-02', 'a', 16.4, 71.7), ('2016-04-01', 'b', 11.1, 65.6), ('2016-04-02', 'b', 15.1, 73.2)]) df.columns = ['date', 'id', 'temp', 'humidity'] # 成形前（df） # date id temp humidity # 0 2016-04-01 a 10.2 60.3 # 1 2016-04-02 a 16.4 71.7 # 2 2016-04-01 b 11.1 65.6 # 3 2016-04-02 b 15.1 73.2 # ステップ１ df1 = pd.melt(df, id_vars = ['date', 'id'], value_vars = ['temp', 'humidity']) # ステップ２ df1['key'] = df1['id'].map(str) + '_' + df1['variable'].map(str) df1 = df1.drop(['id', 'variable'], 1) df1['date'] = pd.to_datetime(df1['date']) # df1['date'] = [datetime.datetime.strptime(i, '%Y-%m-%d') for i in df1['date']] 少し回りくどい方法 df1.index = df1['date'] # ステップ３ df2 = df1.pivot_table(values='value', index='date', columns='key') # 成形後（df2） # key a_humidity a_temp b_humidity b_temp # date # 2016-04-01 60.3 10.2 65.6 11.1 # 2016-04-02 71.7 16.4 73.2 15.1
Pandasでの時系列操作
python、主にpandasの基本的な使い方について、備忘録として記述していく。
まずはタイトルの通り、時系列操作について。
例１
あるデータフレームに年（Year）列と月（Month）列データが入っているとき、
この２つを年月として合わせて、データフレームのインデックスに割り当てる。
import pandas as pd from datetime import date time df.index = df.apply(lambda x: datetime(int(x.Year), int(x.Month), 1), axis=1)
例２
2012年1月から2016年12月まで、60ヶ月のリストデータを作成する。
以下の例は月ごとに区切られたものだが、freqに'D'を指定すると日ごと、'Y'を指定すると年ごとになる。
import pandas as pd index = pd.date_range('2012-1', periods=60, freq='M')
例３
データフレームの'date'という列に日別の時系列データが入っているとき、
月曜日から順に0, 1, 2, と数字を割り当てたあと、5（土曜）、6（日曜）を休日として定義し、
'DayStatus'という列でラベリングする。
#曜日列を追加 df['DayOfWeek'] = df['date'].apply(lambda x: x.weekday()) #平日休日判定の関数定義 def day_status(x): if x <= 4: return 0 #平日 else: return 1 #休日 #平日休日判定本番 df['DayStatus'] = df['DayOfWeek'].apply(lambda x: day_status(x))
七月二十五日のこと（アイスランド）
ここからが北欧旅行記。朝９時にアイスランドのケプラビーク国際空港に到着。ニューヨークからは５時間半程度のフライト。機内で映画を楽しむ時間もないくらい。こんなにすぐアイスランドに行けるんやなと少し感動した。空港は噂に聞いたとおり小さめながらも近代的なつくり。シースルーの天井で光の入り具合もいい感じ。
それから空港の外に出て、申し込んでいたツアー会社のバスを探す。しかしいくら探せど指定された場所に車は来ない。しびれをきらして電話をかけてみると、まだ空港へ向かっている途中とのこと。どうやら僕の乗っていた飛行機が早く到着したために出迎えのタイミングがずれてしまった模様。
しばし空港に待機して周囲を見渡してみるが、見事なほど何もない。視界に入るのはゴツゴツした溶岩だらけ。立っている木も少なく、緑といえば溶岩の上に茂っている苔くらい。これはとんでもないところに来てしまったな、というのがアイスランドに着いた時の第一印象。苔が生えていなければ、ここが火星だと言われても頷いてしまうくらい辺り一面なにもない景色。
早く抜け出したかったが空港を離れて行くのは大手ツアー会社のバスばかりで、僕が申し込んだ小さなツアー会社のバスはなかなか来ない。しばらくしてようやく迎えが来たが、それがオンボロのバンとわかったときに変に納得してしまった。これがどこよりも安い所以かと。ちなみに今回利用したBustravelとかいうツアー会社はネットであれこれ調べていたときにたまたま見つけた会社で、空港からブルーラグーン、ブルーラグーンからレイキャビクまでの送迎、ゴールデン・サークル１日ツアー、レイキャビクから空港までの送迎がすべてついて１万円ちょいという、他と比べるとかなり割安な価格設定。Lonely Planetのもちゃんと載ってたし、観光業者としてちゃんと登録もされているので、決して怪しいところではないみたいです。
さて、そんなオンボロバンに揺られてまず向かったのはブルーラグーン。世界最大の屋外温浴施設だというのと、久しぶりにゆっくり足を伸ばして風呂に入れることに感動し、１時間半ほど入浴を楽しんだ。お湯は乳濁しており、その色もブルーラグーンの神秘的な雰囲気を盛り立てているように思う。入場料が高過ぎて最初は行くかどうか悩んでしまったが、アイスランドに行くなら外せない場所の一つやなと強く感じた。
１４時半くらいに迎えのバスが来てレイキャビク市内へ移動。４０分くらいの移動だったが、道中、目の前に広がっていたのはゴツゴツした溶岩と曇りがかった空で、じっと目を凝らしているとだんだん不安になってくる、そんな光景だった。
それでもレイキャビク市内は結構都会で、今回滞在した宿のあるLaugavegur通りにはブティックや飲食店が多数固まっていて、たくさんの人で賑わっていた。ストリートアートも盛んらしく、街の至るところでグラフィティを目にしたのも興味深かった。カラフルな建築物も多く見られ、結構アーティスティックな街だという印象を受けた。
街をぶらつきながら、前々から行ってみたかった12 TonarというCDショップへ。なんでもコーヒーを飲みながら店内に置いてあるCDを自由に視聴できることでも有名。早速手当たり次第にかき集めたCDを手に店長に声をかけてから試聴機へ。思えばここ数年、こうして店で新しい音楽をDigることをほとんどしていなかったことにハッと気づいた。最近の音楽の聴き方といえば、そのときの気分に合わせて何も考えずにSpotifyやYouTubeでオススメのプレイリストを垂れ流すというもので、新たに見つけたアーティストに感動して、じっくり一つの作品を聴きこむ経験が明らかに減ってきている。確かに音楽のジャンルも飽和してきてるし、なかなかビックリするような目新しい出会いには恵まれないかもしれないが、自分の知らなかったアイスランドの良質なアーティストを知ることができたし、この店で聴いたこと、見たこと、考えたことを通じて、忘れかけていたものを少しだけ取り戻せた気がする。
その他、有名なハットルグリムス教会やハルパ・レイキャヴィク・コンサートホールなどを巡り、夕食にはビストロで魚料理を堪能した。
七月二十四日のこと（ボストン〜ニューヨーク）
この日は昼過ぎのフライトでボストンからニューヨークへ向かう予定になっていて、午前中観光するのもしんどいし、前日の疲れも残っていたため、遅めのチェックアウトを経て少し早めに空港へ向かうことにした。しかし、移動中に早くもアクシデント発生。突然携帯に飛び込んできたメールを見ると飛行機の出発が３０分ほど遅れるとのこと。ニューヨークでの約７時間のトランジット時間を使ってMOMAに行こうと計画していたが、雲行きが怪しくなった。
その後事態はさらに悪化し、昼食を食べながら待っているとさらに遅れが生じたとの情報が。結局ニューヨークへの到着は当初の予定より２時間も遅れてしまい、マンハッタンに着いたのは１８時半過ぎ。それから１時間かけてGrand Centralまで移動して友達と合流し、２１時前まで飯を食ったのち再度JFK空港へ向かった。
途中電車も遅れるというハプニングにも遭遇したが、無事空港に到着し、２３時半の便でレイキャビクへと飛び立つことができた。
七月二十三日のこと（ボストン）
この日はConvergeらを擁するDeath Wish Inc主催のフェスに行くためボストンへ向かった。思えばアメリカでちゃんとしたハードコアのライブを見るのは初めてで、そもそもConvergeを見るのも初めてだった。
ライブ前にYume Wo Katareに行ってラーメンを食べるつもりだったが、夏休み中で残念ながら休業との情報が。無茶苦茶がっかりしたが、仕方がないのでハーバード大の近くにあるShake Shackでハンバーガーを食べた。ニューヨークでは長蛇の列ができるほどの人気店だが、噂に違わず美味かったので満足。Shake Shackはもうすぐアトランタにみオープンする予定なのでとても楽しみ。
さて、肝心のライブは全８バンドと長丁場。昼間少し歩きすぎてしまったのと、久しぶりのライブハウスで爆音が身に応えたため、ちゃんと見たのは最後の３バンドくらい。しかも転換中は外に出て地べたに座り込むという軟弱ぶりで、充実感が少し目減りしてしまった。未成年は再入場禁止だったが、今の自分にはずっとあの中に閉じこもってることなんてできやしないから純粋に感心してしまった。
Shipwreck, Trap Them, Convergeのステージがそれぞれ見応えあったため、トータルでいうと満足。ライブが終わった頃には夜１２時を回っていたのと、謎に疲れきっていたためタクシーでホステルまで移動。同室の人達はみんな寝静まっていたので、静かにシャワーを浴び、着替え、床についた。
八月一日のこと
軽く旅行記でもつけようかと思っていたけれど、特に意識しなければ全く手をつけないもので、気がつけば7/23から始めた旅も10日目を迎えてしまった。
そう考えると、旅行中に毎日欠かさず写真入りのBlogを更新している人は本当にマメとしか言いようがない。毎日クタクタになるまで歩き回ってるはずなのに、そこからやろうという意識の高さには勘服させられる。
とはいえ、こうして書いている中で思うのは、後から思い出そうとしても、見たもの行った場所の名前をすっかり忘れてしまって旅行の記録が薄っぺらいものになってしまいそう。
ということで、気を引き締めてこれまでの旅行を振り返りながら、見たこと感じたことを整理していきたいと思う。
ニューオーリンズ
先週、3泊4日でニューオーリンズへ旅行してきた。
ちょうど、リオのカーニバルと並ぶ、世界有数のお祭であるMardi Grasの最終日（通称: Fat Tuesday）が旅行期間と重なっていたので、雰囲気を楽しんできた。
あいにく天気には恵まれなかったが、奇抜なカラーのフロートが街中をパレードするのを見たり、沿道の見物客に向かって投げられるビーズをキャッチするのに参加したりと、祭りを堪能することができた。
その次の日には、French Quarter内に現存する建物で最も古く、1770年代に建てられたというPreservation Hallで、本場のJazzを楽しんだ。開場50分前から並んだにも関わらず、ホール内には入れず、ステージ下手のホール袖から鑑賞。ベテランプレーヤーの演奏を間近で観れたのは、とても値打ちだった。
