AWS Elastic MapReduce

AmazonがAWSをはじめてもう久しい感じだが、

去年の春からElastic MapReduce（EMR）も登場して、個人レベルでも大規模分散処理が行える敷居は低くなった。

ただこのEMR、Java以外による他言語のstreamingはできるとして、

Cascadingも普通に使えるとは思わなかった。

（１．０からofficial supportだった）

大規模処理がしたいだけならもはやhadoop-ec2も使う必要性が少なくなっている。

hadoopのチューニングもbootstrap処理により可能。

S3のコンソールはもう少し使いやすくなって欲しいかな。

Hadoopにて苦難・・・

Hadoop+Cascadingにより現在コーディング中だが、

注意力散漫なせいかしょうもないことで苦難の連続。

ログでエラー吐き出してないやん、と思っていたら

後から見直すと適切なエラーが出てたり・・・。

結果プログラムエラーではなくて、データセットが壊れてたり。

（しかも見た目ではわからない）

注意散漫、加えて無気力なのは暑さのせいだけじゃなさそうだ。

ＧＥＲＤ（胃食道逆流症）がひどくて毎朝腹痛がひどかったり。

内視鏡所見みてこんなのザラだとか医者に吐き捨てられたり。

（自分も医者だけども）

見た目と症状の程度は相関しないというのに。

PPI飲んでもあまり効かなくなってきたり。

もう毎日飲むしかありませんな、これは。