2010年7月29日木曜日

AWS Elastic MapReduce

AmazonがAWSをはじめてもう久しい感じだが、
去年の春からElastic MapReduce(EMR)も登場して、個人レベルでも大規模分散処理が行える敷居は低くなった。
ただこのEMR、Java以外による他言語のstreamingはできるとして、
Cascadingも普通に使えるとは思わなかった。
(1.0からofficial supportだった)
大規模処理がしたいだけならもはやhadoop-ec2も使う必要性が少なくなっている。
hadoopのチューニングもbootstrap処理により可能。

S3のコンソールはもう少し使いやすくなって欲しいかな。

0 件のコメント:

コメントを投稿