2013年にビッグデータ関連分野で起こりそうなこと

2012年は、日本でも本格的にHadoop導入が進んだことを実感した1年でした。2013年は、さらにビッグデータ周辺でさらにいろんなイノベーションが起こりそうです。起こりそうなことを書きたいと思います。

1.Hadoopのリアルタイム化が進む

先日ビッグサイトで行われたHadoop Conference Japan2013でもHadoop生みの親Don Cutting氏がメッセージをしていました。Hadoopをデータウェアハウスとして利用するために課題になってくるのは、レスポンスです。Map/Reduceの場合、どうしてもレイテンシーの問題が起きます。2013年は、このあたりを解決するソリューションがいろいろと出てきそうです。dremel論文やSpanner論文をもとにしたImpalaDrillなどのテクノロジーがより一般的になるものと思われます。

2.クラウドベースのビッグデータソリューションがいろいろ出てくる

amazonのElastic Map Reduceが、これの走りだと思いますが、EMRではすべてを網羅することはできません。弱点を補うさまざまサービスが一般的になると思います。Amazon自体も2012年11月にクラウドのDWH、Redshiftを発表しました。特に欧米でこうしたベンチャー企業が多くでてきており、今後が楽しみです。個人的には、同じ日本人のベンチャー企業であるTreasureDataさんに頑張ってもらいたいですね。

3.データマイニング&アナリティクスOSSの成長

統計のRはすでに有名ですが、HadoopファミリーであるMahautも、さらに使われるようになるかと思います。またこの技術的なハードルを下げるオープンソースのデータマイニングRapidMiner、Hadoopとの連携を行うRadoop(Rapid Miner+Hadoop)も成長すると思います。日本でも分散&リアルタイム機械学習のOSS Jubatusが2011年に公開され注目されています。さらに使用例が増えてくるものと思います。

このように見てみると、今年は、さらに「ビッグデータ」、「クラウド」、「オープンソース」がキーワードになるように思います。どのようなイノベーションが起きるか楽しみです!

 

 

 

 

Comments are closed.