森本好映 KSK Analytics CEO Blog

日立さんの最大のイベントであるHitachi Social Innovation Forumに参加に参加してきました。東京国際フォーラムを2日間貸切で、来場者もすごい人でした。改めて日立グループの大きさを実感しました。

中西CEOの基調講演を聞いて、今後の方向性を感じることができました。特に印象に残ったのが、UKの鉄道サービスの事例です。
元々国営British Railwayが運営していたものを民営化したわけですが、PPP（Public-Private-Partnership）の取組みを通じて国と民が協調するスキームになっています。UK Agile Train社が金融リースを担当、日立製作所が車両製造だけでなく、車両運行まで行うとのこと。従来のメーカーの概念の超えてサービスまで一貫して行うことで、より精度の高い故障予測も可能になる。。。

日立さんだけでなく、今後のメーカーはこのようにモノ売りだけでなく、サービス売りになっていくことを実感しました。鉄道だけでなく、生産設備も工作機械も、自動車も家電も、およそ電気を使うものはすべてサービス化で勝負することになっていくんですね。

Pentahoもご紹介いただいていました！

Pentaho社の初めてのワールドイベント Pentaho World 2014が本社オーランドで開催されました。残念ながら私は参加できなかったのですが、弊社メンバーが参加していますので、ぜひレポートをご覧ください。

同日Pentahoの最新版5.2がリリースされました。また近々にメジャーバージョンアップとなる6.0も予定しております。お楽しみに。

11月6日には、Pentaho社メンバーも来日するCloudera World Tokyo2014への参加も決まっております。こちらもお時間ありましたら、ぜひご参加ください。

すでにご存じの方も多いかもしれませんが、先月JaspersoftがTibcoソフトウェアに買収されました。オープンソースBIのベンダーとして、常にPentahoの良きライバルとして競い合ってきたJaspersoftですが、一つの結末を迎えました。

PentahoのCMO Rossaneがこれについて言及しています。私も2007年から両者をずっと見ていますが、RossaneがJapserが左に、Pentahoが右に道を取った、というように2008年くらいから両者は異なる道を歩んできたと思います。Japsersoftはその製品の性質上、帳票や組み込みに特化していきました。対してPentahoは、HadoopやNoSQLなどビッグデータ対応を強化していきました。

結果はご覧の通り、Pentahoではこのビッグデータ機能部分の伸びが83%と稼ぎ頭となっており、その当時のProduct Manager（James DixonやJake Cornelious等）の決断が正しかったと言えます。製品に対する一つの意思決定が、数年後には大きな結果の違いをもたらすことを身に染みて実感しました。

完全な未来を予測することは不可能ですが、ある程度数年先の未来を想定して正しい方向に意思決定をしていく、企業も人も生き残るためには必要なことだと思います。

データ・ブレンディングとは、さまざまなデータソースを文字通り混ぜ合わせることです。最近リリースされたPentaho5.0ではまさにこれが強化されています。

・従来の分析環境の問題
Pentahoデータ統合のChiefであるMatt Casterは、データブレンディングを、データ統合ユーザーが他の分析ツールに直接データを提供する機能として提唱・実装しています。従来、データはRDBを通して分析ツールに提供されるものでした。しかし、巨大なデータボリュームに対応できない、DBテーブルが更新されるまで待たなければならないなど、多くの問題が出てきました。

これらは、複雑なビッグデータのアーキテクチャの問題（Hadoopクラスター、NoSQL、RDB技術、ETLツール、データマートに伝統的なBIツールetc）に起因しています。それら必要なものをすべて一式で提供し、データの品質な粒度に応じてブレンドすることが大変重要になっています。

・データ統合（ETL）とSQL
今日のデータ統合（ETL）は、増え続ける複数のデータソースからデータを読込みことが求められます。データベースやスプレッドシート、NoSQLやビッグデータソース、XMLやJSONファイルやWebサービスなど。今までは、データ統合（ETL）によりデータウェアハウス（通常はRDB）にロードされてきました。

SQLは、それ自体がミニETLともいえます。選択、フィルター、カウント、集計などが可能です。ユーザーは、BIツールから吐かれるSQLで自分のほしい情報を取得してきました。しかし、前述のような問題があり、単一のRDBにデータをストアできなくなってきています。

そこで、Matt Catsterが提唱するのが、Pentahoデータ統合によるデータブレンディングです。
“So we figured that it might be easiest if we would translate the SQL used by the various BI tools into Pentaho Data Integration transformations. This way, Pentaho Data Integration is doing what it does best, not directed by manually designated transformations but by SQL. In other words: We made it possible for you to create a virtual “database” with “tables” where the data actually comes from a transformation step,”
（さまざまなBIツールをPentahoデータ統合のデータ変換の中に入れて、SQLを翻訳するのがユーザーにとって最も簡単な方法だと気付いたんだ。これによってPentahoデータ統合はマニュアルで作成されたデータ変換によって動くのではなく、SQLによって動く。言い換えれば、我々は、バーチャルな”テーブル”付きの”データベース”をデータ変換のステップからくる実際のデータで作れるようにするんだ。）

新たにリリースされたPentaho Business Analytics 5.0では、ソースレベルでデータブレンディングを行えるようになっており、適切なデータセキュリティとガバナンスが行えるようになっています。

ぜひ新しくなったPentaho5.0を試してみてください。

http://www.pentaho-partner.jp/