Archive for オープンソース

オープンソースでビジネスするということ

KSKアナリティクスでは、アナリティクスに特化したオープンソース(OSS)を取り扱っています。OSSには、Hadoopを提供するApache Software FoundationなどNPO的な機関もあれば、通常の営利目的の企業がソフトウェアを効果的に開発・提供するためソースコードを公開しているOSSもあります。

私及びKSKアナリティクスが気を付けていることは、そのOSSがどのようなバックグラウンドで生まれてきたか、そして何を目指しているのかです。それはOSS(著作者)が採用するライセンスに反映されます。(ApacheライセンスとAGPLでは大きな想いの違いが存在します。)またそれを開発したベンダーのビジョンやビジネススタイル、マネジメントメンバーの姿勢を知ろうとします。そうしないと後々上手くいかないからです。

例えばOSS BIのPentahoがあります。彼らは2005年に4つのOSSが集まり、VCから資金を調達して作られました。当初からビジネスを強く意識していました。なのでKSKアナリティクスはコミュニティ版のサポートをしてほしいというお客様のリクエストをお断りしてきました。なぜなら我々がそれをやってしまうと、我々は一時的に儲かるけども長期的なPentahoのOSSは成長しないからです。それは回りまわってユーザーやメンバー、自分のためにもなりません。

当社は経営理念の一つに、”地域やコミュニティに貢献(K)を”を掲げています。OSSは正直いって素晴らしい考え方だと思います。これらの概念を作ったGNUのR.ストールマンはじめ先人たちに本当に敬意を表します。ただその果実を収穫するだけだとすぐに木は枯れてしまいます。多くの水をやり肥料をやる人や時間が必要です。OSSの木を育てることはやりがいがあり、価値のある仕事だと思っています。

JapsersoftのExitに思うこと

すでにご存じの方も多いかもしれませんが、先月JaspersoftがTibcoソフトウェアに買収されました。オープンソースBIのベンダーとして、常にPentahoの良きライバルとして競い合ってきたJaspersoftですが、一つの結末を迎えました。

PentahoのCMO Rossaneがこれについて言及しています。私も2007年から両者をずっと見ていますが、RossaneがJapserが左に、Pentahoが右に道を取った、というように2008年くらいから両者は異なる道を歩んできたと思います。Japsersoftはその製品の性質上、帳票や組み込みに特化していきました。対してPentahoは、HadoopやNoSQLなどビッグデータ対応を強化していきました。

結果はご覧の通り、Pentahoではこのビッグデータ機能部分の伸びが83%と稼ぎ頭となっており、その当時のProduct Manager(James DixonやJake Cornelious等)の決断が正しかったと言えます。製品に対する一つの意思決定が、数年後には大きな結果の違いをもたらすことを身に染みて実感しました。

完全な未来を予測することは不可能ですが、ある程度数年先の未来を想定して正しい方向に意思決定をしていく、企業も人も生き残るためには必要なことだと思います。

Revolution Analytics社との協業を行いました

統計解析ソフトウェアのデファクトスタンダードともいえる、オープンソースR(アール)。こちらの企業向け高性能な解析エンジンを提供するRevoluton Analtyics社との協業を行い、日本市場で提供を開始しました。日本語サイトを開設しています。

詳細はプレスリリースをご覧ください。

Nysolプロジェクトと協業を発表しました

先日Nysolプロジェクトとの協業をプレスリリースしました。プレスリリース本文はこちら

Nysolは、関西学院大学の羽室先生が中心となった進めておられる大規模データ処理・分析のためのソフトウェア群です。羽室先生は、先進的なデータ分析で数々の国家プロジェクトに参画されたり、必要ツールを実際に開発(オープンソースMusashiやKGMODなど)多方面に活躍されています。

実は、私が初めてデータマイニングを学んだのも、関学MBAの羽室先生のデータマイニングの講義でした。もう7-8年ほど前になります。当時は、KSKを創業したばかりで、すでに海外でMBAは取得していたものの、このデータマイニングの講義を取りたいがために、関学MBAに再度入学しました。(先日その時の小論文が机の中から見つかりました。こちらです、まだビッグデータという言葉が一般的でなくデータ爆発と記述しています。) 受講した授業自体も素晴らしかったのですが、日本にも自ら高度な分析を行いながら、ユニークなアルゴリズムやツールを開発される方がおられるんだと、カルチャーショックを受けたことを覚えています。

今回、Nysolプロジェクトとして、今までの大規模データ処理や分析のノウハウが、さらに強化され、そしてオープンソースとして公開されました。その中でも、核となるMCMD(Mコマンド)は当社のお客様でもその性能が評価されており、商用データベースを使って20時間ほどかかっていた処理が、わずか1時間で完了したケースもあり、今後の本格的なサービス提供に期待の声を寄せていただいています。

今後は、日本の中での成功事例を作るとともに、この日本発の素晴らしいオープンソースを世界に提供していく支援をさらに促進したいと思います。

 

データ・ブレンディング (Data Blending)

データ・ブレンディングとは、さまざまなデータソースを文字通り混ぜ合わせることです。最近リリースされたPentaho5.0ではまさにこれが強化されています。

・従来の分析環境の問題
Pentahoデータ統合のChiefであるMatt Casterは、データブレンディングを、データ統合ユーザーが他の分析ツールに直接データを提供する機能として提唱・実装しています。従来、データはRDBを通して分析ツールに提供されるものでした。しかし、巨大なデータボリュームに対応できない、DBテーブルが更新されるまで待たなければならないなど、多くの問題が出てきました。

これらは、複雑なビッグデータのアーキテクチャの問題(Hadoopクラスター、NoSQL、RDB技術、ETLツール、データマートに伝統的なBIツールetc)に起因しています。それら必要なものをすべて一式で提供し、データの品質な粒度に応じてブレンドすることが大変重要になっています。

・データ統合(ETL)とSQL
今日のデータ統合(ETL)は、増え続ける複数のデータソースからデータを読込みことが求められます。データベースやスプレッドシート、NoSQLやビッグデータソース、XMLやJSONファイルやWebサービスなど。今までは、データ統合(ETL)によりデータウェアハウス(通常はRDB)にロードされてきました。

SQLは、それ自体がミニETLともいえます。選択、フィルター、カウント、集計などが可能です。ユーザーは、BIツールから吐かれるSQLで自分のほしい情報を取得してきました。しかし、前述のような問題があり、単一のRDBにデータをストアできなくなってきています。

そこで、Matt Catsterが提唱するのが、Pentahoデータ統合によるデータブレンディングです。
“So we figured that it might be easiest if we would translate the SQL used by the various BI tools into Pentaho Data Integration transformations. This way, Pentaho Data Integration is doing what it does best, not directed by manually designated transformations but by SQL. In other words: We made it possible for you to create a virtual “database” with “tables” where the data actually comes from a transformation step,”
(さまざまなBIツールをPentahoデータ統合のデータ変換の中に入れて、SQLを翻訳するのがユーザーにとって最も簡単な方法だと気付いたんだ。これによってPentahoデータ統合はマニュアルで作成されたデータ変換によって動くのではなく、SQLによって動く。言い換えれば、我々は、バーチャルな”テーブル”付きの”データベース”をデータ変換のステップからくる実際のデータで作れるようにするんだ。)

 

新たにリリースされたPentaho Business Analytics 5.0では、ソースレベルでデータブレンディングを行えるようになっており、適切なデータセキュリティとガバナンスが行えるようになっています。

ぜひ新しくなったPentaho5.0を試してみてください。

http://www.pentaho-partner.jp/

 

製品を選ぶ上で大切にしていること

KSKアナリティクスは、特にオープンソースのアナリティクス製品に特化した製品提供とコンサルティングサービスを提供しています。特にPentahoは、現在ものすごい勢いで、国内・海外ともに成長しています。Pentaho社との付き合いももう5年がたちました。お互いの信頼感も醸成され日本市場を任されています。

良くお客様やお取引先に「森本さんはどうやって取扱う製品を見つけたんですか?」と聞かれることがあります。私は、製品を選ぶのも、就職や恋愛と同じようなものだと感じています。つまり、最初は外見やスペック上のことから入りますが、長続きするためにはコンセプトや考え方に共感することが必要です。そして、一旦、共感したら、どんなことがあってもとことん付き合う、味方としてフォローし、内部から貢献するチームの一員になる。。。

特に製品を評価するときには、現在時点でどんな機能がそろっているかより、製品としてのコンセプト、将来性、もっというとそれらを作っている人々がどんなチームなのかが重要に思います。

弊社がPentahoとのパートナーシップを持ったのは2007年、当時まだビッグデータの言葉もなく、オープンソースのビジネスアプリケーションをエンタープライズで使用するには抵抗感がありました。バージョンは1.Xで機能は貧弱、インストールすらもままならない、他の商用BIツールの方が機能的にははるかに上を行っていました。

しかし、コンセプトとチームは素晴らしかったのです。個別のETLやレポートのOSSをJavaのプラットフォーム上で統合することで、エンタープライズでも十分使えて、しかもユーザー数無制限で使うことで情報活用を促進する、ソースは公開して開発者やベンダーが触れるようにする、Wow! これは一つのイノベーションだと思いました。そして、こんなことをチームと一緒に実現したいと。

もちろんビジネスですので、経済的な面も重要です。ソフトウェアを販売して利益を得る。競合他社にコンペで勝つ。きれいごとだけでは語れません。しかし、売れればなんでも良いというのは、短期的、局所的にはうまくいっても、長期的、大局的には継続しないと思います。

有名なジムコリンズの「ビジョナリーカンパニー2」でハリネズミの考え(事業選択の基準)があります。

1.情熱をもって取り組めるものは何か
2.自分が世界一になれる部分はどこか
3.経済的原動力になるのは何か

KSKアナリティクスは、オープンソースに特化したアナリティクス事業で上記を実現します。弊社では、製品と事業が密接に関係しますので、製品を選択する際にも参考にさせていただいています。

 

 

 

コモディティ化する世界

Bubble World Reflection
コモディティとは、直訳すると日用品という意味ですが、コモディティ化というと、一般的には供給者による価値やサービスが均一化することで、差別化が難しくなることを言います。

最たるものがハードウェアです。今ではPCはコモディティとなりました。携帯電話もそうです。スマートフォンももうすぐコモディティとなるでしょう。カーナビも液晶テレビも、そのコモディティ化の速度は、どんどん早くなっていると思います。オープン化と標準化により、参入の敷居が低くなることでコモディティ化は起きます。

ソフトウェアの世界でもそれは同様で、オープンソースの出現により、OSはコモディティになりました。データベースもミドルウェアも同じです。KSKアナリティクスが手掛けるBI(ビジネスジェンス)やデータマイニングも、いずれコモディティ化していくでしょう。ソフトウェアは、①新たなコンセプトが出て、②それらを実現するソフトウェアが出現し、③成熟してコモディティ化していく、プロセスを繰り返します。

このように書くとコモディティ化は、マイナスなことばかりにも聞こえますが、そればかりではありません。コモディティ化することで、誰でも最新かつ最先端の技術を使うことができます。それによってイノベーションが触発されます。またそれは才能ある個人、新しいベンチャー企業、新興国の人々に恵みをもたらし、富の再分配につながります。例えば、

・Webの登場によって、誰でも多くの情報にアクセスし、利用できるようになりました。

Amazon Web Serviceの登場によってベンチャー企業でも大規模なクラウド環境を構築できるようになりました。

オープンソースの登場によって、だれでもOSやDB、BIソフトウェアを使えるようになりました。Hadoopの登場によって、データを低コストかつスケーラブルに処理できるようになりました。

ハーバードやMIT等が講義アーカイブの無償提供によって、新興国の子供たちでも大学の講義を受けることができるようになりました。

経営は、「ヒト」「モノ」「カネ」といいますが、こうしたコモディティ化する世界においての競争優位は、「ヒト」につくはずです。もっというなら、人のコンセプチュアルなスキルにつくはずです。なぜなら、そのコンセプトを実現できる環境が、以前に比べて格段に整っているからです。

当社が対象とするデータ分析やデータサイエンスの分野では、今後はさらにソフトウェアの価値はコモディティ化していくでしょう。当社はそれをオープンソースBI/BAで促進していくつもりです。それは、従来型のソフトウェアベンダーにとっては脅威かもしれませんが、私たちは、それによってさらなるイノベーションが触発されることを期待しています。ただ、企業の戦略的データ活用は、最もコモディティ化が難しい分野です。ここはまさにデータサイエンティストの出番ですね。

コモディティ化するものとコモディティ化しないもの、それぞれのライフサイクルの波をうまく取り入れたいですね。

 

 

2013年にビッグデータ関連分野で起こりそうなこと

2012年は、日本でも本格的にHadoop導入が進んだことを実感した1年でした。2013年は、さらにビッグデータ周辺でさらにいろんなイノベーションが起こりそうです。起こりそうなことを書きたいと思います。

1.Hadoopのリアルタイム化が進む

先日ビッグサイトで行われたHadoop Conference Japan2013でもHadoop生みの親Don Cutting氏がメッセージをしていました。Hadoopをデータウェアハウスとして利用するために課題になってくるのは、レスポンスです。Map/Reduceの場合、どうしてもレイテンシーの問題が起きます。2013年は、このあたりを解決するソリューションがいろいろと出てきそうです。dremel論文やSpanner論文をもとにしたImpalaDrillなどのテクノロジーがより一般的になるものと思われます。

2.クラウドベースのビッグデータソリューションがいろいろ出てくる

amazonのElastic Map Reduceが、これの走りだと思いますが、EMRではすべてを網羅することはできません。弱点を補うさまざまサービスが一般的になると思います。Amazon自体も2012年11月にクラウドのDWH、Redshiftを発表しました。特に欧米でこうしたベンチャー企業が多くでてきており、今後が楽しみです。個人的には、同じ日本人のベンチャー企業であるTreasureDataさんに頑張ってもらいたいですね。

3.データマイニング&アナリティクスOSSの成長

統計のRはすでに有名ですが、HadoopファミリーであるMahautも、さらに使われるようになるかと思います。またこの技術的なハードルを下げるオープンソースのデータマイニングRapidMiner、Hadoopとの連携を行うRadoop(Rapid Miner+Hadoop)も成長すると思います。日本でも分散&リアルタイム機械学習のOSS Jubatusが2011年に公開され注目されています。さらに使用例が増えてくるものと思います。

このように見てみると、今年は、さらに「ビッグデータ」、「クラウド」、「オープンソース」がキーワードになるように思います。どのようなイノベーションが起きるか楽しみです!

 

 

 

 

Jedoxロードショー開催

Jedox社のワールドツアーJedox Road Showがついに東京でも開催されます。

ドイツよりCTO、COOが来日して、説明やデモンストレーション等を行います。私も最後に登壇させてもらいます。まだ若干ご参加可能とのことですので、ぜひご参加ください。

詳細はこちら。http://jedox-partner.jp/seminar/

■オープンソースBI 「Jedox」とは?

Jedoxとは、計画・分析・レポートに特化したExcel(エクセル)ベースのオープンソースのビジネスインテリジェンス・ソフトウェアです。営業・マーケティング部門の予算実績管理や財務部門の管理会計、製造部門の原価計算など、あらゆる計画立案や分析、シュミュレーションを使いなれたスプレッドシート(ExcelやOpen Office Calc)のインタフェースを通して実現します。これにより、ユーザーは素早くかつ容易にBIシステムやパフォーマンス管理システムを構築することができます。

詳細はこちらをご覧ください。http://jedox-partner.jp/