2017/07/06
今年はHadoop誕生10周年です。Hadoopは、データ保存やデータ処理についての考え方を根本的に変えるものとなり、もはやビッグデータを語る上でなくてはならない存在です。
2016年11月8日に、Hadoopやビッグデータのプラットフォームの世界No.1カンパニーであるCloudera株式会社が主催するイベント「Cloudera World Tokyo 2016 ~Hadoop誕生10周年記念:IoT/ビッグデータのビジネス活用~」が開催されました。イベントに参加してきましたので、会場の様子をお伝えします。
午前の部:基調講演
<アクセンチュア 日本統括 マネジング・ディレクター: 工藤卓哉 様>
データサイエンスやFintechに関して、インタビュー形式(インタビュアー:Cloudera株式会社マーケティング ディレクター 風間彩様)にて解説。
~最近のトピックである、人工知能やFintechの動向はどうなのか?
人工知能は、市場は指数関数的に伸びてきている。非常に明るい市場であるといえる。
Fintechは、北米に比べると、日本はまだまだ投資が少ないといえる。日本のビジネスの特徴には、成功事例からスケールアウトする、というのがある。すなわち、先行他社がいないとやらないので、スタートが遅い。なかなかそこにお金を掛けるという意思決定には至らない。また規制も関係している。
~データサイエンティスト不足と良く言われるが実際のところどうなのか?
実際かなり不足している。データサイエンティストといっても、レベル間の違いはもちろんあるし、各人の得意分野もある。実際、内部でビジネスを進めていくとき、データサイエンティストとして経験の浅い人に案件を任せるというのは、人が少ないという理由があってもコミットメントするのが難しい。
<Cloudera株式会社 カントリー・マネージャー: 田村健研三郎 様>
Hadoopは4つの領域「顧客行動の把握」、「ビジネスリスクの削減」、「製品・サービスの改善」、「アーキテクチャの近代化」でビジネスを大きく変革しているということを解説。
- 顧客行動の把握
➢ 顧客情報がどこにいても一カ所で分析できるようになったので顧客行動の把握が可能になった。 - ビジネスリスクの削減
➢ データをリアルタイムで扱えるのでカード不正利用を検知したり、サイバーセキュリティへ適用することでビジネスリスクの抑制につながった。 - 製品・サービスの改善
➢ 膨大なセンサデータを捨てることなしに活用し、他の情報と組み合わせることで製品やサービスの改善につながる。まさにIoT時代到来となった。 - アーキテクチャの近代化
➢ 標準サーバやアプリ、クラウドの普及によりインフラやデータロードが低コストに抑えられることによってアーキテクチャの近代化となった。
<Cloudera 株式会社 CTO: Amr Awadallah 様>
人工知能の発展に貢献した主要人物の話から人工知能の適用領域、Clouderaの技術について解説。
- 人工知能の発展に貢献した主要人物
1.アラン・チューリング
✧ 人工知能であるかないかを判定するためのテスト「チューリングテスト」の考案
2.ジョン・マッカーシー
✧ 人工知能の基盤やLISTプログラミング言語の開発
3.マービン・ミンスキー
✧ 最初のニューラルネットワークの開発
4.テリー・ウィノブラード
✧ SHRDLUの開発
- 人工知能が得意とする領域
1.異常検知
2.予測分析
3.クラスタリング
4.最適化
- Clouderaのデータべースならではの特徴
1.マルチイン:様々なデータを同時に処理
✧ 構造化:リレーショナルからトランザクションシステムまで
✧ 半構造化:サーバーログ、センサログ、クリックストリームまで
✧ 非構造化:例えば、Eメール、ツィート、画像、音声、動画など
2.技術的かつ経済的に拡張することが可能
3.マルチアウト:総合データパイプラインの一部として、異なるタイプのデータ処理をワークロードを実行
<Cloudera株式会社 チーフ・アーキテクト: Doug Cutting 様>
Hadoopの歴史を振り返り、昔と今でビジネス基盤がどう変わったかを解説。
- Hadoopの歴史
➢ 2002年:Nutchプロジェクトに参加(※1)
➢ 2003-4年:GoogleがGFSおよびMapReduceに関する論文を発表
➢ 2005年: Nutchがこのアイデアを取り込む
➢ 2006年: NutchがYahoo入り、独立したHadoopプロジェクトを開始
➢ 2007年:信頼性と拡張性に富む、オープンソースデータプラットフォームの完成
➢ 2008年:Cloudera創設
➢ 2009年~現在:Hadoopエコシステムが、新たなデータ標準
<Cloudera株式会社 シニア・ディレクタ APAC: Daniel Ng 様>
ビッグデータ分析がビジネスに与えるインパクトについて、各ユースケースを通して解説。
- ユースケース:MasterCard様
不正な取引を行う加盟店を判明させるため
➢ 劇的な検索の正確さをもたらす
➢ 年間で5倍の検索量
➢ 顧客一人当たり25倍の検索の増加
➢ 新しい市場の拡大による売り上げの増大
<インテル株式会社 インダストリー事業本部 アジア地区 シニア金融アーキテクト: 郡司 茂樹>
今ビジネスで起きている事象(例えばUberやアリペイ等のように新しいビジネスが生まれることによって、雇用が奪われる。)に対してどう対応していけば良いのかインフラの観点から金融業界の事例に基づいて解説。
- 金融業界の事例:
<株式会社インテック プリンシパル 中川郁夫>
IoTとビッグデータがビジネスに与えたインパクトを「アリペイ」、「UBER」、「NEST」(※3)の実例に基づいて解説。
「アリペイ」、「UBER」、「NEST」がビジネスにもたらした変革は、それぞれ3つのタイプ「事業価値の変革」、「事業構造の変革」、「事業境界の変革」に分類が可能。
- アリペイ
⇒事業価値の変革
電子マネーの決済システムからその人の信用スコアを生み出した。 - UBER
⇒事業構造の変革
会社を必要としないビジネスモデルを与えたことでタクシー市場を置き換えた。 - NEST
⇒事業境界の変革
家電製品の自動化から電力のピークコントロールを生み出した。それによって得た利益を利用者、電力会社に還元することで別領域のビジネスをつなげた。
その他の展示会や午後のイベント
その他にはブース会場を設けた各社の展示会や、午前中の基調講演以外でも午後の部の講演では「海外ゲスト」、「運用・構築」、「データ分析・活用・管理」、「データサイエンス」、「IoT・クラウド」の各セクションに分かれたトークイベントなどがあり大変な盛り上がりを見せていました。
※1
Nutch:オープンソースのWebクローラフレームワーク。
※2
ウォーターフォール法:開発プロジェクトを工程順に「要求定義」「外部設計(概要設計)」「内部設計(詳細設計)」「開発(プログラミング)」「テスト」「運用」などの作業工程(局面、フェーズ)にトップダウンで分割することで進捗管理をする手法。
※3
NEST :https://nest.com/
サーモスタットの会社。家の中のエアコンや電子レンジ等に取り付けてその人の生活パターンを学習させる。それによって家の中の家電製品を自動的に制御ことが可能となる。
(瀬占弘幸)