オープンソースカンファレンス 2013 Okinawa · オープンソース「超」入門オープンソースカンファレンス 2013 Okinawa ... 7.再配において追加ライセンスを必要としないこと

オープンソースビジネス推進協議会 Copyright©2013 OBCI All rights reserved.

Mail ： [email protected] Web： http://www.obci.jp/

オープンソース「超」入門

オープンソースカンファレンス２０１３ Okinawa

株式会社日立ソリューションズオープンソース技術開発センタ

2013/07/06

吉田行男


自己紹介

【経歴】入社当時は、金融端末のソフトウェア開発に従事。 2000年頃より、Linux/OSSのビジネス開発を担当。 2012年より、オープンソース技術開発センタセンタ長

【現在の業務】 OSSを活用するビジネスのための支援

• 新しい技術/OSSの発掘・評価検証 • ビジネス・ソリューションの立ち上げ支援 • 現在特にフォーカスしている領域

【社外活動】 OSSコンソーシアム副会長兼クラウド部会リーダオープンソースビジネス推進協議会(OBCI)理事(セミナー担当) Linux Foundation SI Forum リーダ他

クラウドクラウドの運用自動化（CloudStack, OpenStack, …）仮想デスクトップ（VERDE, RHEV-D ,…）

業務バッチ処理基盤既存COBOL資産の活用（OpenCOBOL）業務バッチ処理の高速化（Asakusa Framework）

1


目次１. オープンソース(ＯＳＳ)とは？２. オープンソースの状況

2


１. オープンソース(ＯＳＳ)とは？

１. オープンソース(ＯＳＳ)とは？

3


１-２オープンソースの定義

1.自由な再頒布が出来ること

2.ソースコードを入手できること

3.派生物が存在でき、派生物に同じライセンスを適用できること

4.差分情報の配布を認める場合には、同一性の保持を要求してもかまわない

5.個人やグループを差別しないこと

6.適用領域に対する差別をしないこと

7.再配布において追加ライセンスを必要としないこと

8.特定製品に依存しないこと

9.同じ媒体で配布される他のソフトウェアを制限しないこと

10.技術的な中立を保っていること

■ OSI（※1）が定めるオープンソースの定義 ※1・・Open Source Intiative(オープンソース文化の啓蒙を目的に設立された国際NPO法人）

ポイント

・オープンソース ≠ 著作権を放棄されたソフトウェア・ソースコードがインターネット等で公開されている・再配布の自由と改変の自由がある

4


ソースコードを公開し、世界中の技術者が同じソフトウェアの開発に取り組むことで、機能・品質を継続的に向上していくことができる

■ なぜ、ソースコードを公開するのか？

ポイントオープンソースの目的はソフトウェアの機能・品質の向上

世界中の利用者達世界中の開発者達

改良公開

フィードバック

品質向上オープンソース

機能向上

5

１-３オープンソースの目的


統合ベンダ

ユーザ

開発コミュニティ

Linuxカーネルドライバ

GNUソフトライブラリコマンド

アプリケーションソフトウェア

(ApacheなどのOSS)

ディストリビュータ

ディストリビューション

インストーラ

他

非Linuxマシン

日本語フォント/ オフィススイート等の

商用ソフトウェア

運用管理ソフト等の商用ソフトウェア

ISV

動作確認済み商用ソフトウェア

(出典：日本OSS推進フォーラム「オープンソースソフトウェアが開発コミュニティからユーザに届くまでの仕組み」より

PFベンダ

ハードウェア

動作確認済みマシン

SIer

業務アプリ

構築システム

■ 関連組織・団体の全体像

6

１-４オープンソース関連組織・団体の全体像(１)


(出典：日本OSS推進フォーラム「オープンソースソフトウェアが開発コミュニティからユーザに届くまでの仕組み」より

作業役割(例) ① ② ③ ④ ⑤

ディストリビューションの作成

ユーザディストリビュータ




ターゲットマシンへのインストール

ユーザユーザ PFベンダ (ディストリビュータ)

PFベンダ (SIer)

総合ベンダ

ターゲットマシンでの動作確認

ユーザユーザユーザ PFベンダ (SIer)

総合ベンダ

様々な機器やソフトウェアを利用したシステムの提案

ユーザユーザユーザ SIer 総合ベンダ

システム構築・評価

ユーザユーザユーザ SIer 総合ベンダ

運用時の問題切り分け等

ユーザユーザユーザ SIer

(ユーザ)

総合ベンダ

(ユーザ)

① ② ③ ④ ⑤

開発コミュニティ/開発企業

ユーザ

総合ベンダ

SIer

PFベンダ


ポイントユーザが自己責任の範囲を選択することが可能

■ 開発コミュニティ以外によるサポート提供形態

7

１-４オープンソース関連組織・団体の全体像(２)


１-５コミュニティとは？

「オープンソース・コミュニティ」一般的な「コミュニティ」は、「共同体、集団、地域社会」

特定のオープンソース・ソフトウェアの開発や普及活動を行うことを目的とした、人々の集まり

開発コミュニティ – オープンソースを開発するコミュニティ

（例）Seasarプロジェクト、Ruby開発コミュニティ

– 企業がコミュニティを主導する場合もある

（例）MySQL（Oracle）、JBoss（RedHat）

ユーザーコミュニティ – オープンソースを利用するにあたり、情報交換を行ったり、日本

語ドキュメントの作成を行ったりするコミュニティ

（例）日本JBossユーザ・グループ、日本MySQLユーザ会、日本PostgreSQLユーザ会、日本JasperServerユーザ会

8


１-６オープンソースは大丈夫？

オープンソースは品質が悪い？誤解です。むしろ、商用製品よりも品質が高いケースもあります。大規模システムへの導入実績も豊富です。

オープンソースは実は高い？誤解です。利用ノウハウがない場合は、有償サポートサービスを活用することで、リスクを低減しつつ、確実にソフトウェアコストを削減できます。

オープンソースを扱えるエンジニアがいない？誤解です。商用製品を扱えるエンジニアであれば、オープンソースも簡単に扱えます。ソースコードレベルのサポートは、有償サポートサービスのご利用をお勧めします。

オープンソースは自己責任？様々な有償サポートサービスがあります。有効に活用しましょう！

■ オープンソースの３つ（＋１）の誤解

9


２. オープンソースの状況

２. オープンソースの状況

10


２-１国内市場動向

国内ソフトウェア市場動向・ 2010年の国内ソフトウェア市場は2兆1,337億2,300万円。売上額1位はマイクロソフト（シェア

18.3％）、2位は富士通（10.0％）、IBMと日立が同率3位（6.9％）

・ 2011年の国内ソフトウェア市場は2兆1,235億800万円、前年比成長率マイナス0.5％。 2011年5月時点の予測から7.6ポイント上方修正

・公共／教育向けやメインフレーム向けで震災の影響を強く受けるも、事業継続面からのインフラ補強や企業のグローバル対応の加速が成長材料

・ 2010年～2015年の年平均成長率は2.5％、2015年市場規模は2兆4,168億9,700万円と予測。 2013年には2008年時ピークの2兆2,572億8,000万円を超える見込み

国内オープンソースソフトウェア利用実態・ユーザー企業におけるオープンソースソフトウェア（OSS）の最大メリットはコスト削減

・ソリューションプロバイダーの30％以上はOSSプロジェクトが増加傾向

・ OSSの使用実績の多さがITビジネス売上高の増加に繋がっている

・サポートに対する懸念やエンジニア不足の課題を業界挙げて解決していくことが必要

出典：IDC「国内オープンソースソフトウェア利用実態調査結果」

出典：IDC「国内ソフトウェア市場動向および予測」

11


Linux Foundation SI Forumが実施した 2011年度オープンソースソフトウェア導入実績調査から

① 調査概要調査期間：2012/3 ～ 2012/4 調査対象期間：2011年度(2011/4～2012/3) 参加企業(8社) ：

• 株式会社日立製作所（日立Grは、日立で纏めて回答） • 株式会社アシスト • 日本電気株式会社／ＮＥＣソフト株式会社 • 日本電信電話株式会社／株式会社ＮＴＴデータ • デル株式会社 • 東芝ソリューション株式会社 • 日本ヒューレット・パッカード株式会社 • 富士通株式会社/株式会社PFU

12

２-２ OSS導入実績調査(1)


分野結果

OS / Distribution Android、Debian、Ubuntuなどが導入され、OS利用の多様化が進行導入実績多数： CentOS, Fedora, Android, Debian, Ubuntu等導入実績あり： LKST, openSUSE, Vine Linux

仮想化 / クラウド「クラウドビジネス」との融合により、大規模な仮想化環境の導入が必要クラウドインフラの費用を圧縮するためOSSのツールへの移行が進展導入実績多数： KVM, Xen, OpenStack 導入実績あり： oVirt, VirtualBox, CloudStack, QEMU等

DB・関連ツール昨今のクラウド・ビッグデータビジネスの影響を色濃く反映 Hadoopの導入実績の増加に合わせ、関連ツール類も増加導入実績多数： PostgreSQL、MySQL 導入実績あり： CDH、memcached

調査結果

全体概況クラウド／仮想化／ビッグデータ関連OSSの導入実績が急速に進んでいる。本年度、検証実績があるCloudForms、CloudFoundryなどは来年は導入実績が予想される。

13

２-２ OSS導入実績調査（２）


最も積極的に投資が進む分野でOSSの活用が活発「クラウド」「ビッグデータ」

分野 OSSツール導入実績社数

クラウド OpenStack ３

CloudStack ２

Eucalyptus ３

ビッグデータ Apache Hadoop ４

Apache Hbase ５

ITのトレンドはOSSが主導し、ベンダが追従する

14

２-２ OSS導入実績調査（３）


カテゴリ OSS

OS Linux、FedoraCore、CentOS、Android、openSUSE、Debian

仮想化 KVM、Xen

ネットワーク DHCP、Asterisk、OpenSSH、OpenSSL、Squid、BIND

セキュリティ FreeRADIUS、OpenSSH、OpenSSL

ファイルサーバ Samba、NFS、WebDAV、Samba SWAT

運用、管理 Hinemos、MRTG、OpenLDAP、OpenSSO、Zabbix

開発、テスト Hibernate、Perl、PHP、RubyStruts、eXo Platform

DB、関連ツール Apache DB、OpenOLAP、MySQLPostgreSQL

Web、APサーバ Apache、Jboss、Tomcat、zimbra、eXo Platform

Desktop Firefox、openoffice.org、Thunderbird

代表的なOSSの一覧

OSSはたくさんの種類があり、上記は代表的なOSSの一部。 Linuxの普及促進団体であるThe Linux Foudationが、安心して活用できるオープンソースソフトウェアとして、現時点で選別しているものだけでも約400種類存在。

15

(*)代表的なOSSの一覧


Apache Ant Python Dbunit PukiWiki Apatche Samba Eclipse WTP qmail

BIND Squid fml qpopper CentOS Apache Struts GanttProject RRDTool CVS Subversion gimp Seasar (S2DAO)

Eclipse Apache Tomcat Hibernate Selenium FedoraCore Trac Apache Jakarta sendmail

Firefox vsftpd Apache Log4J SQLite Apache JMeter Xen MRTG swatch

MySQL rsync MySQL Administrator

Thunderbird

OpenLDAP ab (apacheBench) Nagios Tortoise SVN OpenSSH analog Namazu Ubuntu OpenSSL Apache XML NET-SNMP Ultra Monkey

Perl bonnie Openoffice.org VNC PHP Bugzilla OpenOLAP webmin

Postfix CACTI OpenPNE WIRESHARK PostgreSQL Courier-IMAP pgAdmin III Xoops

企業が中心となって支援しているOSS 団体が中心となっている支援しているOSS

16

(*)2008年～2010年まで継続的に使われているOSS


(OBCI オープンソースカンファレンス2013 Tokyo/Spring OSS「超」入門)

■ 各業界の｢トップ企業グループ｣での利用状況

業種利用しているオープンソース

大手銀行、地銀、信用金庫 Tomcat / JBoss 他

大手証券会社 JBoss / MySQL 他

大手自動車メーカー PostgreSQL 他

大手自動車部品メーカー Apache / Tomcat / JBoss / OpenAM / Liferay 他

大手電子機器メーカー Tomcat / JBoss / MySQL / OpenAM / Liferay 他

大手家電メーカー Tomcat / Subversion / OpenAM 他

大手化学メーカー Tomcat / PostgreSQL 他

通信会社 Tomcat / JBoss / OpenLDAP 他

電力会社、電力会社グループ企業 JBoss / PostgreSQL / OpenAM / Liferay 他

大手流通業 Apace / JBoss / Liferay 他

大手商社 JBoss / MySQL 他

大手メディア企業 JBoss / MySQL 他

大手システムインテグレーター各種OSS 事例多数

17

２-３オープンソースの利用状況


(OBCI オープンソースカンファレンス2013 Tokyo/Spring OSS「超」入門)

■ OSからミドルウェア、業務アプリケーションの領域へ

オペレーティングシステム Linux

Webサーバー Apache

アプリケーションサーバー Tomcat / JBossAS

データベース MySQL / PostgreSQL

シングルサインオン OpenSSO

ポータル Liferay

Bi Jaspersoft

CRM SugarCRM

ERP Compiere / ERP5

オフィススイート

OpenOffice

スマートフォン用プラットフォーム

Android

アプリケーション領域

ミドルウェア領域

オペレーティングシステム

サーバ領域端末領域

情報家電向けLinux

18

２-４オープンソースの適用状況


１．ビッグデータ時代の到来

１．１．大容量化・多様化するデータ１．２．未活用情報に眠る価値１．３．ビッグデータを活用するためのテクノロジー

19



ビッグデータの市場動向

国内ビッグデータ技術／サービス市場は黎明期、今後の成長率も高い

ビッグデータの認知度、実活用メリットや手法の理解はまだまだ低い

ビッグデータ市場規模

2011年度 1,900 億円

2020年度 1 兆円

（億円）

CAGR 21.0% (2011年～2020年）

出典：矢野経済研究所ﾋﾞｯｸﾞﾃﾞｰﾀ市場に関する調査結果2012

動向調査認知度ビッグデータ活用の検討

ビッグデータ活用 ITｼｽﾃﾑ導入済

国内企業1,050社

情報ｼｽﾃﾑ部門 56.8 % 業務部門 31.1 %

13.6 % 2.6 %

出典：IDC Japan 2012年国内ﾋﾞｯｸﾞﾃﾞｰﾀﾃｸﾉﾛｼﾞｰ/ｻｰﾋﾞｽ市場需要動向分析

20

１．１．ビッグデータ市場動向




21


ビッグデータの定義と特徴

Volume (容量)：従来の技術による処理量を超えた大容量ﾃﾞｰﾀ Variety (種類)：画像/音声/ﾛｸﾞなど非構造化ﾃﾞｰﾀ Velocity (頻度・ｽﾋﾟｰﾄﾞ)：ﾃﾞｰﾀ生成/分析の高速化､ﾘｱﾙﾀｲﾑ化 Value (価値)：分析&利活用で経済的価値が発生

ビッグデータの特徴

【ﾃﾞｰﾀ容量の増加】

【ﾃﾞｰﾀ種類の多様化】

定型ﾃﾞｰﾀ構造化ﾃﾞｰﾀ

画像/映像ﾃﾞｰﾀ非固定長ﾃﾞｰﾀ

固定長ﾃﾞｰﾀ

【ﾃﾞｰﾀ発生頻度・ｽﾋﾟｰﾄﾞの高速化】

非構造化ﾃﾞｰﾀ

手入力ﾃﾞｰﾀ定期発生ﾃﾞｰﾀ

ｾﾝｻﾃﾞｰﾀ

【価値】データ分析から

発見、創出

ビッグデータの課題的特徴

プライバシーなどのコンプライアンス：各種情報の組合せによって、個人特定などが可能な情報が生成される分析データの取り扱い：データ分析する際に、利用するデータは自社データのみでない事も多いまた、分析されたデータをマネタイズするのは自社のみではない事もある

22

１．２．ビッグデータの定義・特徴





23


◎大規模非構造データ対応の分散処理フレームワーク

- Hadoop (HDFS/HBase/Pig/Hive 等)

- 日立グリッドバッチ (uCosminexus Grid Processing Server)

◎NoSQLデータベース

Key-value-Store、ドキュメント/カラム/グラフ型指向

データ量

組み込みSQLバッチ

処理

蓄積検索 (OLTP) 処理

XML 検索処理

リアルタイム

処理

文書、メール、

非定形データ

蓄積・分析処理

画像

検索

処理

データ

収集・分析

処理

バッチ

処理

RDB （SQL）

RDB 画像, 地図, XML検索

RDB クラスタ

DWH, BI,

ETL

ストリームデータ処理

(uCosminexus Stream Data

Platform)

COBOL

バッチ

並列 DB

（SQL）

データ蓄積や

文字列分析

分散コンピューティング技術の適用領域

ストリームデータ処理技術の領域

大量データの分析のための、分散コンピューティング技術やストリームデータ処理技術が新領域として出現

１．３．ビッグデータを活用するためのテクノロジー

24

１．３．１ビッグデータをささえる新技術と従来技術の関係


多様化するニーズを網羅する日立の技術と適用分類

OSS:Open Source Software

１．３．ビッグデータを活用するテクノロジー

１．３．２大量データ処理をささえる分析技術

継続的に流れるデータを瞬時に分析・処理

基幹でも対応できる高い可用性、障害の局所化

大量の処理依頼に対するリアルタイムレスポンス

基幹バッチを高速化・大容量化をしたい

既存のバッチを高速化したい

バッチ処理の大幅な時間短縮

Hadoop

(オープンソース)

膨大なデータを分析したい

OSSを活用し、安価な分析システムを作りたい

ログデータ等の非構造化データの高速な分析

OSSで構成しライセンス料安い

グリッドバッチ

(uCosminexus Grid Processing Server)

ストリームデータ処理

(uCosminexus Stream Data Platform)

ニーズ技術・製品特徴

情報系

基幹系

リアルタイム処理バッチ処理

ストリーム

データ処理グリッドバッチ

Hadoop

25


２．Hadoopとパラダイムシフト

２．１ Apache™ Hadoop™概要２．２ Hadoopがもたらすパラダイムシフト

26


米Google社の大規模計算技術を基にオープンソース化(Apache)

大量データを効率的に分散処理するためのJavaソフトウェア基盤

サーバを大量に並べ、並列処理を行うことで高速計算やスケールアウトの容易性を実現

国内外の多くの企業が積極的に利用

とは

２．１ Apache™ Hadoop™概要

スケールアウトにより高速化

大規模データ分析の従来の課題： (1)時間内で計算する (2) 並列処理の枠組み (3)データの可用性向上

HDFS (Hadoop Distributed FileSystem)

Hadoop MapReduce

GFS ( Google File System )

Google MapReduce

米Yahoo! :世界最大規模でHadoopを利用 (25,000台、82PBデータ、3年分のログ分析を20分で処理)

Facebook :巨大ストレージと分析基盤に利用 (36PBのデータ保存、1日約90TBのデータ処理)

VISA :不正カード利用分析実施 (340TBの分析が1ヵ月から13分に短縮)

JP Morgan :拡張可能ストレージと分析基盤に利用 (RDMSの費用削減)

楽天 :会員向けレコメンデーションに利用 (4,000万会員、2億件の分析が5日間から5時間に短縮)

N.Y. Times :書籍のOCRとPNG変換 (Amazon EC2で4TB80万枚を36時間で変換)

27

２．１．１ Apache™ Hadoop™概要


HDFS(Hadoop Distributed File System) ⇒ 複数のサーバのHDDを1つの巨大なボリュームに見せる分散ファイルシステム MapReduce ⇒ 複数のマシンでの並列処理を実現するフレームワーク


Hadoopの主なソフトウェアコンポーネント

従来の処理方式 Hadoopの処理方式

データ

処理結果

処理プログラム

データを自動的に分割し、

分散配置を行う

マスターサーバ HDFS

Map Reduce

Map Reduce

Map Reduce

処理結果

並列分散処理を行うプログラム

データ

ディスク I/Oがボトルネックとなる

ディスクI/Oが分散される

複数のサーバで１つの論理FSを

構成

28

２．１．２ HDFS, MapReduceの構成


大量データを全件走査するバッチ処理数値に加え、文字列の処理や、マルチメディア処理まで対応可能テラバイト/ペタバイトクラスの大量データの分析処理大量データの情報系システム（レポート業務が基幹業務の場合は除く）データ量が増大するシステム（サーバ追加でスケールアウト可能）大量データから価値情報を見つけるBI的な使い方（Hive/Piｇの利用）

小さいサイズ/件数のデータ処理（実行する前処理のオーバーヘッドがある）トランザクション処理（RDBのようなトランザクション処理機能はない）データを分割し個々処理した場合に結果が同じにならない分析処理データへランダムアクセスする処理リアルタイム処理やクイックレスポンスが求められるもの基幹システムや情報系システムの信頼性を求められるバッチ

データ規模だけでなく、システム要件/業務要件も考慮が必要

◎ Hadoopに適しているもの

× Hadoopに適さないもの


29

２．１．３ Hadoopの適性


２．Hadoopとパラダイムシフト

２．１ Apache™ Hadoop™概要２．２ Hadoopがもたらすパラダイムシフト

30


●エンタープライズ向け

サーバ、ストレージ

■高価なシステム

大量データの取り扱いには、高価な

システム環境構築が必須

■高度な技術

専用ソフトウェアと高度な分析手法

などスペシャリストが必須

エンタープライズ向け

専用ソフトウェア

ハードウェアソフトウェア

汎用ソフトウェア

オープンソース

ソフトウェア

従来

Hadoopにより、これまで敷居の高かった大量データの分析がどこでも、誰でも、どんな規模からでも実現可能になります

●ミッドレンジ向け

サーバ、ストレージ

●コモディティサーバ、

ストレージ

商用ソフトウェア

CPUやHDDの性能が飛躍的に

向上し、高機能なPCが廉価で

容易に手に入れられる時代

OSS利用のノウハウの高まりに

よって、敬遠傾向から、積極的

な活用傾向へ転換している

■コモディティ化システム

高価な機器、大規模な設備が無くと

も、PB級のデータが取り扱える

■オープンでグローバルな技術

世界中の誰でも入手、利用できる技

術やノウハウで、高度な分析も大量

データの取り扱いも可能

Hadoopによる

パラダイムシフト

２．２ Hadoopがもたらすパラダイムシフト

31

２．２．１ Hadoopがもたらすパラダイムシフト


6時間間隔情報配信

より大量なデータを対象に…

Hadoopを利用することで、より大量なデータを短時間で処理可能となり、新しい価値が生まれます

１５分間隔

12時間レポート作成処理

２．２ Hadoopがもたらすパラダイムシフト

よりリアルタイムに… より多様なデータを対象に…

BtoC/ネット、センサ等の社外情報への利用拡大

分析対象データ範囲の拡大

1年分 10年分

グラフ

動画文書

メール月次⇒日次作成へ

社外

社内

30分

1日4回配信⇒ 15分おきの配信へ

RDB

SNS情報 Web公開情報

センサ情報

32

２．２．２ Hadoop利用により得られる価値


４． Hadoop動向と活用事例

Hadoopの利用機能と利用シーン（ニーズ）の変化

HDFS MapReduce

Hadoopコアコンポーネント

＋

スケールアウト可能な分散ファイルシステム(HDFS)と、並列処理実行(MapReduce)によるトライアル的な利用中心並列処理を容易に操作する為、

一部の関連プロジェクトの利用

Hive Pig

一部のHadoop関連プロジェクト

HDFS MapReduce

Hadoopコアコンポーネント

＋

Hive Pig

各種Hadoop関連プロジェクト

Flume Sqoop

HBase Zookeeper

・・・

変化

実データ分析による、ビジネス活用の開始データ収集や視覚化などのシステム

設計を含めた各種プロジェクト利用実運用レベルでの活用に向けた、信

頼性・可用性設計 33

４．２ Hadoopの動向



Cloudera社について

Apache Hadoopの商用ディストリビューションを開発・提供している企業 Hadoopの開発者 Doug CuttingがCloudera社のチーフアーキテクト

Hadoopビジネスで最も有名な企業であり、 Cloudera社のCDHやCloudera Enterpriseは世界中で最も多く利用されている

日立ソリューションズでは、 2012年10月にCloudera株式会社と販売代理店契約を締結。

CLOUDERA ENTERPRISE THE PLATFORM FOR BIG DATA

管理ソフトウェア

＆サポート Cloudera

Manager

Cloudera

Support

CDH

CDH (Cloudera's Distribution including Apache Hadoop)

OSS 100% Open Source

HBase

MapReduce MapReduce2

Hive Pig Impala

ZooKeeper

Flume Sqoop

Oozie Hue

Mahout

Whirr

HDFS

ClouderaEnterprise(Core)

ClouderaEnterprise(RTD)

ClouderaEnterprise(RTQ)

34

４．３ Cloudera社のCDH/Cloudera Enterprise



進化が続くHadoop(CDH/Cloudera Enterprise)の動向

CDH3

2011年4月～

単一障害点(SPOF)の解決次世代フレームワーク

MapReduce2(YARN)の搭載フェデレーションサポートでよ

り大規模化に対応

進化 CDH4

2012年6月～

進化 CDH5

2013年6月頃登場 (?!)

進化

リアルタイムクエリ「Impala」の搭載 HA機能の強化・完全化セキュリティ強化等 ※予定情報

Cloudera

Manager 3

Cloudera

Manager 4

高度な運用管理、システム監視機能のサポートシステム一元管理機能の強化と

容易性向上

ダウンロード数 [CDH] 8,000超／月 [Cloudera Manger] 4,000超／月

更なる関連プロジェクト追加や品質向上等

35

４．４ Hadoopの進化



Hadoop基礎機能の利活用

大量データを利用可能なフレームワークへの期待

ペタバイト級データを実際に利活用しているメジャー企業の実績数千ノードまで拡張可能なスケールアウト性

ハードウェア・ソフトウェアとの高い親和性

多種H/Wでの稼働実績、多様なS/Wとの接続性

OSSとしてのHadoopの魅力

グローバルで利活用可能な共通基盤としての期待

世界の何処でも共通基盤化できる（グローバル展開・ディザスタリカバリ等）世界の誰もが開発・保守できる（維持保守の低コスト化等）

オープンソースに対する意識の変革

品揃え・機能の充実、品質の高まりに対する認知度向上事例・問題解決・各種ノウハウが多く、容易に入手可能

スケールアウトで大容量化＆高速化

36

４．５ Hadoopの活用事例～利用者共通の目的



金融機関での事例

サイトのアクセス統計は取得しているが、実操作の動線や離脱状況・理由が把握できない

現システムに手を加えず( ログ強化やビーコン埋込み等)、データ分析で、効果あるサービス施策やサイト改修をしたい

背景対応今後

ユーザ操作の実動線とパターン、離脱箇所や滞在時間を可視化

非定型ログをHadoopで全走査でクレンジングし、ユーザ毎の操作をレコード生成。

実動線レコードとは別に、動線のパターン化、離脱箇所特定、画面毎の滞在時間を算出し、WEBアプリからアクセス可能なHBaseに格納。

分析した事実情報を二次分析し新たな知見発掘へ

- 他データとの相関分析 - 機械学習などの数理分析

ログ収集などの安全、且つ確実な自動化

- Flume(CDH)の利用

即時利用・結果取得可能なアドホック分析の実現

- Imapala(CDH)の利用

日立ソリューションズの技術

金融機関の「最高レベルの機密データ」を保持する高機密度システム構築

高可用・高信頼システムの構築

A B C

X Y Z

D

正常系

●ﾊﾟﾀｰﾝ①

●ﾊﾟﾀｰﾝ② 20user[25%]

10user[12%]

離脱系 ●ﾊﾟﾀｰﾝ③ ●ﾊﾟﾀｰﾝ④

80user 40user 45user

12user 15user 15user

23sec 10sec 52sec

11sec 9sec 9sec

37

４．６ Hadoopの活用事例～個別事例①～


通信機器からの大量ログを長期間確実に保持したい

- 毎時250GBを4ヵ月

保管した大量ログの検索・マッチングを高速に実施したい

- 最大1PBytes


通信事業での事例

背景対応


Hadoopを多クラスタ構成で構築、運用 JP1を利用したジョブ制御、稼働監視

などの運用管理国内トップクラスの大規模クラスタ構築

時のHadoop設計、実構築の技術

Hadoopを大規模ストレージとして利用しデータの冗長性を担保

Hadoopの多クラスタ構成により、障害時も24時間365日の確実なデータ保管を実現

240nodes/ｸﾗｽﾀ(1,000nodes超/全ｸﾗｽﾀ)の超大規模な並列分散処理環境により高速処理を実現

【参考：処理時間】 15TBのログ全件検索と50GBのログマッチング：40分技術的ポイント

100nodes以下でも、パラメタ設計などは独特の技術やノウハウが必要

100nodesを超えると、システム設計にまで及ぶ課題やノウハウが出現

38

４．７ Hadoopの活用事例～個別事例②～


セキュリティ事故防止のため、インターネット接続先サイトの規制を行っているが、各種の見直しをしたい

- ネット情報利用の重要性・利便性とセキュリティ規制のバランス確保

- 運用部門と実利用部門のコスト低減


日立社内活用例

背景対応

利用状況を分析し、規制解除の自動化、適正な判断をスピーディに実現

【利用者部門】情報量増加による業務効率改善規制解除などの事務作業低減

【運用部門】自動化による人為的ミス解消規制解除に関する各種事務作業の低減

分析データを利用した、情報漏洩事故やコンプライアンス違反の検知・予兆の実現膨大なデータに含まれる、様々なノイズを

Hadoopで高速にクレンジングすることで、分析精度を向上膨大なデータ蓄積・集計基盤としてHadoopを活用

【参考：処理時間】数十台のWebサーバのアクセスログ 1週間分を 60分以内にクレンジング／集計

利用側

蓄積集計分析

見直し

分析ﾚﾎﾟｰﾄ

状況収集

運用側

サイト利用

39

４．８ Hadoopの活用事例～個別事例③～



Cloudera Manager関連

Hadoopクラスタの新規構築・スケールアウト、運用で非常に便利

長時間画面を眺めての作業、１台１台の操作からの解放設定・変更時のヒューマンエラーを解決 GUIならではの可視性の高い性能／稼働監視、容易な操作性

使いこなすにはコツとノウハウが必須！

機能追加・改善ペースが速い豊富な機能 ≒ 多くのパラメタと設計が必要


実運用レベルでの利活用実績と経験 Cloudera Manager V4.1.2の全パラメタ(約800項目)調査による裏付けある活用 Free版/Enterprise版のリソース設計、システム設計のノウハウ

40

４．９ Hadoopの活用事例～その他～



ノーチラス・テクノロジーズ社「Asakusa Framework」によるバッチ高速化

Asakusa Frameworkは、ノーチラス・テクノロジーズ社が開発するオープンソースで、Hadoopを利用したバッチ開発向けの「開発フレームワーク」

バッチ処理に特化した機能・ツールが一体となり、バッチ開発の敷居を下げ、開発効率を容易に向上可能

データモデル設計／データ・処理フロー設計／RDB連携ツールバッチ処理向けの各種テンプレート、テスト支援ツール等

日立ソリューションズでは、 2013年3月にノーチラス・テクノロジーズ社と販売代理店契約を締結。

<Asakusa Frameworkの位置付け>

業務バッチ向け AsakusaFW

バッチ開発フレームワーク

Hadoopコア (実行基盤)

統計・分析向け Hive

SQL系

Pig

ｽｸﾘﾌﾟﾄ系

MapReduce(並列実行FW)

HDFS(分散ファイルシステム)

Hadoop基盤活用で、I/O分散や並列処理を実現

複雑なMapReduceをJavaでフル開発をせず業務バッチ実装が可能

41

４．１０ Hadoopを利用したバッチ処理高速化



Asakusa Frameworkの機能と特長

現バッチサーバ上の特定の長時間ジョブを短時間化する事に最適

バッチシステム刷新に比べ低コスト、最小限の影響範囲で導入可並列処理可能なバッチ、且つRDBMSでI/Oネックの場合に効果大

Hadoopの理解、複雑なMapReduce開発が不要

<Asakusa FW利用時の一般的システム構成例>

【Hadoop】

分割ファイル

【Hadoop】

Masterﾉｰﾄﾞ

AsakusaFW [実行エンジン]

ﾊﾞｯﾁ実行ｻｰﾊﾞ

DBｻｰﾊﾞ

処理対象テーブル

RDBMS

処理結果テーブル

③ｼﾞｮﾌﾞ起動 ②AsakusaFWが DBの対象データ取得、 Hadoop上へ分散格納

①バッチ実行

【Hadoop】

分割ファイル

【Hadoop】

分割ファイル

Asakusa開発バッチアプリ AsakusaFW [ライブラリ]



⑤結果格納

④並列ｼﾞｮﾌﾞ起動

42

４．１１ Asakusa Framework概要



小売業での活用事例

売価還元法個別原価法法対応(IFRS)

Keywords

従来システムは売価還元法の為、日毎/商品毎の利益算出困難 ⇒ 個別原価法での日次処理は、計算量1,000倍超であり

スケールアップ対処が困難

一方で、各種法対応の必須の課題 ⇒ 低コスト(HW, SW, 開発費)、早期導入の必要性

100～500GB 50+店舗, 10,000+商品 3,000+仕入先

規模

商品グループ単位の月次原価管理、個別単品単位での日次原価計算（個別原価法）を実現利益状況をリアルタイムに可視化でき、経営判断スピードが向上 Asakusa Framework利用による開発効率とコストの確保

ポイントこれまでのシステム面での制約の払拭、更には新たな業務バッチ追加も可能となる部分適用である為、コストも時間も最小限、影響やリスクも最小限

Hadoop＆AsakusaFW

43

４．１２ Asakusa Frameworkの活用事例(1)



原価計算クラウド基盤

Keywords 経済状況・市況により変動が大きくなった仕入先／仕入額の影響で、従来の一部商品での原価計算ではリスク大 ⇒ 全商品のアクチュアル原価算出は時間も、コスト面も困難

5～10GB 110万ｱｲﾃﾑ

規模

毎日4時間の原価計算が20分に短縮 Amazon Web Serviceを利用し、環境立上げ・データ転送・バッチ実行・結果転送・環境クローズの総時間が20分(ｵﾝﾌﾟﾚの1/10ｺｽﾄ)

長時間ジョブの切り離しで既存DBサーバの負荷軽減短時間ジョブとクラウド基盤で障害時の不安払拭

製造・卸販売での活用事例

ポイントバッチ高速化は、決して高価なシステムと開発、運用でしか解決できない事ではない実データが大量でなくとも、処理データ件数が大量であれば、並列処理による効果は

十分にある

Hadoop＆AsakusaFW

44

４．１３ Asakusa Frameworkの活用事例(2)



電力システム改革スマートメータのデータ活用

Keywords スマートメータの導入により、検針データが大幅に増加する一方で

活用可能なデータ量が増大 ⇒ データは1,440倍(1回/月→1回/30分)となり、大量データ向けの蓄積基盤、高速な分散処理基盤が必要 ⇒ 各種顧客サービスの向上を実現する、柔軟な拡張性が必要

新システムでは、新技術活用と共に効率的なシステム開発も課題 ⇒ 高効率(低コスト)な開発手法やフレームワーク技術が必要 800万顧客

115億件 108TB/3年

規模

電気事業での活用事例

■(ご紹介)九州電力殿の取組み(2009～)

スケールアウト可能な分散蓄積と分散処理可能な処理基盤高効率なバッチ開発フレームワーク

Hadoop＆AsakusaFW

分散バッチ開発標準としてAsakusa Frameworkを採用 Asakusa Frameworkの学習・教育含めても開発工数が1/2以下で高効率と評価

文書管理システムにおけるHadoop/Asakusa Frameworkの適用検証を実施 4億レコード(37GB)を対象とした処理検証で高速化可能なことを確認

商用RDMBS 1台 123時間 Hadoop 5台 21時間 45

４．１４ Asakusa Frameworkの活用事例(3)


株式会社日立ソリューションズ

オープンソース「超」入門

END

46

Documents

オープンソースカンファレンス 2013 Okinawa · オープンソース「超」入門 オープンソースカンファレンス 2013 Okinawa ... 7.再配 において追加ライセンスを必要としないこと

オープンソースカンファレンス 2013 Okinawa · オープンソース「超」入門オープンソースカンファレンス 2013 Okinawa ... 7.再配において追加ライセンスを必要としないこと