初めての

Am

azo

n M

ach

ine

Le

arn

ing

（機械学習）

20

16

/10

/01

JA

WS

-UG

白山中道

自己紹介

-n

km

c

•N

km

c（中道です）

•白山市の創屋株式会社勤務

•JA

WS

-UG北陸立ち上げのころから

AW

Sを

触る。仕事（システム開発）でも

AW

Sを使

うことが多いです。

•Fa

ceb

oo

k：やってます

今日の内容

•A

ma

zon

Ma

chin

e L

ea

rnin

g(A

ML)のざっくりした説明

•A

MLで金沢市の気象データをもとに

•明日雨が降るか

•明日の天気

•明日の平均気温

を予測するハンズオン

•機械学習についてちょっとだけ勉強

とっても参考になったサイト・情報源

•ナレコム

AW

Sレシピ

「A

ma

zon

Ma

chin

e L

ea

rnin

gを理解するために

3つの方法で天気予測

をしてみた」

htt

p:/

/re

cip

e.k

c-cl

ou

d.j

p/a

rch

ive

s/7

69

4

•A

WS今井さんのスライド

htt

p:/

/ww

w.s

lid

esh

are

.ne

t/im

aif

act

ory

/am

azo

n-m

ach

ine

-le

arn

ing

-4

74

00

14

7h

ttp

://m

ed

ia.a

ma

zon

we

bse

rvic

es.

com

/jp

/su

mm

it2

01

5/d

ocs

/De

v-

03

s-To

kyo

-Su

mm

it-2

01

5.p

df

機械学習ってなんだろう

•機械学習とは、データから反復的に学習し、そこに潜むパターンを見

つけ出すことです。

•そして学習した結果を新たなデータにあてはめることで、パターンに

したがって将来を予測することができます。

•これは予測分析におけるモデル構築の自動化につながり、データサ

イエンティストの人材不足を補うものになると、大きく期待されていま

す。

SA

Sより引用

htt

p:/

/ww

w.s

as.

com

/ja

_jp

/in

sig

hts

/an

aly

tics

/ma

chin

e-l

ea

rnin

g.h

tml

よく使われるものの例

•ページランク

•レコメンドエンジン

•S

PAMフィルター

•ユーザー行動嗜好分析

•ユーザー行動未来予測

Am

azo

n M

ach

ine

Le

arn

ingの特徴

•オンラインショッピングの「

Am

azo

n」で実績のある機能

•データサイエンティスト「ではない」人向けのサービス

•使えるアルゴリズムは３種類

•A

WSマネージドなサービス

•アプリケーション、

AW

Sサービスとの親和性

•バッチ予測でまとまったデータを処理できる

•リアルタイム予測でオンデマンドにデータを処理できる

Am

azo

n M

ach

ine

Le

arn

ingの料金

•料金は使用用途で

3種類に分かれる

•データ分析／モデルトレーニング／評価時

•バッチ予測実行時

•リアルタイム予測実行時

•データ分析、モデルトレーニングおよび評価の時の料金

•コンピューティング時間数に基づく（入力データ、データ量、アルゴリズムなど

で変わる）

•0

.42

US

D/時

•バッチ予測、リアルタイム予測についてはこちら

htt

ps:

//a

ws.

am

azo

n.c

om

/jp

/ma

chin

e-l

ea

rnin

g/p

rici

ng

/

AM

Lで使える予測モデルとアルゴリズム

•二項分類（

Bin

ary

Cla

ssif

ica

tio

n）：ロジスティック回帰

•多クラス分類（

Mu

lti

Cla

ssif

ica

tio

n）：多項式ロジスティック回帰

•回帰分析（

Re

gre

ssio

n）：線形回帰

各アルゴリズムの概要

•二項分類（

Bin

ary

Cla

ssif

ica

tio

n）：ロジスティック回帰

•対象が特定の属性を持つかで、

2種類のグループに分類する

•商品を購入するか・しないか

•メールのスパム判定

•今日のハンズオンでは

•明日雨が降るか・降らないかを予測する

各アルゴリズムの概要

•多クラス分類（

Mu

lti

Cla

ssif

ica

tio

n）：多項式ロジスティック回帰

•対象が属するグループに分類する

•商品は衣類、食料品、文房具のどれか？

•今日のハンズオンでは

•明日の昼間の天気を予測する

各アルゴリズムの概要

•回帰分析（

Re

gre

ssio

n）：線形回帰

•＊＊＊

•特定商品の今月の売り上げを予測する

•今日のハンズオンでは

•明日の平均気温を予測する

ハンズオン

気象庁のサイトから気象データをダウンロー

ドする

•h

ttp

://w

ww

.da

ta.j

ma

.go

.jp

/gm

d/r

isk

/ob

sdl/

ind

ex.

ph

p

予め用意しておきました

•ダウンロード、加工に時間がかかるので用意したものがこちら

htt

ps:

//s3

-ap

-no

rth

ea

st-

1.a

ma

zon

aw

s.co

m/p

ub

lic.

nk

mc/

jaw

sug

_h

aku

san

_h

an

dso

n_

20

16

10

01

.zi

p

•上記は加工済みですが、自分で用意する場合はファイルの加工が

必要です。

•文字コードを

UT

F8

-Nにする

•改行コードを

LFにする

•不要な行、不要列を削除する

天気の概要の置換

•A

MLの初期設定では分類は

10

0種類までなので、削ります

•*

「、」以降を削除（雷あられを伴う等）

•快晴

→晴

•薄曇

→曇

•霧雨、大雨、暴風雨

→雨

•あられ、みぞれ、大雪

→雪

•一時

→時々、後時々

→後

•雨後雨、雨時々雨

→雨

•雪後雪、雪時々雪

→雪

データ分析・トレーニングの待ち時間と料金

•B

ina

ry C

lass

ific

ati

on

1

8m

in•

Da

taS

ou

ce5

min

(4+

4+

5=

13

min

)

•M

L m

od

el 2

min

•E

valu

ati

on

3m

in

•M

ult

i C

lass

ific

ati

on

17

min

•D

ata

So

urc

e4

min

(4

+4

+4

=1

2m

in)

•M

L m

od

el 2

min

•E

valu

ati

on

3m

in

•Li

ne

Re

gre

ssio

n 1

8m

in•

Da

taS

ou

rce

4m

in (

4+

4+

4=

12

min

)

•M

L m

od

el 2

min

•E

valu

ati

on

4m

in

さらに使いこなすために

•レシピの変更

htt

p:/

/de

v.cl

ass

me

tho

d.j

p/c

lou

d/a

ws/

am

l-re

cip

e/

•リアルタイム処理

•バッチ処理

•A

WSの他サービスとの連携

時間が余った人は

•データをカスタマイズしてみましょう