Index
1. 自己紹介2. チームについての紹介3. 今回のテーマ4. 何故このテーマに至ったのか?5. 課題に対しての仮説6. システム構成7. 取り組んだこと、得られたこと8. 今後やっていきたいこと
2
自己紹介
3
名前: 大岩 傑(おおいわ すぐる)
経歴: 2015 年 1 月、リクルートライフスタイルに入社後、リーンスタイルでの UX 改善の A/B テストの企画や BIgdata 、リアルタイムデータ基盤の企画およびその活用を現在担当。 Google アナリティクス認定資格( GAIQ )保持。
前職は大手 Web 企業にて、海外向けサービスプラットフォームの受注・配送管理システムのリーダーや、シンガポール展開におけるテクニカルリードを担当。その他公営競技システムの設計、開発、ディレクション業務などを担当。
趣味: 料理、投資、旅行、サイト作り RoR とか PHP とか
特記事項: 最近は中国語の勉強しています。初次见面!
4
A/B テストを軸として、大規模サイトの改善を、課題発見→仮説立案→検証 (AB テスト )→ 評価までを担当しています
事例につい詳しくはテックブログを参照ください http://engineer.recruit-lifestyle.co.jp/techblog/
リーン開発チームとは? 仕事の中身編
5
案件種別
サービス A の案件数
リファクタ本番リリースリファクタ等
A/B テスト
サービス規模に応じて、小規模な改善チームを作り、年間合計で 500 件以上のサイト改善を行っています
リーン開発チームとは? サービス規模編
リーン開発チームの基本的なワークフロー
• 1
6
各画面ごとに A/B テスト案件を週次でリリースA/B テストの結果をもとに更なる打ち手を検討し PDCA サイクルを廻す
企画分析 バックログの優先順位付け A/Bテスト実施 結果の振り返り次の打ちて検討
PDCA
Jira や Confluence ベースの業務について
Jira/Confluenceの対応 詳細タスク管理 ◯チケットの見える化 △ 用意されているダッシュ
ボードのアドオンの限界チケットの詳細分析 ☓ 分析用ツールは用意され
ていない。 Jiraの filterなど
複数画面同時テストのスケジューリング
△ 画面ごとの案件管理が難しい。バーンダウンの限界
(C) Recruit □□□□□□□□ Co.,Ltd. All rights reserved. 7
A/B テストチーム用に最適化されていないのは前提だが、タスク管理を超えて、案件の分析や見える化については不足感あり
今回は Atlassian関係者もいらっしゃるということで、この部分についての課題感の共有と、現行の対策について話します※将来的に jiraサービスもしくは、公式無料アドオンに組み込まれることを希望
今回のテーマ
8
Jira のデータを可視化して、プロダクトやチーム改善につなげる事例の紹介
※今回はたまたま、 NW的に社内で扱いやすくなっているプロダクトを使ったのみで それぞれはフリーソフトでもある程度できると思います。
Jira 運用における課題感まとめ
① 案件運用に対する課題② 案件の見える化についての課題③ 振り返りについての課題
(C) Recruit □□□□□□□□ Co.,Ltd. All rights reserved. 9
何故このテーマに至ったか?①案件運用についての課題
10
週次リリースを複数サービス、複数画面で行うとスケジュール管理や運用がかなり大変
・ Jira の WBS ガントチャートはデータ件数に制約あり・ダッシュボード運用は、案件ごとの依存表が 見えづらい ⇒コンフルのテーブルでスケジュール管理している ところもある。
何故このテーマに至ったか?②案件の見える化についての課題
11
セグメントごと集計で JQL フィルタがどんどん増えていく。。
⇒ダッシュボードの限界
⇒期間集計など、ガジェットの限界。 基本プリセットのガジェット以上のことはできない。
⇒JQL のお気に入りフィルタが どんどん増えていってしまう
何故このテーマに至ったか?③振り返りについての課題
12
Jira のデータの振り返り用に CSV をエクスポートは可能。但しピボットや気合の if文地獄。 API もあるが実装が必
要。
・ダッシュボードの限界。二次元フィルタが限界なので、 CSV と戦う必要あり・エクスポートしたエクセルが実は HTML で保存されていて、凝った関数 を作った挙句、開いたら関数がすべて吹っ飛んでしまった。。・サービスごとに、 fixversion の定義が微妙に違ったりしていて、横並びの 比較がかなりしんどい。。
これまでの課題に対して行ったこと
13
エクスポートした CSV のエクセル集計という負に対して集計や見える化に強い Tableau を試してみた
⇒実際エクセル集計で 数時間かかったことが、 5 分くらいで済ませることできた。・実際やったことや、 CSV の出力、 tableau に読み込ませて集計。
出てきた課題 常に変化していく Jira のデータの更新を取り込めない
15
毎回 CSVエクスポートするというのは手間がかかる⇒自動化できないか?
⇒Analytics チームに相談したら、ライトにできますよとのこと。・ tableau で繋げられるデータストア先に特定の JQL で更新していく
Analytics T 岡田氏
自動化したいです
カラム教えてください
対象カラムです
できました。
この間、 1-2 週間くらい
システム構成について
16
1.必要な JQL をプロジェクトごとに定義。2、 Jira の更新時間を見て、定期的に redshift に upsert
マスターデータCSV
バッチサーバJQL 発行
RedShift にupsert
ストアしたデータをタブローから参照。必要なマスターは別途作って結合
取り組んだこと、得られたこと (目標と実績の進捗について )
17
期ごとの目標を月や週に割って進捗を見える化することで、
予実をわかりやすくし、案件の方向性などの分析に活用サービス毎に、今どういう状況かを見える化することで、期末のバタバタ感が減り、予実に対しての方針検討がしやすくなる。
取り組んだこと、得られたこと 勝った案件の横展開
18
成功事例と貢献度合い、合計時間数の対応表などサービス横断で見ることができるようになった。
A/B テストで勝った案件のうち、規模が小さくて効果が高いものを視覚化。横展開可能に
取り組んだこと、得られたこと 画面毎の案件管理をスムーズに
19
画面ごとのテスト期間とリリース日をいれることで、テスト画面、スケジュールの見える化が可能
デバイス、画面ごとにテスト期間とリリース時期をいれることで、テストの画面被りなどを視覚化して把握する。
Jira の集計や見える化が高速で、かつ自動で行えるようになった
Jira/Confluenceの対応 詳細タスク管理 ◯チケットの見える化 △⇒◯ 用意されているダッシュ
ボードのアドオンの限界チケットの詳細分析 ☓⇒◯ 分析用ツールは用意され
ていない。 Jiraの filterなど
複数画面同時テストのスケジューリング
△⇒◯ 画面ごとの案件管理が難しい。バーンダウンの限界
(C) Recruit □□□□□□□□ Co.,Ltd. All rights reserved. 21
元々の課題は解消はされたが、Jira側で今回の機能が提供されることを切に希望します。
伝えたいこと
• 定量的なデータは Jira に残していこう
そうすることで
• Jira のデータは「宝の山」になっていく タスク管理チケットが未来の糧に! 深い分析や、予測、異常検知にも応用できる データ・ドリブンなチームに!
(C) Recruit Life Style Co.,Ltd. All rights reserved. 22
今後行いたいこと
23
① 案件結果の分析、見える化を行い施策展開のネタにする• 過去データをもとに ROI が高い案件は何か?• どのサービスのどの案件が投資効率がよかったか?• 施策展開もデータドリブンに• チームを超えて、ノウハウや進捗の横展開
② 必要なデータは適宜レポート、ダッシュボード化• 誰もがすぐに見えるように• 全員がライセンス持っているわけではないため
⇒実は Tableau reader(無料 ) 配布はフィジビリ中 ③ 分析データとコンフルの連携の簡易化
• Hipchat/hubot連携など 目標と実績の乖離など
応用編 : 溜まったデータをサービス開発に活かしていく
24
① Jira で管理している QA の打ち上げバグの集計、分析 ⇒どの画面でどのタイプのバグが出ているか? どのくらいの対応時間がかかっているか?
② 各サブタスクの見積もりと実績の予実を可視化⇒Jira にデータを保持していくことで見えなかったデータを見える化し見える化、分析、そして改善につなげられる