Lean Analytics, version française—from Web A Québec 2014

Lean AnalyticsUtiliser les données pour créer un meilleur startup

plus rapidement.

Web à QuébecMars 2014

@acroll

Bonjour/hi!

0 5 10 15

1

4

0

1

0

1

14

4

1

13

7

0

0

2Petite entreprise en démarrage sans financementSmall, unfunded startup

Compagnie en premier développement ("early-stage") avec capital d'amorçageEarly-stage company with seed funding

Compagnie en croissance, avec financement, sans revenusrowing, funded, pre-revenue company

Entreprise en démarrage avec revenus et clientsCompagnie privée, mais pas en démarrage

Compagnie publiquePublic company

Éducation (peu importe le niveau)Education (school, university)

Gouvernement et agences (Ministères et organismes)Organisation à but non lucratif ou non gouvernementale

Nonprofit or NGO

Journaliste/média d'information/blogueurReporter, news media, blogger

Analyste ou chercheurAnalyst or researcher

Investisseur, capital de risque ou financement providentiel (Angel funding)Investor, VC, or angel

ÉtudiantStudent

AutreOther

Ne vendez pas ce que vous faites.Faites ce que vous pouvez vendre.

Kevin Costner est un entrepreneur minable.

Au cœur duLean est l’itération.

On raconte tousde beaux mensonges.

La plupart des startup ne savent pas ce qu'ils vont être quand ils grandissent.

Hotmailwas a database company

Flickrwas going to be an MMO

Twitterwas a podcasting company

Autodeskmade desktop automation

Paypalfirst built for Palmpilots

Freshbookswas invoicing for a web design firm

Wikipediawas to be written by experts only

Mitelwas a lawnmower company

Son propre idée est toujours la meilleure—oui?

On adore créer des choses

C'est là que tout s'écroule.

Pas de données, pas d’apprentissage.

L’analytique à la rescousse!

Analytics is the measurement of movement towards your business

goals.

L’analytique, c’est la mesure du mouvement vers vos objectifs.

In a startup, the purpose of analytics is to iterate to product/market fit before the

money runs out.

Dans un startup, le but de l’analyse est d'itérer au produit / marché

soutenable pendant qu’il vous reste de l’argent.

J’ai deux enfants.Au moins une d’eux est une fille.

Quelle est la chanceque l’autre soit un garçon?

GG GF

FG FF

2 de 3 (66%) sont des garçons.

FG FF GF

Quelques leçons fondamentales.

Un bon indicateur est...

Comprenable

If you’re busy explaining the data, you won’t be busy acting on it.

Comparable

Comparison is context.

Un taux ou une fréquence

The only way to measure change and roll up the tension between two metrics (MPH)

Change votre comportement

If it won’t change your behavior it is a bad metric.

La règle la plus simple.

mauvaise métrique.

Si elle ne change pas votre comportement, c’est une

h"p://www.flickr.com/photos/circasassy/7858155676/

Qualitatif

Unstructured, anecdotal, revealing, hard to aggregate, often too positive & reassuring.

Chaud et imprécis.

Quantitatif

Numbers and stats. Hard facts, less insight, easier to analyze; often sour and disappointing.

Froid et dur.

Explorateur

Speculative. Tries to find unexpected or interesting insights. Source of unfair advantages.

Capitvant.

Déclarante

Predictable. Keeps you abreast of the normal, day-to-day operations. Can be managed by exception.

Nécessaire.

MaiAvrilMarFev

Trancher les données

Jan

0

5,000

Usag

ers a

ctifs

Cohorte:Comparison of similar groups along a timeline.(this is the April cohort)

Test A/BChanging one thing (i.e. color) and measuring the result (i.e. revenue.)

Analyse multivariéeChanging several things at once to see which correlates with a result.

☀☁☀☁

Segment:Cross-sectional

comparison of all people divided by

some attribute (age, gender, etc.)

☀

☁

Lequel de ces deux sociétés a plus de succes?

  Janvier Février Mars Avril Mai

Rev/usager $5.00 $4.50 $4.33 $4.25 $4.50Cette entreprise agrandit-il?

Cohort 1 2 3 4 5

Janvier

Février

Mars

Avril

Mai

$5 $3 $2 $1 $0.5

$6 $4 $2 $1

$7 $6 $5

  $8 $7

      $9

Et celcui-çi?

Cohorte 1 2 3 4 5

Janvier

Février

Mars

Avril

Mai

Moyens

$5 $3 $2 $1 $0.5

$6 $4 $2 $1  

$7 $6 $5    

$8 $7      

$9        

$7 $5 $3 $1 $0.5

Les mêmes données vus par

cohorte

De retard

Historical. Shows you how you’re doing; reports the news. Example: sales.

Explique le passé.

D’en tête

Forward-looking. Number today that predicts tomorrow; reports the news. Example: pipeline.

Predit la futur.

A Facebook user reaching 7 friends within 10 days of signing up (Chamath Palihapitiya)

If someone comes back to Zynga a day after signing up for a game, they’ll probably become an engaged, paying user (Nabeel Hyatt)

A Dropbox user who puts at least one file in one folder on one device (ChenLi Wang)

Twitter user following a certain number of people, and a certain percentage of those people following the user back (Josh Elman)

A LinkedIn user getting to X connections in Y days (Elliot Schmukler)

Quelques examples

(From the 2012 Growth Hacking conference. http://growthhackersconference.com/)

Donc, il fautparler de corrélation.

1

10

100

1000

10000

Ice cream consumption DrowningsJan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec

Corrélée

Two variables that are related (but may be dependent on something else.)

La crème glacéeet la noyade.

Causée

An independent variable that directly impacts a dependent one.

L’étéet la noyade.

Un métrique d’en tête, causale, est une surpuissance.

h"p://www.flickr.com/photos/bloke_with_camera/401812833/sizes/o/in/photostream/

Hacker la croissance, démystifier

Trouvez la correlation

Verifiez la causalité

Optimiser l’élement causal

Choisissez la métrique à changer

Est-ce qu’une action sociale (Like, RT, upvote) predis un don?

http

://bl

og.ju

stgi

ving.

com

/nine

-reas

ons-

why

-soc

ial-a

nd-m

obile

-are

-the-

futu

re-o

f-fun

drais

ing/

L’usage mobile le predit-il?ht

tp://

blog

.just

givin

g.co

m/n

ine-re

ason

s-w

hy-s

ocial

-and

-mob

ile-a

re-th

e-fu

ture

-of-f

undr

aising

/

Pourquoi le spam Nigérianest si mal écrit?

Aunshul Rege of Rutgers University, USA in 2009

Experienced scammers expect a “strike rate” of 1 or 2 replies per 1,000 messages emailed; they expect to land 2 or 3 “Mugu” (fools) each week.One scammer boasted “When you get a reply it’s 70% sure you’ll get the money”“By sending an email that repels all but the most gullible,” says [Microsoft Researcher Corman] Herley, “the scammer gets the most promising marks to self-select, and tilts the true to false positive ratio in his favor.”

1000 courriels

1-2 réponses

1 imbécile et son argent, bientôt séparés

Mal-écrit (0.1% conversion)

Usagers crédules (70% conversion)

1000 courriels

100 réponses

1 imbécile et son argent, bientôt séparés

Bien écrit (10% conversion)

Usagers incrédules (.07% conversion)

Ce serait terriblement inefficace puisque ça

prendrait des humains.

Le mot “Nigeria” est la meilleure façon d'identifier des usagers crédules et

prometteuses.

Les spammeurs nigérians comprennent vraiment leur marché.

Ils se méfient des metriques de vanité.

Le système Lean Analytics.

Les trois moteurs de croissanced’Eric Ries

Viralité

Que les gens invittent leurs amis.

Combien ils disent, à quelle vitesse ils leur

disent.

Prix

Que les visiteurs dépensent de

l’argent.

Les clients valent plus qu’ils coûtent.

Fidélisation

Que les gens reviennent.

Approche

Obtenir des clients plus vite

que vous les perdez.

Math

Les mesures de pirates de Dave

AcquisitionHow do your users become aware of you?

SEO, SEM, widgets, email, PR, campaigns, blogs ...

ActivationDo drive-by visitors subscribe, use, etc?

Features, design, tone, compensation, affirmation ...

RétentionDoes a one-time user become engaged?

Notifications, alerts, reminders, emails, updates...

RevenuDo you make money from user activity?

Transactions, clicks, subscriptions, DLC, analytics...

RenvoiDo users promote your product?

Email, widgets, campaigns, likes, RTs, affiliates...

Étape

EMPATHIE J'ai trouvé un besoin réel et non-comblé d’un marché atteignable.

FIDÉLITÉ J'ai compris comment résoudre le problème d'une manière qu’ils continueront d’utiliser et de payer.

VIRALITÉ Je peut les convaincre de promouvoir mon produit ou service a leurs amis.

REVENU La croissance de revenu me permet d’agrandir organiquement et artificiellement.

ÉCHELLE J'ai trouvé un modèle d’entreprise durable avec de bonnes marges dans un écosystème sain.

Barrière à franchirLe

s cin

q ét

apes

Six modèles de business

E-commerce SaaS MediasLogicielmobile

Contenu généré par

usagersMarché biface

Votre entreprise

Customer Acquisition Cost

paid direct search wom inherent virality

VISITOR

Freemium/trial offer

Enrollment

User

Disengaged User

Cancel

Freemium churn

Engaged User

Free user disengagement

Reactivate

Cancel

Trial abandonment rate

Invite Others

Paying Customer

Reactivationrate

Paid conversion

FORMER USERS

User Lifetime Value

Reactivate

FORMER CUSTOMERS

Customer Lifetime Value

Viral coefficientViral rate

Resolution

Support data

Account Cancelled Billing Info Exp.

Paid Churn Rate

Tiering

Capacity Limit

Upselling rate Upselling

Disengaged DissatisfiedTrial Over

Modèle + Étape = La métrique dominante

Métriquedominante

Votre modèle

E-Com SaaS Mobile Biface Media CGUEmpathie

Fidélité

Viralité

Revenu

Échelle

Votre

éta

pe

Vraiment? Juste une?

Oui, une.

Dans un startup,c’est difficile de focuser.

Avoir une seule métrique aborde ce problème.

www.theeastsiderla.com

Les métriques,c’est des “squeeze toys.”

http://www.flickr.com/photos/connortarter/4791605202/

Empathy

Stickiness

Virality

Revenue

Scale

E-commerce SaaS MediaMobile

appUser-gencontent

2-sidedmarket

Interviews; qualitative results; quantitative scoring; surveys

Loyalty, conversion

CAC, shares, reactivation

Transaction, CLV

Affiliates, white-label

Engagement, churn

Inherent virality, CAC

Upselling, CAC, CLV

API, magic #, mktplace

Content, spam

Invites, sharing

Ads, donations

Analytics, user data

Inventory, listings

SEM, sharing

Transactions, commission

Other verticals

(Money from transactions)

Downloads, churn, virality

WoM, app ratings, CAC

CLV, ARPDAU

Spinoffs, publishers

(Money from active users)

Traffic, visits, returns

Content virality, SEM

CPE, affiliate %, eyeballs

Syndication, licenses

(Money from ad clicks)

Mieux: bit.ly/BigLeanTable

Dessiner une ligne à franchir.

Une entreprise perd le quart de ses clients chaque année.

Est-ce bon, ou mauvais?

Ne sachant pas le “normal”vous fait faire des conneries.

Ligne de base: 5-7% croissance/semaine

“A good growth rate during YC is 5-7% a week,” he says. “If you can hit 10% a week you're doing exceptionally well. If you can only manage 1%, it's a sign you haven't yet figured out what you're doing.” At revenue stage, measure growth in revenue. Before that, measure growth in active users.

Paul Graham, Y Combinator

• Are there enough people who really care enough to sustain a 5% growth rate?

• Don’t strive for a 5% growth at the expense of really understanding your customers and building a meaningful solution

• Once you’re a pre-revenue startup at or near product/market fit, you should have 5% growth of active users each week

• Once you’re generating revenues, they should grow at 5% a week

Ligne de base: 10% visiteurs engagées/jour

Fred Wilson’s social ratios

30% d’usagers par mois l’utilisent

10% d’usagers par jour l’utilisent

1% d’usagers l’utilisent en même temps

Ligne de base: 2-5% désabonnement par mois• The best SaaS get 1.5% - 3% a month. They have multiple Ph.D’s

on the job.• Get below a 5% monthly churn rate before you know you’ve got a

business that’s ready to grow (Mark MacLeod) and around 2% before you really step on the gas (David Skok)

• Last-ditch appeals and reactivation can have a big impact. Facebook’s “don’t leave” reduces attrition by 7%.

Ligne de base:: Coût d’acquisition < 1/3 le valeur de l’usager• CLV is wrong. CAC Is probably wrong, too.• Time kills all plans: It’ll take a long time to find

out whether your churn and revenue projections are right

• Cashflow: You’re basically “loaning” the customer money between acquisition and CLV.

• It keeps you honest: Limiting yourself to a CAC of only a third of your CLV will forces you to verify costs sooner.

Vie de 20 mois$30/mois par

usagerL’usager vaut $600

$200 coûtd’acquisition

Dépense de 1/3

Ligne de base: 35% d’usagers mobiles engagées par la 90e journéeJour 1

100%

Jour 30

54%

Jour 60

43%

Jour 90

35%

October, 2012 study of 200,000 apps by Flurry

Smartphone TabletUsages par semaine 12.9 fois 9.5 fois

Durée d’usage 4.1 minutes 8.2 minutes

In recent years, third-month engagement has increased from 25% to 35%, but frequency of use has dropped from 6.7 uses a week to 3.7 a week.

Ça varie beaucoup.

Le cycle Lean Analytics

Changer la lignePivoter ou

abandonner

Essayer de nouveau

Grand succes!

Avons-nous franchis la ligne?

Regarder les résultats

Faire des changements en

production

Concevoir un test

Creer une hypothèse

Avec des données: trouver un point

commun

Sans données: faire une

conjecture

Trouver une amélioration

possible

Etablir la ligne de base

Choisir une métrique

Les hôtes Airbnb obtiennent-ils plus de locations si leur proprietées présentent des photos professionnelles?

HypothèseLa photographie professionnelle aide AirBnB

Produit minimum (MVP)20 photographes se faisant passer pour les employés

Mesurer les résultatsComparez les annonces photographiés professionellement aux autres

Decider d’agirLancer la photographie professionelle pour tous les hôtes

5,000 proprietés/mois en février 2012

Wô les moteurs!

HypothèseLa photographie professionnelle aide AirBnB

Vraiment?

Changer la lignePivoter ou

abandonner

Essayer de nouveau

Grand succes!

Avons-nous franchis la ligne?

Regarder les résultats

Faites des changements en

production

Concevoir un test

Creer une hypothèse

Avec des données: trouver un point

commun

Sans données: faire une

conjecture

Trouver une amélioration

possible

Etablir la ligne de base

Choisir une métrique

“Hé, les maisons qui se louent bien ont de

belles photos”

C'est peut-être l'appareil photo.

"Ordinateur: Qu'est-ce que

toutes les maisons très loués ont en

commun?"

L'appareil photo.

Avec des données: trouver un point commun

Sans données: faire une conjecture

Circle of Moms: Engagement insuffisant• Too few people were

actually using the product

• Less than 20% of any circles had any activity after their initial creation

• A few million monthly uniques from 10M registered users, but no sustained traction

• They found moms were far more engaged• Their messages to one another were on average 50% longer• They were 115% more likely to attach a picture to a post they wrote• They were 110% more likely to engage in a threaded (i.e. deep)

conversation• Circle owners’ friends were 50% more likely to engage with the circle• They were 75% more likely to click on Facebook notifications• They were 180% more likely to click on Facebook news feed items• They were 60% more likely to accept invitations to the app

• Pivoted to the new market, including a name change• By late 2009, 4.5M users and strong engagement• Sold to Sugar, inc. in early 2012

Landing page design A/B testing

Cohort analysis General analytics

URL shortening

Funnel analytics

Influencer Marketing

Publisher analytics

SaaS analytics

Gaming analytics

User interaction Customer satisfaction KPI dashboardsUser segmentation

User analytics Spying on users

C’est plus difficilequand vous êtes grand.

Comme startup, votre objectif est de découvrir un modèle d'affaires

durable et reproductible.

Quand vous êtes une grande organisation, votre but est de la

perpétuer.

VOUS AVEZ TOUT À PERDRE

De plus, c'est pas populaire.

VOUS ÊTES ICI

VOUS ÊTES ICI

MAXIMUMLOCALEOPTIMISATION

DES MESURES ACTUELS

VOUS ÊTES ICI

MAXIMUMGLOBALE

L'INNOVATIONAVEC DE

NOUVELLES RÈGLES

VOUS ÊTES ICI

PERSONNE N'AIMEDESCENDRE

ALORS, COMMENT

GAGNER FIXER GOUVERNER PROSPÉRER INNOVER? AMÉLIORER PERTURBER CROÎTRE SURVIVRE

http://www.flickr.com/photos/puuikibeach/4789015423 http://www.flickr.com/photos/elcapitanbsc/3936927326

Coût des essais: fuyant Coût d’attention: propulsant

QUE FONT LES GRANDES ORGANISATIONS POUR BIEN

INNOVER?

GET UNCOMFORTABLY CLOSE

RAPPROCHEZ-VOUS INCONFORTABLEMENT

“DES ÉTUDES DES HOMMES MONTRENT QUE 1 SUR 8 ONT UN PROBLÈME

D'INCONTINENCE; LES FEMMES, 1 SUR 3.MAIS MES STATISTIQUES COTÉ SERVEUR

MONTRENT UN NOMBRE IMPORTANT D'HOMMES* QUI ME DONNE À PENSER

QUE LE MARCHÉ MASCULIN EST TOTALEMENT SOUS-SERVI”

*(OR IT COULD BE MEN LOOKING ON BEHALF OF WOMEN)

REFRAME THE PROBLEM

RECADRER LA PROBLÈME

POUR CHAQUE TRANCHE DE 100 $, METLIFE RÉINVESTIT 66 $ DANS DE NOUVEAUX PROJETS.

FOR EVERY $100 THEY CUT, METLIFE REINVESTS $66 IN NEW PROJECTS.

EVERYTHING IS A STUDY FIRST

TOUT COMMENCE COMME UNE ÉTUDE

ENCADRER LE PROJET COMME UN EXERCICE

D'APPRENTISSAGE; LA CRÉATION DE

PRODUITS EST PRESQU’UN

ACCIDENT.

http://www.flickr.com/photos/creative_tools/8544475139

USE DATA TO MAKE PEOPLE WANT DATA

UTILISER LES DONNÉES POUR QUE LES GENS EN VEULENT

DÉMARRER VOS PROPRES

PROJETS.

BUILD EXPERIMENTS INTO EVERYTHING

http://www.flickr.com/photos/mpeterke/3546334679/

TOUT EST UN ESSAI

DE NOMBREUX MOYENS DE RECUEILLIR

DES DONNÉES

GET ON THE SHELF

PLAN THE BABY STEPS

CIBLEZ LES PREMIERS PAS

Netflix

Tesla

http://www.hdwallpapersinn.com/wp-content/uploads/2012/12/600-tesla.jpg

La limite de 140 caractères de Twitter n'est pas arbitraire.Il est limité par SMS (160

caractères) et le nom d'utilisateur (20

caractères.)http://i.i.cbsi.com/cnwk.1d/i/tim/2011/11/18/

sms_screen_twitter_activity_stream_270x405.png

UNDERSTAND CONSTRAINTS

COMPRENEZ LES CONTRAINTES

EMBRACE THE HARSH LIGHT OF DATA

EMBRASSEZ L’ÉCLAIRAGEPUISSANT DES DONNÉES

Arbitron, données, et pourquoi la musique de radio est tellement moche.

0

15

30

2007 2012

Nombres de fois qu’une chanson en “répétition fréquente” est joué chaque jour

Chaque 4h

Chaque 55m

USE PROXY DATA (JUST BE CAREFUL)

UTILISEZ LES DONNÉES DES ALENTOURS(MAIS SOYEZ PRUDENTS)

D’après les données, Oakland Hills est un foyer de criminalité.

http://www.flickr.com/photos/oaklandlocal/6060462047

BE SUBVERSIVE

SOYEZ SUBVERSIF

http://www.flickr.com/photos/bootbearwdc/1243690099/

Conclusions.

“A subjective degree of belief should rationally change to account for evidence.”

(AKA Bayes’ Theorem.)

“Une croyance subjective doit être modifiée rationnellement pour tenir compte des

nouvelles preuves.”

Pic by Twodolla on Flickr. http://www.flickr.com/photos/twodolla/3168857844

ARCHIMEDES SE BAIGNAIT AUPARAVANT

Autrefois, le leader persuadait les autres d’agir quand les données manquaient.

Once, a leader convinced others to act in the absence of information.

Aujourd’hui, le leader c’est celui qui sait quelles questions poser.

Today, the leader is the person who knows what questions to ask.

Alistair Crollacroll@gmail.com@acroll

Ben Yoskovitzbyosko@gmail.com@byosko