XebiCon'16 : Data Science & Craftsmanship : Je t'aime, moi non plus. Par Yoann Benoit et Sylvain Lequeux

@xebiconfr #xebiconfr

Data Science & Craftsmanship:

Je t’aime, moi non plus

SylvainLequeux

YoannBenoit


Raconte moi une histoire

2

0


Raconte moi une histoire

3

0


@YoannBENOIT

Yoann BenoitSylvain Lequeux

4

@slequeux


Deux mondes que tout sépare

1

5


Des formations différentes

6

1a


Des objectifs personnels différents

7

1b


Des équipes différentes

8

1c

Plusieurs équipesUn objectif commun : délivrer de la valeur


Des outils différents

9

1d


Choix du langage

10

1e

Popularité Data Scientists

Popularité Data Engineers

Disponibilité algos

Scalabilité algos

Outillage (IDE, Notebooks, Build)


Et le Craftsmanship dans tout ça ?

11

1f


Les contraintes du craftsmanship

2

12


Retour à l’essentiel

13

2a

https://essentials.xebia.com

@xebiconfr #xebiconfr 14

2b


Make it work, make it right, make it fast ...

15

2b


2c


… and integrate early

17

2c

Packager et intégrer le code dès que possible

● Au début, les fonctions fréquemment utilisées

● Puis toutes les phases○ Feature Engineering○ Modélisation○ ...


2d


Quels outils pour automatiser le build ?

19

2d

TOX MavenSBT


Quels outils pour construire en continu ?

20

2d


2e


Contraintes pour les tests

22

2e

Pas de changement sans test préalable

Les tests doivent être rapides


En résumé

23

2f


Comment résoudre ces contraintes en pratique ?

3

24


Du notebook au code packagé

25

3a

Notebook



26

3b

Notebook

CodeTemplate



27

3c

Notebook

CodeTemplate

Big FatMethod



28

3d

Notebook

CodeTemplate

IntegrationTest

Big FatMethod



29

3e

Notebook

CodeTemplate

IntegrationTest

UnitTests

Refactor

Big FatMethod



30

3f

Notebook

CodeTemplate

IntegrationTest

UnitTests

Refactor

Big FatMethod

Binary



31

3g

Notebook

CodeTemplate

IntegrationTest

UnitTests

Refactor

ImportPackage

Big FatMethod

Binary



32

3h

Notebook

CodeTemplate

IntegrationTest

UnitTests

Refactor

ImportPackage

Big FatMethod

Binary


Focus sur les tests

4

33


Quels outils ?

34

4a


Test du Feature Engineering

35

4b

Standard Scaling

Suppression des

doublons

Gestion des valeurs

manquantes

Gestion des dates ...

● Le Feature Engineering peut très souvent être décomposé en une suite de transformations élémentaires

● Chacune de ces transformations peut être testée indépendamment


Test de modèles de Machine Learning

36

4c

Features

Algorithmede Machine

Learning

● Le test de modèles est particulièrement compliqué○ L'entraînement de modèle implique d’inclure de l’aléatoire

● Rappel : on souhaite tester la performance du modèle sur un jeu de données, pas le comportement du modèle lui-même○ Vérifier que certaines catégories sont correctement prédites○ Définir un seuil minimal d'acceptation.

Modèle


Performances dans le temps

37

4d

● Votre modèle part en production ? Ce n’est pas encore la fin○ “You build it, you run it” + “You maintain it”

● Il est important de monitorer la performance du modèle dans le temps. Si on observe une baisse de performance :○ Réentrainement sur de nouvelles données○ Ajout de nouvelles features○ Changement complet de modèle


Agilité et Data Science

5

38


Scrum ?

39

5a

Scrum ? Nope !Ce n’est pas pour moi


Workflow typique de développement

40

5b

Ecriture de US

ImplémentationDémo

Déploiement prod Déploiement


Workflow typique de data science

41

5c

Exploration

Feature engineering

Modélisation

Validation / review


Comparons ces deux workflows

42

5d

~1 sprint

Exploration

Feature engineering

Modélisation

Validation

Spécification

ImplémentationValidation


Qu’en est-il de la phase d’exploration ?

43

5e

● Une phase d’exploration peut durer plusieurs sprints

● La sortie de cette phase est incertaine

● Mais l’exploration permet de définir les prochaines étapes et les User Stories associées


Nos essentials sur l’agilité dans la Data Science

44

5f

Inclure les résultats de la phase d’exploration dans

chaque sprint review



45

5f

Accepter l’incertitude



46

5f

Accepter l’imperfection



47

5f

Time boxer l’exploration



48

5f

Il n’y a pas que Scrum dans la vie #Kanban


Une question d’organisation

6

49


Organisation traditionnelle d’un projet

50

6a


Organisation recommandée pour un projet data

51

6b


Feature Team

52

6c


Inclure des devops dans l’équipe

53

6d


Pair Programming

54

6e


Take away

7

55


Les conseils fournis

56

7a

Tester votre code



57

7b

Tester votre code

Automatiser le build et déploiement au plus tôt



58

7c

Tester votre code


Utiliser du code packagé dans votre notebook



59

7d

Tester votre code



La Data Science peut fonctionner dans un environnement agile



60

7e

Tester votre code



La Data Science peut fonctionner dans un environnement agile

Travailler en Feature Teams


Merci !

61

Technology

XebiCon'16 : Data Science & Craftsmanship : Je t'aime, moi non plus. Par Yoann Benoit et Sylvain Lequeux