37
Et si vous disposiez d'une relecture automatisée de vos exigences ? Comme pour un code source imaginez les sommes économisées, ainsi que le temps ! Prometil et ses partenaires vous font bénéficier d'un saut technologique dans le domaines des techniques de Traitement Automatique du Langage appliquées à la relecture de documents. C’est for requirements SARL Prometil - www.prometil.com 42 av du Général de Croutte 31100 TOULOUSE

[Prometil] Lelie for requirements

Embed Size (px)

Citation preview

Page 1: [Prometil] Lelie for requirements

Et si vous disposiez d'une relecture automatisée de vos exigences ? Comme pour un code source imaginez les sommes économisées, ainsi que le temps ! Prometil et ses partenaires vous font bénéficier d'un saut technologique dans le domaines des techniques de Traitement Automatique du Langage appliquées à la relecture de documents.

C’est

for requirements

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Page 2: [Prometil] Lelie for requirements

Introduction

2SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Stratégie entreprise

Présenter le contexte des textes

d’exigences

Illustrer les problématiques de la rédaction d’exigences

Décrire les bases théoriques de

notre outil

2

Page 3: [Prometil] Lelie for requirements

Qu’est ce qu’un texte d’exigences?

Les textes d'exigences sont fréquemment utilisés dans les industries (aéronautique, transports, télécoms ...).

Ils servent à écrire les modalités d'application des spécifications d'un produit, d'un service, ou d'une procédure

“Le diamètre de la roue doit être de 25 cm exactement.”

“The recommended frequency range for aluminum alloys is 100-500.”

3SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 3

Page 4: [Prometil] Lelie for requirements

Coûts liés au manque de “qualité” des exigences

Des projets en difficulté le sont suite à des erreurs liées à l’ingénierie des exigences [1]

Un peu plus en détails … quels types de problèmes ?

Difficultés de compréhension et exigences non déclarées (implicites) [2]

Tout ne mène pas à l’échec mais toutes ces erreurs génèrent des gaspillages

4

Sources : [1] Chaos report, [2] Lauesena & Vinterb

50% =>

70% =>

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 4

Page 5: [Prometil] Lelie for requirements

Bonnes pratiques et mauvaises habitudes

Les bonnes pratiques d’expression en langage naturel sont documentées…

Qualités de l’exigence en langage naturel ([IEEE Std. 830-1998] )• Unambiguous• Understandable• Complete, Consistent, Verifiable, Modifiable…

Modèles rédactionnels ou « boilerplates »• The <SYSTEM> shall <CAPABILITY>, <CONDITION>• Un sujet, une seule capacité par exigence, voie active…

Définir un glossaire des termes métiers• Exemple : « Editer », « Cellule » qui sont très génériques

5SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 5

Page 6: [Prometil] Lelie for requirements

Exemples et contre-exemples

L’application sera conviviale

Un rapport d’activité sera imprimé chaque soir

The system shall be able to display the elapsed time for the car and shall make one circuit around the track within 5 seconds of the lap completion.

The client can smoke in the training room during the training sessions

When the user wants to stop the movie, he presses the “STOP” key, then the local client sends in the “STP_READ” signal to the server. Of course, if the movie was playing. Note : we must revise this requirement ?

6

Non mesurable

Incomplète / voix passive

ambiguë (qui déclenche ?)

Peu maintenable car double exigence

Non ambiguë mais

… incorrecte

La réalité du terrain !

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 6

Page 7: [Prometil] Lelie for requirements

Bonnes pratiques de rédaction : Lisibilité

Phrases courtes, homogènes …

7

“The car shall be driven closed when the following condition is detected by the GBFA:

1. The air conditioning system is selected ON by the crew

2. The CSOVs are commanded closed

3. Car overheat

4. Total loss of control of the car

Une énumération doit présenter une homogénéité syntaxique et sémantique

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 7

Page 8: [Prometil] Lelie for requirements

Ces bonnes pratiques, même si elles sont connues peuvent être difficiles à appliquer– Personnel non informé, turnover, sous traitance …– Pression planning, temps limité pour la revue– Réutilisation d’un capital documentaire – Erreurs et oublis

D’où la pertinence d’un outillage permettant de– Formaliser les bonnes pratiques dans le projet ou

l’entreprise– “Rappeler pédagogiquement” les règles pendant la

rédaction

…Mauvaises habitudes

8SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 8

Page 9: [Prometil] Lelie for requirements

ANALYSE “SÉMANTIQUE”:la théorie

9SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 9

Page 10: [Prometil] Lelie for requirements

10

Le Traitement Automatique du Langage,pour quoi faire ?

Toute tâche utilisant des contenus en langage naturel : automatiser des tâches difficiles, voire impossibles à

accomplir à grande échelle par un humain proposer de nouvelles fonctionnalités

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 10

Page 11: [Prometil] Lelie for requirements

11

Exemples d’applications

Correction automatique d’orthographe Traduction Automatique « Compréhension » de texte: Siri et autres assistants / avatars Classification des documents: actualités, mails … Gestion de connaissances Recherche d’Information

Et tant d’autres!

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 11

Page 12: [Prometil] Lelie for requirements

12

Méthodes « symboliques »

Ressourcessyntaxiques/lexicales/sémantiques : propriétés de la langue

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 12

Page 13: [Prometil] Lelie for requirements

13

Méthodes « symboliques »

Analyse de corpus (ensemble de textes) pour en extraire des « régularités »

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 13

Page 14: [Prometil] Lelie for requirements

14

Méthodes statistiques

Les « régularités » sont acquises automatiquement Trois grands types d’approches:

– Supervisées– Semi-supervisées– Non Supervisées

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 14

Démarche classique pour l’approche supervisée:1. Annotation manuelle de N documents2. Application d’un « classifieur » sur les données résultantes

modèle de langage3. Application du classifieur + modèle de langage sur les

documents à traiter

Page 15: [Prometil] Lelie for requirements

Comment ça marche ?

15SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Stratégie entreprise

Présenter LELIEOutil d’aide à la

rédaction

Illustrer l’intérêt et les principes de l’analyse

sémantique

Expliquer le projet d’outillage

15

Page 16: [Prometil] Lelie for requirements

ANALYSE “SÉMANTIQUE”

16SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 16

Page 17: [Prometil] Lelie for requirements

17

Comment ça marche?

Modélisation linguistique et sémantique à partir de: Règles de rédaction d’exigences (notamment IEEE

29148) Analyse fine de textes d’exigences Etude des pratiques de rédaction

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 17

Page 18: [Prometil] Lelie for requirements

Comment ça marche?

Analyse morpho-syntaxique

Minimum clearance between the outer main gear wheels and the apron edge, [CIRCONSTANCE whether taxiing in a straight line or turning a corner,] shall not be less than that specified in AC139-06 for Code E aircraft of 3,8 metres.

Minimum clearance between the outer main gear wheels and the apron edge, whether taxiing in a straight line or turning a corner, shall not be less than that specified in

AC139-06 for Code E aircraft of 3,8 metres.

<requirement><adjective> Minimum </adjective> clearance between the outer main gear wheels and the apron edge, <conjunction> whether </conjunction> taxiing in a straight line or turning a corner, <modal> shall not </modal> <auxiliary> be </auxiliary > <adjective> less </adjective> than that specified in <reference> AC139-06 </reference> for Code E aircraft of <value> 3,8 metres </value></requirement>.

Application des règles

18SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Page 19: [Prometil] Lelie for requirements

Minimum clearance between the outer main gear wheels and the apron edge, [CIRCONSTANCE whether taxiing in a straight line or turning a corner,] shall not be less than that specified in AC139-06 for Code E aircraft of 3,8 metres.

Thème

Circonstance

Contrainte

whether taxiing in a straight line or turning a corner, Minimum clearance between the outer main gear wheels and the apron edgeshall not be less than that specified in AC139-06 for Code E aircraft of 3,8 metres.

Aide à la restructuration

Exigence analysée par LELIE: thème + circonstance + contrainte

19SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Page 20: [Prometil] Lelie for requirements

Expression régulières– Détection de lexique de base

Sémantique– Détection de lexique contextualisé– Filtrage des faux positifs– Analyse de la complexité des

exigencesex. termes métier/préféré, pronoms,

renvoi, structures du discours

20

“Inspection equipment shall be calibrated against the reference standard specified in Section 5.5.1.4.”

“Inspection equipment shall be calibrated against the reference standard specified in Section 5.5.1.4.”

“Inspection equipment shall be calibrated against the reference standard specified in Section 5.5.1.4.”

Expressions Régulières vs. Analyse “sémantique”

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 20

Page 21: [Prometil] Lelie for requirements

21

“It shall be demonstrated that there is no detrimental permanent modification (…)”

“It shall be demonstrated that there is no detrimental permanent modification (…)”

“The supplier shall demonstrate that there is no detrimental permanent modification (…)”

“It shall be demonstrated that there is no detrimental permanent modification (…)”

“It shall be demonstrated that there is no detrimental permanent modification (…)”

Pronom impersonnel

détecté

Voie passive détectée

Aide à la reformulation

Expression régulière Sémantique

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Expressions Régulières vs. Analyse “sémantique”

21

Page 22: [Prometil] Lelie for requirements

Alertes possibles

• Termes flous

• Trop de conjonctions de coordination

• Phrase incomplète, expression interdite, « flaw »

• Éviter la voix passive

• Éviter la négation

• Exigences coordonnées

22

+ Gradation de l’alerte selon sa gravitéADVICE / WARNING

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 22

• Rationale inclus dans une exigence

• Contrôle des modaux et du temps des verbes

Page 23: [Prometil] Lelie for requirements

23SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Exemples de problèmes rencontrés

Termes flous

All significant surfaces of the hardware must be pre-cleaned to remove dirt, grit, scale, corrosion, grease, oil and other foreign matter prior to any final precision cleaning process.

The use of non axial wheels shall be avoided as far as possible.

Exigences coordonnées

At the time of Government acceptance, the finished propellant shall be visually free from undissolved water, sediment or suspended matter and shall be clear and bright (no haze or cloudiness).

The product shall be homogenous at the time of withdrawal and shall not be added to while being withdrawn.

Exigences multiples

Page 24: [Prometil] Lelie for requirements

Exemples de problèmes rencontrés

Trop de conjonctions

JHB and tools and their interfacing vehicle parts or equipment shall be conceived to allow full removal in order to keep clear any vehicle or airplane damage by the mechanisms.

If the risk that a rivet disappears or is partially dislodged causes the disconnection of an equipment or a problem between the tool and other bound or the whole vehicle, the rivet shall be augmented by a holding mechanism.

Le Centre de Traitement et le Centre de Production gèrent la validation des outils de VFC et des demandes de validation et de traitement, en prenant en compte le cas où HGA est prévu pour plusieurs demandes de validation, et du cas où plusieurs HGA subissent la même vérification.

Construction passive

It shall be validated that no malfunction appears when at warming up for the maximum temperature during 2 minutes maximum.

Whenever a GH is deployed its integrity shall be checked.

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 24

Page 25: [Prometil] Lelie for requirements

Exemples de problèmes rencontrés

Exigences multiples

The 20 mm coaxial cable shall be connected to the deployed device #1 and the 30 mm coaxial shall be connected to the deployed device #2.

The product shall be homogenous at the time of withdrawal and shall not be added to while being withdrawn.

Trop de négations

Le Dispositif d’Emission n’est pas mis en place dans les locaux désaffectés, ni dans les LNPO, ni dans les locaux de transition, ni dans les zones de déplacement intermédiaire.

25SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Page 26: [Prometil] Lelie for requirements

Exemples de problèmes rencontrés

Rationale inclus dans une exigence

The interface of the Electronic Documentation Center shall give first page previews in order to allow the user to determine which information to display.

In order to maximize the economy of electricity use, the car shall meet the latest requirements related to equipment in LED.

Contrôle de modaux/temps de verbes

The documents containing Cyrillic characters should use UTF-8 when they are used on Occidental computers.

In one of the 3 situations documented above, the heat of the pipe would exceed 50°C.

26SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Page 27: [Prometil] Lelie for requirements

LELIE for requirements: les performances

27SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 27

Type d’erreurs évalué Précision Rappel Silence Bruit(Faux positifs)

Termes flous395

75%(295/395)

77%(295/383)

23%(88/383)

25%(100/395)

Trop de conjonctions de coordination24

74%(17/23)

93%(17/18)

6%(1/18)

26%(6/23)

Trop de négations 1

100%(1/1)

100% 0% 0%

Exigences multiples59

63% (37/59) 57% (37/65)

43%(28/65)

37%(22/59)

Expressions interdite/incomplète/spéculative 72

88% (63/72) 72%(63/88)

28%(25/88)

13% (9/72)

Construction passive109

93% (101/109)

69% (101/146)

31%(45/146)

7% (8/109)

Evaluation à mai 2014

Page 28: [Prometil] Lelie for requirements

Démonstration par la pratique

28SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 28

Page 29: [Prometil] Lelie for requirements

AddOn Doors

29SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 29

Page 30: [Prometil] Lelie for requirements

AddOn MS Word

30SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 30

Page 31: [Prometil] Lelie for requirements

Métriques

31SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 31

Page 32: [Prometil] Lelie for requirements

Métriques

32SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE 32

Page 33: [Prometil] Lelie for requirements

Conclusion

Réduction des coûts et du temps de cycle

Maîtrise de la qualité des exigences

Dès la phase de rédaction

33SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Page 34: [Prometil] Lelie for requirements

Prometil développe son expertise dans les métiers transverses d’ingénierie et de services : La gestion de configuration,

La gestion des changements,

L’ ingénierie et la gestion des exigences.

Basée sur trois principes fondamentaux : le savoir-faire, la confiance et la proximité, Prometil est aussi acteur dans les différentes communautés d’ingénierie et d’éditeurs.

Cette expertise se traduit par une forte connaissance et une capacité d’intégration des outils :

Bonnes pratiques d'ingénierie (IREB, ISTQB, PMI, CMMi)

Vérification et Validation

Management de projet

IBM Rational ClearQuest [IBM Certified]

IBM Rational Doors / RMF [IBM Certified]

IBM Rational ClearCase / UCM [IBM Certified]

IBM Rational Team Concert [IBM Certified]

IBM Rational Quality Manager [IBM Certified]

IBM Rational Publishing Engine IBM Rational Reporting for Development Intelligence Langages DXL, Dojo, OSLC, JEE

34

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

PROMETIL

Page 35: [Prometil] Lelie for requirements

35

Cyril Rodriguez Business DeveloperExpert Méthodes & Outils

Tel : 06 07 66 37 95Email : [email protected]

SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

www.prometil.com42 avenue du Général de Croutte 31100 TOULOUSETel : 05 62 87 52 42

Localisation & contacts

Page 36: [Prometil] Lelie for requirements

Références / bibliographie

Barcellini F., Albert C., Grosse C., Saint-Dizier P., "Risk Analysis and Prevention: LELIE, a Tool dedicated to Procedure and Requirement Authoring", Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC'12),  ELRA, Istanbul, 2012.

ISO/IEC/IEEE 29148:2011, Systems and software engineering - Life cycle processes - Requirements engineering.

Hull E., Jackson K., Dick J., Requirements Engineering, Springer, 2011.

Kang J., Requirement Mining, Internal Report, IRIT-CNRS, 2013.

Saint-Dizier P., Challenges of Discourse processing: the case of technical documents, sous presse (2013), Cambridge Scholars Publising, 2013.

Saint-Dizier, P., « LELIE : analyse et prévention des risques par l’analyse du contenu des documents industriels. » Dans : Face au Risque, Centre National de Prévention et de Protection, France, Vol. 485, p. 19-22, octobre 2012.

36SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE

Page 37: [Prometil] Lelie for requirements

Références normes de rédaction

Standards for system, hardware and software specifications– MIL-STD-961E w/Change 1, Department of Defense Standard Practice, Defense and Program-Unique

Specifications Format and Content.– IEEE/EIA 12207.0-1996, 12207.1-1997, and 12207.2-1997.– IEEE/EIA 830-1998 describes quality and content of a Software Requirements Specification (SRS)– IEEE Std 830-1993, Recommended Practice for Software Requirements Specifications, December 2, 1993.

Writing standards and style guides– United States Government Printing Office Style Manual– “The Elements of Style,” Strunk and White, 4th ed., 2000.– “The Elements of Technical Writing,” Blake and Bly, 1993.

Reading– “Guide for Managing and Writing Good Requirements” Ivy F. Hooks.– “Writing Effective Requirement Specifications” by William M. Wilson, presented at the Software Technology

Conference, Utah, April 1997.– Porter, Adam A., Votta, Lawrence G., Jr., and Basili, Victor R., Comparing Detection Methods for Software

Requirements Inspections: A Replicated Experiment, IEEE Transactions on Software Engineering, Vol. 21, No. 6, June 1995, pp. 563-574.

– Firesmith D (2007) Common Requirements Problems, Their Negative Consequences, and the Industry Best Practices to Help Solve Them. Journal of Object Technology 6(1)

– Weiss E H (2000) Writing remedies. Practical exercises for technical writing. Oryx Press – Wiegers Karl E (2001) Inspecting Requirements. StickyMinds.com Weekly Column

37SARL Prometil - www.prometil.com42 av du Général de Croutte 31100 TOULOUSE