Audit des projets informatiques

en partenariat avec

16 novembre 2006

L’audit des projets informatiquesL’audit des projets informatiques

>> L’audit des projets informatiques Page 2 - 16 novembre 2006

Institut del’Audit Interne

Audit des projets informatiquesAudit des projets informatiques

De l'évaluation des processus projets à l'audit de projet : retours d'expériences.

Quels référentiels, quelles pratiques ?Les points de vigilances, les points de repères

***************************************Gina Gullà-Ménez sanofi-aventis Direction de l’Audit InformatiqueDirecteur de l’Audit des Processus et des Projets Informatiques



Plan de la présentationPlan de la présentation

1. Introduction

2. Evaluation des processus projet Contextes Référentiels utilisés Pratiques

3. Audit des projets informatiques Contexte sanofi-aventis Référentiels utilisés Déroulement d’une mission d’audit Points de vigilance, points de repères

4. Questions réponses



Mise à profit des dispositifs d’audit qualité dans le monde de l’audit interne

Partager des rPartager des retours d'expériences…..

L‘expérience, voilà le maître en toutes choses. (Jules César) Chacune de ces expériences est liée à son contexte. Deux points de vue successif *:

• Auditeur Qualité (Amélioration continue) • Auditeur Interne

(*) – P(*) – Prise de position IFACI « AUDIT INTERNE – QUALITÉ » - mai 2004

Objectif de la présentationObjectif de la présentation

http://www.evene.fr/celebre/biographie/jules-cesar-760.php




1. Introduction






Evaluation des processus projetsEvaluation des processus projetsLes contextesLes contextes

Direction Qualité dans une SSII (certification ISO 9000)

Programme d’amélioration des développements logiciel d’un grand groupe industriel (SW-CMM)

Programme d’amélioration des processus logiciel chez un grand opérateur télécom (ISO 15504-Spice)



Evaluer les processus projetsEvaluer les processus projetsLes référentiels utilisésLes référentiels utilisés

ISO ¹ 9000 – Modèle d’assurance qualité utilisé pour la certification des systèmes de management de la qualité. Les normes de la famille ISO 9000 constituent un ensemble de références de qualité incontesté sur le plan mondial.

ISO 15504 (SPICE²) - Norme pour l’évaluation de processus logiciels, synthèse des démarches d ’évaluation et d ’amélioration de processus logiciel : CMM, BootStrap, TRILLIUM, est cohérente avec les normes existantes : ISO 9000, ISO 12207. Elle est applicable à un large domaine d ’applications, d’affaires, de tailles d’organisation de projets. Elle permet de comparer des entités semblables et elle produit des profils de processus cotés selon une échelle à six niveaux.

CMMI ³ est un cadre de référence développé par le SEI ⁴ visant à guider les organisations dans leur démarche d'amélioration des processus informatiques. Ce modèle permet, en fonction des pratiques clefs mises en place par une organisation, de déterminer son niveau de maturité globale (sur une échelle de 1 à 5) et son profil de capacité (échelle de 0 à 5 par processus).

¹ ISO : International Organization for Standardization² SPICE : Software Process Improvement Capability dEtermination³ CMMI : Capability Maturity Model Integration⁴SEI : Software Engineering Institute



Evaluer les processus projetsEvaluer les processus projetsLes référentiels utilisésLes référentiels utilisés Critères Communs (ISO 15408) a pris le relais des ITSEC ¹ dans le processus

d’évaluation du niveau de sécurité des logiciels et systèmes d’information. Ils définissent les procédures et les mesures techniques normalisées à prendre en compte dans le cycle de vie d’un produit logiciel.

ITIL ² recense, synthétise et détaille les meilleures pratiques pour la fourniture de services informatiques. ITIL donne des recommandations, des informations détaillées sur les processus, des descriptions de postes, des règles de gestion. ITIL couvre le domaine de la production informatique.

Le PMBOK ³ est un référentiel des connaissances en gestion de projet promu par le Project Management Institute (PMI). Il décrit des connaissances et des méthodes applicables à la majorité des projets, qu'ils soient informatiques ou non, sur lesquelles il y a un consensus général sur leur valeur et leur utilité. Il donne un lexique commun et des méthodes de communication.

¹ ITSEC Information Security Evaluation Criteria² ITIL Information Technology Infrastructure Library³ PMBOK Project Management Body of Knowledge



Evaluation des processus projetsEvaluation des processus projetsLes pratiquesLes pratiques

Direction Qualité dans une SSII (certification ISO 9000)• Un système qualité certifié pour démontrer sa mise en place : « donner confiance en externe

en situation contractuelle »

• Des audits qualité des projets informatiques :

– Référentiel : ISO 1011 ¹ , Système Qualité de la SSII

– Objectifs :

• Etape 1 Conformité au système qualité

• Etape 2 Évaluation du besoin d’actions d’amélioration ou de correction -

• ISO 9001

– Point fort : caractère quasi universel

– Point faible : très générale, a été complétée par des guides ou exigences spécifiques au domaine d’application (métier informatique)

¹ ISO 1011-1,-2 et-3 a été remplacé par ISO 19011 : Lignes directrices relatives aux audits de systèmes de management de la qualité et/ou de management environnemental




Programme d’amélioration des développements logiciel d’un grand groupe industriel

• Démarche de certification ISO 9000

• Un référentiel interne de développement logiciel fondé sur DOD 2167 A ¹

• Précurseur de l’utilisation du SW-CMM

• D’autres normes applicables au développement informatique : Critères Communs,..

¹ DOD 2167 A – Defense System Software Development



Le SEI pour le DoD ¹ a développé un modèle de maturité du processus (CMM) et une méthode d'évaluation, et à partir de 1993 le niveau 3 est demandé dans les appels d'offres

En 1993, lancement d’un programme d’amélioration pour toutes les Unités avec pour objectif :• obtenir le niveau 2 SW-CMM (environ 24 à 36 mois)• continuer l'amélioration des processus en vue d'atteindre le niveau 3 (24 mois de plus)

Ce programme doit améliorer :• la prise en compte du besoin client en impliquant les équipes logicielles dans la phase

de définition des systèmes,• la maîtrise des coûts et délais en s'appuyant sur des pratiques efficaces de conduite

et planification des projets informatiques,• la maîtrise des logiciels livres et de leurs évolutions.

Organe de coordination des Unités est constitué :• Un corps d'évaluateurs • Des réunions mensuelles entre SEPG - Software Engineering Process Group

¹ DoD – Department of Defense




Le niveau CMM n'est pas certifiable au sens où on l'entend habituellement pour d'autres reconnaissances de la Qualité.

L'appréciation de l'atteinte d'un niveau résulte d'une « auto-évaluation » réalisée par une équipe interne de 5 ou évaluateurs formés. La bonne application de la méthode est vérifiée, pendant l'évaluation, par le « lead-assessor » accrédité par le SEI.

Un processus d'évaluation strictement défini, avec

• une analyse de la documentation

• des interviews (tirage au sort des interviewés)

• des debriefings provisoires

• une présentation des constats finals et du niveau atteint A l'issue de cette évaluation, un rapport rédigé par l'équipe d'évaluation, discuté et admis

par les évalués, est remis à la Direction de l'organisation: il précise les forces et les faiblesses identifiées et indique le niveau atteint

Les résultats sont contrôlés par le SEI




Amélioration des processus de développement

La progression dans les niveaux correspond à une diminution progressive des risques et corrélativement à une augmentation de la maîtrise du processus de développement du logiciel

Atteinte du niveau 2 = La maîtrise nécessaire est en place pour pouvoir reproduire des succès sur des projets de même type. Les directives guident la mise en place du processus existant



Evaluation des processusEvaluation des processusLes pratiquesLes pratiques

Le SW-CMM a été largement utilisé (il n’est plus maintenu):• Plus de 50 pays• 3000 évaluations référencées au SEI• 2000 entreprises

Aujourd’hui, CMMI regroupe :• SW-CMM (software), SE-CMM (Système), IPD-CMM (Integrated Product Development), SA-

CMM (Software Acquisition)• 2 représentations : par niveau de maturité, par aptitude (par processus) • Scampi : méthode d’évaluation

CMMI et ISO 9001 sont basés sur une approche processus et d'amélioration continue mais :• CMMI traite de la gestion des risques, contrairement à l'ISO 9001• une grande partie des exigences de l'ISO 9001 sont couvertes par l’atteinte du niveau 2

CMMI ; certaines exigences ISO 9001 se retrouvent plus spécifiquement au niveau 3 CMMI.




Programme d’amélioration des processus informatiques chez un grand opérateur télécom (ISO 15504)

• Objectifs :– Amélioration des processus des projets informatiques – Contribuer au développement des services offerts au client – Donner un avantage compétitif au Groupe.

• Comment :– Le recensement des meilleures pratiques informatiques pour

construire le référentiel– Une cartographie des processus informatiques : les processus

sont regroupés selon la norme ISO 12207 ¹– Des évaluations de maturité des processus projets avec le

modèle ISO SPICE pour identifier les points forts et les points faibles

– Des projets d’amélioration de processus pour définir et généraliser les actions d’amélioration

¹¹ ISO 12207 - Processus du cycle de vie du logiciel.



Validation

Les besoinsdu client

La satisfactiondu client

Conduire un projet informatique

Ressources humaines

Achat

Stratégie DSI

Capitalisation

Pilotagesuivi

Cartographie applicative

Déployer

Exploiter

Evaluation des processus projets Evaluation des processus projets La cartographie des processus La cartographie des processus informatiquesinformatiques



Modèle

Evaluation des processus projetsEvaluation des processus projets Processus concernésProcessus concernés

5 processus prioritaires (identiques à toutes les unités) Gestion de projet Gestion des exigences Gestion de configuration Gestion de la sous-traitance Assurance Qualité

+ 3 processus complémentaires Maintenance (ENG 2 : maintenance du système et du logiciel) Gestion documentaire (SUP 1: documentation)Validation (ENG 1.6 : essai du logiciel)

Les processus prioritaires font l'objet d'évaluations. Objectif intermédiaire au bout de 12 mois : Gestion de projet - niveau 2 Gestion de configuration - niveau 2 Gestion des exigences - niveau 1 Assurance qualité - niveau 1 Acquisition - niveau 3

Les évaluations sont faites sur les processus des projetsLes plans d’actions des projets sont établis, suivis puis mis à jour suite à chaque évaluation



0

1

2

3

4

5

Gestion projet Qualité Gestion conf Sous-traitance

Gestionexigences

Résultats d’évaluation

Evaluation des processus projets Evaluation des processus projets Résultats de l’évaluationRésultats de l’évaluation

A l’issue d’une évaluation, chaque processus est caractérisé par son niveau d’aptitude compte tenu de son objectif d’amélioration.

Objectifs du programme d'amélioration



SynthèseSynthèse

ISO 15504 (SPICE) • Modèle utilisé dans le monde entier et sur tout type d’activité

(R&D,…)• Pas de détermination de la maturité de l’organisation mais un

profil d’aptitude par processus • Pas de schéma unique d’évaluation - l’auto-évaluation est

encouragée par la norme• Pas de système de reconnaissance externe

CMMI• Grosse promotion du SEI• Souvent retenu en France comme référence• Compatible avec ISO 15504• Evaluation lourde, pas de version française• Transmission du résultat de l’évaluation au SEI




1. Introduction






sanofi-aventis, les chiffres-clés

1er groupe européen et 3e mondial de l’industrie pharmaceutique

7 domaines thérapeutiques majeurs : cardiovasculaire, thrombose, maladies

métaboliques, oncologie, système nerveux central, médecine interne, vaccins

Chiffre d'affaires 2005 : 27,3 Mds €

Résultat net ajusté 2005 : 6,3 Mds € (+26,1%)

3ème budget de l’industrie pharmaceutique en R&D : 4 Mds €

127 molécules et vaccins en développement dont 56 en phases avancées

Près de 97 200 collaborateurs dans le monde

Une présence dans plus de 100 pays



sanofi-aventis, les domaines thérapeutiques

Pour répondre aux besoins de santé du plus grand nombre, le Groupe propose et recherche des solutions dans sept domaines thérapeutiques majeurs :

Cardio-vasculaire : hypertension artérielle, fibrillation auriculaire, maladie artérielle périphérique, insuffisance cardiaque, thrombose artérielle ou veineuse

Maladies thrombotiques : thrombose veineuse profonde avec ou sans embolie pulmonaire, athérothrombose, syndromes coronariens aigus

Maladies métaboliques : le diabète de types 1 et 2



sanofi-aventis, les domaines thérapeutiques

Oncologie : cancer colorectal, du sein, du poumon non à petites cellules, de la prostate, gastrique, de la tête et du cou (ORL), hémopathies malignes, (leucémies), mélanome

Système nerveux central : insomnie, maladie d’Alzheimer, sclérose en plaques, schizophrénie, épilepsie, dépression, anxiété, sevrage tabagique, maladie de Parkinson, lésion de la moelle épinière

Médecine interne : infections bactériennes, virales et parasitaires, polyarthrite rhumatoïde, ostéoporose, douleur, urologie, bronchopneumopathie chronique obstructive, allergie, inflammation, incontinence urinaire, hypertrophie bénigne de la prostate

Vaccins : contre la grippe, la méningite, la poliomyélite, combinaisons vaccinales, vaccins sérums destinés aux voyageurs et zones endémiques



Les 15 premiers médicaments du Groupe

Médicaments

Lovenox® / Clexane® Plavix® / Iscover ® Taxotere® Eloxatine® Stilnox® / Ambien® / Myslee® Allegra® Lantus® Delix® / Tritace® / Triatec® Copaxone® Aprovel® / Avapro® /Karvea ® Amaryl® Actonel® Dépakine® Xatral® Nasacort®

CA 2005 En millions d’euros

2 143 2 026 1 609 1 564 1 519 1 345 1 214 1 009 902 892 677 364 318 328 278

Évolution à données comparables

+ 13,8 % + 20,2 % + 12,8 % + 30,6 % + 10,6 % - 9,1 % + 47,5 % + 2,4 % + 24,1% + 13,9 % + 0,7% + 23,8 % + 4,6 % + 18,4 % - 2,1 %



sanofi-aventissanofi-aventisOrganisation et contrôle interneOrganisation et contrôle interne

Le contrôle interne est une préoccupation historique du Groupe

sanofi-aventis et ses filiales françaises sont soumises à la loi de sécurité financière du 1er août 2003 .

sanofi-aventis est également tenu de respecter les dispositions de la loi Sarbanes Oxley du 30 juillet 2002.

sanofi-aventis s’appuie sur une Direction de l'Audit et de l’Evaluation du Contrôle Interne directement rattachée au Président-Directeur Général, afin d'assurer son indépendance.



Audit des projets informatiquesAudit des projets informatiquesContexte sanofi-aventisContexte sanofi-aventis

Une Direction de l’Audit Informatique au sein de la Direction de l’Audit et de l’Evaluation du Contrôle Interne

Héritage Héritage – De 25 ans de pratiques de l’audit interne– De sa forte crédibilité– De son indépendance– D’un taux élevé de prise en compte de ses

recommandations



Mission de l’Audit InformatiqueMission de l’Audit Informatique

La mission de la direction de l’Audit Informatique :• Evaluer la fiabilité, l’intégrité, la sécurité des applications, infrastructures et

réseaux informatiques,

• Evaluer le dispositif de contrôle au sein des processus et des projets informatiques.

Ces missions s’exercent dans le cadre des « missions d’assurance » selon l’IFACI :

• Les services “d’assurance” impliquent l’évaluation objective par l’auditeur interne afin de procurer une opinion indépendante sur le processus ou le système audité.

• La nature et l’étendue des travaux d’assurance sont déterminés par l’auditeur interne.

Les missions de conseil sont exclues.

““ A l’aide des outils technologiques et de l'expertise appropriés, évaluer l'adéquation et l'efficacité des systèmes de contrôles qui adressent les risques émanant de la mise en œuvre par une organisation, de la technologie en support de ses objectifs business. ““ COSO



Audit des projets informatiquesAudit des projets informatiquesRéférentiels externes utilisésRéférentiels externes utilisés

Respect des normes internationales pour la pratique professionnelle de l’audit interne pour la conduite des audits, le choix des auditeurs. IFACI, ISACA

Le CObIT ¹ Modèle de référence pour la gouvernance des technologies de l'information, permet de comprendre et de gérer les risques liés aux systèmes d'information, repose sur la définition de 34 processus. Le modèle d'évaluation est calqué sur celui des capacités logicielles (type CMM). Sarbanes Oxley impose d'utiliser l'infrastructure de contrôle interne COSO ². COBIT était la meilleure voie pour évaluer la conformité aux exigences du COSO.

ISO 17799 (BS 7799) - Catalogue de bonnes pratiques assurant un client que ses informations sont gérées de manière sécurisée par son fournisseur. Complément de réponse aux obligations de sécurité des systèmes d'information.

CMMI/ISO 15504 et ITIL.

¹ CObIT - Control Objectives for Information and related Technology² COSO - Committee of Sponsoring Organizations



Audit des projets informatiquesAudit des projets informatiquesRéalisation d’une missionRéalisation d’une mission

QualityManagement

Checkpoint 1

External resourcesintegration meeting

Data collection Risk assessment Audit Program selection

Audit preparation

Opening meeting Interviews Data collection Weekly update Closing meeting

Fieldwork

Checkpoint 2

Findings and goodpractices validation

Drafting and sendingaudit report forcomments

Internal validation

Audit report

Checkpoint 3

DocumentationManagement

Draft Audit Report

Final Audit Report

Checkpoint minutes

Checkpoint minutes{Checkpoint 2}

{Checkpoint 1}

{Checkpoint 3}

Global risk assessment

Assignment letter

Integration packageAudit preparation memo

Interview material

Evidences / supporting materials

{Opening meeting presentation template}

{IS Audit Program}

{Weekly update}

Updated findings databaseAuditees' comments

{Data collection material template}Adapted audit program

Collected material

IS Audit assignment execution procedure

{Audit preparation memo template}

Updated Dashboard

Opening meeting minutes

Closing meeting minutes{Closing meeting presentation template} .

{IS Audit report template}

Updated Dashboard

Updated Dashboard

Checkpoint minutes

Updated good practices database

AICA/ISA Publication: 20 July 2005



Audit des projets informatiques Audit des projets informatiques Programme de travailProgramme de travail

Review area No of review areas Reviewed Work in Progress To be started

A - Project Management 14 8 5 1B - Application environment 6 3 3C - Application controls 4 4 1D - Infrastructure 3 3E - Change Management 7 7F - Systems Development Life Cyle 12 1 7 4

46 9 29 9

Control ID

Theme Control Objective

Test guidance Control documentation (Type and Reference)

Contact Progress Comments

Low Mod HighA.7 Organisationa

l policiesOrganisational policies are clearly communicated, understood as part of the project

Check that there is sufficient awareness and understanding of information policies and proceduresCheck that Management implements a communication process and tools communicating policiesRegular campaigns exist to check awareness of the project and key goals

Minutes Workshopslocal presentations (eg. kick off meeting)

Key users - Key users have been interviewed and are well aware of the project- Communication process is in place and well coordinated : weekly meetings, local involvement from PM UK

1A.8 Steering

committees IT management and business process owners establish and apply a structured approach regarding the long-range planning process.

Is there a project steering committee and high-level sponsor who exercise control over the project ? The Steering Committee, should among other things, be looking very carefully to see that regular milestones were included in the project plan. It is expected that reports from, and discussions with the project team manager on the achievements against these milestones are promptly reported.Are steering commitees planed ?Minutes from IT planning/steering committee meetings reflect the planning process.Planning methodology deliverables exist and are as prescribed.

Steering committes minutes

A. Einstein

- G. are sponsors of the project- Steering committees are planned every 2 months- Minutes do not clearly reflect planning - Project deliverables exist

1

A - Project Management

IT Risk Impact

CObIT ITILCMM

A-Project Management



Audit des projets informatiquesAudit des projets informatiquesRéalisation d’une missionRéalisation d’une mission

En fonction de l’avancement du projet, sont audités à la fois :

• Les activités : planification, suivi de projet, l’analyse des risques, tests, gestion des habilitations,..

• Les produits des activités : plans de projet, documents de conception, jeux de tests et manuels utilisateur.

L’équipe d’audit est pluri-disciplinaire :

• Compétences en SI

• Compétences en audit interne

• Compétences en gestion de projet

• Ressources externes.



Audit des projets informatiques Audit des projets informatiques Points de vigilancePoints de vigilance

Le projet est une organisation temporaire, qui « change continuellement de dimension et qui vit continuellement des changements. »

• Les constats valides à un instant t peuvent être remis en question à t+1

• Les recommandations publiées à la diffusion des rapports sont parfois perçues comme tardives

Délais réduits, périmètres complexes avec un grand nombre d’acteur.

Notre mission ne doit pas se substituer à la responsabilité organisationnelle du responsable sécurité ou du responsable qualité – en effet, les processus informatiques sont désormais soumis aux normes qualité.



Audit des projets informatiquesAudit des projets informatiquesPoints de repèresPoints de repères

On cherchera à s’affranchir de la dimension temporelle du projet en auditant :

• Le plus possible en amont (ex réponse aux besoins utilisateurs)• Une fois le projet terminé : audit post projet• Les projets en difficultés, sur demande du management• Les processus informatiques

Les points de contrôles et objectifs d’audit de projet ont été intégrés à nos programmes d’audit «catalogue des missions d’audit processus »

Par exemple :• Audit de la gestion des besoins des utilisateurs couvrant l’alignement

stratégique • Audit du processus de déploiement : niveau de préparation des sites, tests des

procédures de déploiement, efficacité des procédures de reporting et d’alerte, communication.

• Audit du processus de migration des données avec notamment, procédés de vérifications de la qualité et de la complétude de la migration, traitement des données non reprises et des cas ambigus.



Audits des projets informatiquesAudits des projets informatiquesPoints de repèresPoints de repères

ProjetAvant-projet Post-projet

Politiques Qualité, Sécurité .. procédures

Référentiels : COSO, CObIT, CMM, ITIL

Audit de conformité

Audit post-projetAudit projets en difficulté

Audit de la gestion des besoins utilisateurs



Audit des projets informatiques Audit des projets informatiques En guise de conclusionEn guise de conclusion

Pour un service d’audit interne : intérêt de s’approprier des outils venant du monde de la qualité.

Dans CObIT v4.0, le guide de l’audit est remplacé par le Guide de l’assurance des TI qui montre comment CObIT peut être utilisé pour :

• Évaluation des risques et de la valeur

• Evaluation et test de contrôle

• Maturité de contrôle et auto-évaluation

Quel que soit le référentiel utilisé, l’entreprise en construisant sa cartographie des processus informatiques, structure son approche de contrôle interne.



Audit des projets informatiquesAudit des projets informatiques Liens Liens

ADELI (Project Management Institute) : www.adeli.org AFAI (Association Française de l’Audit et du Conseil Informatiques ) : www.afai.asso.fr AFNOR (Association Française de NORmalisation) : www.afnor.fr COSO (Committee of Sponsoring Organizations of the Treadway Commission) :

www.coso.org IFACI (Institut Français de l’Audit et du Contrôle Interne) : www.ifaci.com ISACA (Information Systems Audit and Control Association) : www.isaca.org ISO (Organisation Internationale de Normalisation) : www.iso.org ITIL (Committee of Sponsoring Organizations of the Treadway Commission) :

www.itil.co.uk PMI (Project Management Institute) : www.pmi.org SEI (Software Engineering Institute) : www.sei.cmu.edu “Comparatif,analyse et tendances ITIL, CObIT, ISO 27001, eSCM” , Jacqueline Sidi,

Martie Otter, Laurent Hanaud, 2006 “CMMI – Un itinéraire fléché vers le Capability Maturity Model Integration” Richard

Basque, Dunod 2004

http://www.adeli.org/

http://www.afai.asso.fr/

http://www.afnor.fr/

http://www.coso.org/

http://www.ifaci.com/

http://www.isaca.org/

http://www.iso.org/

http://www.itil.co.uk/

http://www.pmi.org/

http://www.sei.cmu.edu/




1. Introduction


3. Audit des projets informatiques Contexte Sanofi-Aventis Référentiels utilisés Déroulement d’une mission d’audit Points de vigilance, points de repères




Merci de votre attention !Merci de votre attention !

Questions – réponsesQuestions – réponses