Intégration DevOps & Big Data

Filière Génie Logiciel ISIKA – 2ème CyclePrésentationLe parcours « Intégration DevOPs/BigData » est un parcours de spécialisation de la filière « Génie Logiciel et Métiers du Digital ». Il s’inscrit dans le prolongement du tronc commun «Concepteur Développeur Informatique ».

Il peut également s’inscrire en parcours d’actualisation de compétences ou de spécialisation destiné :

• soit à des informaticiens confirmés issus du domaine des Études et Développement et/ou du domaine de l’informatique de production justifiant de compétences en développement ;

• soit à des auditeurs issus, a minima, de cursus de niveau II ou de niveau III qui souhaiteraient développer une connaissance opérationnelle à la fois des logiques d’intégration et de

• Analyser et résoudre les anomalies liées à la performance et la scalabilité des systèmes ;

• Participer à la construction et à l’intégration du socle technique Big Data (librairies de fonctions et d’outils mis à la disposition des data scientists…) ;

• Modéliser les schémas de données, nettoyer et normaliser les données, publier les données ;

• Consolider ces données au fur et à mesure de leur alimentation récurrente dans l’espace Big Data.

déploiement continus, mais aussi de la mise en œuvre de solutions de traitement de données de masse (BigData) et de Machine Learning.

Capacités visées Les auditeurs de ce parcours ont vocation à occuper des postes à intitulé : Ingénieur(e) Intégrateur, Ingénieur(e) Intégrateur(trice) Big Data, Ingénieur(e) de Production logicielle. Ils auront développé au sein de ce parcours les savoir et savoir-faire nécessaires pour :

• Concevoir une architec-ture d’intégration et de déploiement continus ;

• Implémenter des outils de configuration et d’automatisation pour optimiser les processus de déploiement dans une optique de Continuous Delivery ;

1

Qualité logicielle • Introduction à la qualité logicielle et à la

qualimétrie ; Introduction aux démarches de tests : Tests unitaires ; Tests d’intégration sous JUNIT, ARQUILLIA ; Tests fonctionnels ; Bases de données DBUNIT ; IHM SELENIUM ; Tests unitaires pour Javascript : JASMINE,

• Reporting qualité et qualimétrie : CHECKSTYLE, SONARQUBE.

Introduction agilité, devOps et livraison continue • L’outillage de l’intégration continue ;

Problématiques de la livraison et du déploiement continus,

• Les principes de l’approche Agile : origine , valeurs, principes, bénéfices ; Approches itératives et incrémentales.

Containering • Automatisation des installations et

déploiements : Scripting shell UNIX avancé ; Containerisation sous DOCKER.

Intégration et Livraison continues • Les différentes approches pour la gestion des

environnements et des installations,• Serveur d’intégration JENKINS ; Gestionnaires

de code source GIT, SVN,• Outils de build avancés et Artefact Repository :

MAVEN, NEXUS.

Axes de contenu Intégration DevOps (20 jours - 140h)

2

Conception et développement NoSQL ; la plate-forme ELK • Les outils et Bases de données NOSQL :

MongoDB, Cassandra. Présentation• La plate-forme ELK : Le moteur de Recherche et

d’Analyse ElasticSearch ; l’Acquisition de données : LogStash ; la Visualisation de données : Kibana

• Projet d’intégration ELK et traitement temps réel.

Mise en œuvre plate-forme Big Data : le moteur Spark • Le moteur de traitement de données Spark sous

Python : Spark core (Traitement Batch) ; Spark Streaming (Traitement temps réel) ; Spark SQL (Traitement avec requête SQL like) ; Spark ML (Machine Learning).

• Gestion de la distribution des messages d’échanges de données.

La Distribution Hadoop pour développeur : Cloudera • Mise en œuvre : HDFS (Stockage de masse),

Sqoop (Import/Export vers SGBD) ; Haddop, le modèle MapReduce et le testing de job Hadoop avec MrUnit ;Le Requêtage sur système de fichier : HIVE ; Langage de script d’interrogation de données : Pig ; l’Orchestration : Oozie ; l’Acquisition de données : Flume ;

| Python et Machine Learning. (5 jrs – 35 heures)

- Introduction au machine learning : Machine

Axes de contenu Intégration Big Data

Python et Machine Learning• Introduction au machine learning : Machine

learning, méthodes et solutions• Big Data Analytics avec Python, modélisation

et représentation des données• Introduction à la modélisation.• Procédures d’évaluation de modèles.• Algorithmes supervisés, algorithmes non

supervisés.

Projet d’intégration • Définition du besoin, cahier des charges,

conception, formalisation, développements des bases de données, développement des outils d’alimentation ; mise en œuvre de traitements batch.

(23 jours - 161h)(20 jours - 140h)

3

Projet ISIKA - Siège Social : 6 rue Danicourt – 92240 Malakoff - Site de Formation : 3 rue Danton – 1er étage – 92240 Malakoffhttp://www.projet-isika.com – contact@projet-isika.com - 01 48 25 26 24

SIRET : 832 085 385 00017 - APE : 8559A - Numéro de déclaration activité : 11922203492

Public et pré-requis • Demandeurs d’emploi, de niveau Bac+3/4 et + en

informatique, développeurs avec au minimum 5 ans d’expérience

• Pré-requis : maîtrise des SGBDR, connaissances des outils et technologies Web, maîtrise du langage JAVA.

Durée • 301 heures, soit 50 jours, soit 10 semaines.

Méthode PédagogiqueLa formation peut être dispensée :

• en mode full présentiel ou en mode full distanciel avec tutorat asynchrone, tutorat peer-to-peer,

• en mode blended e-learning où sont accessibles :

Objectifs pédagogiques A travers une formation privilégiant la mise en œuvre en mode projet, les auditeurs de ce parcours auront acquis, développé et consolidé une pratique avancée :

• Des concepts clés du mouvement DevOps et des logiques d’agilité dans le développement logiciel ;

• Des démarches de tests et de qualité logicielle et de leurs outils : JUNIT, ARQUILLIAN, DBUNIT, SELENIUM, JASMINE, CHECKSTYLE, SONARQUBE ;

• Des environnements et des logiques de tests continus et d’intégration continue : JENKINS, Gestionnaire de code source GIT, SVN, Artefact Repository, MAVEN, NEXUS ;

• Des logiques de Containerisation avec DOCKER ;

• Du déploiement d’architectures mettant en œuvre des technologies BigData hétérogènes ;

• Des technologies et du développement d’applications de capture et d’intégration des données;

• Des outils et démarches de mise en œuvre des outils. protocoles et bases de données de référence : HDFS, Sqoop , Haddop, MapReduce, SPARK Scala, Python, Java et Javascript, MongoDB, Cassandra.

- en regroupement, les contenus de cours fortement conceptuels

- en regroupement les ateliers projets, les études de cas avancés, les TPs de consolidation

- en distanciel les autres contenus (vidéos de cours, supports de cours, exercices, corrigés)

4