Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI

LOGO

Mise en place d’une architecture BIG DATA basée

sur le Cloud computing

Société d’accueil : Innova-TUNISIA

Présentée par :Hachem SELMIAhmed DRIDI

Sous l’encadrement de:Houssem TAYARI(ISET)

Khaled MANSOURI(Innova)

Institut supérieur des études technologiques de CHARGUIA

Année universitaire : 2014-2015

Conclusion

Réalisation

Architecture et choix technologiques

Big Data et cloud computing

Introduction

Plan

Présentation générale

Cadre du stage

Présentation générale

Divers sources d’informations

Données massives

1

Présentation générale

2

98,000 comptes Twitter sont crées

695,000 statuts Facebook

11 millions messages instantanés

698,445 recherches sur Google

168 millions mails envoyés

Chaque60

Secondes

Conclusion

Réalisation

Architecture et choix technologique

Big data et cloud computing

Introduction

Plan

Présentation générale

Cadre du stage

Introduction

3

Explosion de volume de l’information

La nécessité d’une nouvelle technologie qui peut traiter un

grand volume de données.

Evolution des systèmes d’information des entreprises

variété et complexité des données

BIG DATA

Conclusion

Réalisation

Architecture et Choix technologique

Big Data et cloud computing

Introduction

Plan

Présentation Générale

Cadre du stage

Cadre du stageOrganisme d’accueil

4

INNOVA-TUNISIA est un acteur dynamique dans les métiers du conseil et l’études systèmes informatiques et internet.

Son équipe se compose du responsable développement, du coordinateur communication chargé d’affaires, des programmeurs de logiciels, des chefs de projets et du directeur général.

Depuis 2010, Innova Tunisia s’est spécialisée dans la veille et le monitoring Internet avec un premier produit WebJort, puis en 2012 avec la solution WebRadar introduite sur le marché Tunisien.

Cadre du stageWeb Radar

5

Toutes les données publiquesProduites par la presse électronique, les réseaux

sociaux, les blogs, les forums

en temps réel

…qui collecte

Cadre du stageWebRadar

6

…qui organisepar date, pays, ville, langue, média, sujet, thème,

personne, organisme, marque, sentiment,…

…qui mesurefréquence, audience, crédibilité,

redondance, tonalité, influence, …

Cadre du stageWebRadar

7

Cadre du stageCritique de WebRadar

Des données …

Des données …

Des données…

DES DONNEES!!

8

Cadre du stage Critique de WebRadar

Avec l’architecture actuelle de WebRadar avec la présence évolutive des informations et données collectées, Innova rencontre plusieurs difficultés

pour stocker , traiter et analyser ces données!!!

9

Cadre du stage Solution proposée

Des nouvelles approches liées au concept de l'informatique décisionnelle.

Une infrastructure dédiée à l’analyse et le traitement des données massives.

Architecture Big Data basée sur le cloud computing.

10

Conclusion

Réalisation

Architecture et choix technologique

Big data et cloud computing

Cadre du stage

Plan

Introduction

Big data et cloud computingC’est quoi la Big Data ?

Big Data

Vélocité

VolumeVariété

11

Big data et cloud computingDécisionnel classique et big data

Décisionnel classique

Volume limité

Données structurés

Statistique descriptive

12

Big data et cloud computingC’est quoi le cloud computing ?

L’utilisation de la mémoire et des capacités de calcul et de stockage d’ordinateurs et de serveurs répartis dans le monde, et liés par un réseau ,tel Internet

13

Big data et cloud computingPourquoi ??????

Répartition des

données

Récupération des

données

14

Conclusion

Réalisation

Architecture et choix technologiques

Big data et cloud computing

Cadre du stage

Plan

Introduction

Architecture et choix technologiques Ancienne architecture

15

Nouvelle architecture

16

Architecture et choix technologiques

Choix technologiques

17

Architecture et choix technologiques

Conclusion

Réalisation

Architecture et choix technologique

Big data et cloud computing

Cadre du stage

Plan

Introduction

Réalisation L’infrastructure virtuelle

Création des machines virtuelles

Installation et configuration de système d’exploitation Debian

Configuration d’un réseau LAN

Installation et configuration de l’écosystème Hadoop

18

RéalisationConfiguration Hadoop

19

Réalisation Migration Sql >>Sql

Importation des données de la base de données Mysql de WebRadar

vers la base de données Mysql existante dans notre cluster avec l’outil

Python.

20

Réalisation Migration Sql >>Sql

21

Migration Sql >>NoSql

Réalisation

Migration des données de la base de données relationnel vers la base

de données Nosql (MongoDB) en utilisant l’outil Mongify

22

Réalisation Migration Sql >>NoSql

23

Réalisation Migration Sql >>NoSql

24

Migration Sql >>NoSql

Réalisation

25

Réalisation Migration Sql >>NoSql

26

Réalisation Réplication de données

La réplication de données après la migration Sql >> NoSql.

27

Réalisation Réplication de données

28

Conclusion générale

Notre projet de fin d’étude est déroulé avec la découverte des nouvelles technologies:

La Big Data Cloud Computing Les bases de données Nosql

Le stage a été une bonne occasion pour intégrer des nouveaux concepts et connaitre des nouvelles sources fiables.

LOGO

Merci pour votre attention !