Institut Supérieur d’Informatique, de Modélisation Institut de recherche en sciences et

et de leurs Applications technologies pour l’environnement

Complexe des Cézeaux 24 avenue des Landais

BP 10125 BP 50085

63173 Aubière cedex 63172 Aubière cedex

Rapport d’ingénieur

Stage de 2ème

année

Filière Systèmes d’Information et Aide à la Décision

Conception et développement d’un système d’information

pour la sécurité des utilisateurs de pesticides

Présenté par : Kanza Adanfari

Responsable ISIMA: Claude Mazel

Responsable Cemagref : Gil De Sousa

De Mai à Septembre 2010

Remerciements

Je tiens à remercier Monsieur Gil DE SOUSA, pour m’avoir intégré dans ce projet, pour son accueil au Cemagref, pour l’aide et les conseils qu’il m’a apportés et enfin pour sa permanente disponibilité à mon égard.

Je remercie également mon responsable ISIMA, Monsieur Claude MAZEL pour ses suggestions, ses conseils et sa compréhension.

Aussi je remercie Madame Sonia GRIMBUHLER, membre de l’unité de recherche TSAN du Cemagref, qui a répondu à mes questions concernant les notions chimiques et biologiques au sujet des pesticides et des substances actives, que je ne maitrisais pas.

Sans oublier de remercier Madame Murielle MOUZAT, mon professeur de communication, pour ses conseils qui m’ont été très utiles dans la rédaction de ce rapport.

Résumé

Aujourd’hui l’impact des pesticides (produits phytosanitaires), qui, agissent sur les organismes vivants, sur la santé humaine (applicateurs et consommateurs) et l’environnement, apparaît au cœur des préoccupations sociétales.

Mon stage s’intègre dans un projet de recherche qui a pour objectif d’assurer la sécurité des utilisateurs de pesticides.

Le but de mon stage est de développer un outil intégrant un système d’information et un ensemble d’interfaces dédiées permettant de fournir les informations et les conseils indispensables à une bonne utilisation des produits phytosanitaires essentiellement au niveau de la sécurité des utilisateurs mais également sur le plan à la fois agronomique et environnemental. Mots clés : extraction de données, produit phytosanitaire, substance active, système d’information.

Abstract

Nowadays, the impact of pesticides, which act on living organisms on human health (applicators and consumers) and the environment, is at the heart of societal concerns. My orientation is part of a research project that aims to ensure the safety of users of pesticides.

The purpose of my internship is to develop a tool that integrates an information system and a dedicated set of interfaces for providing information and advice necessary to the proper use of pesticides primarily in the safety of users but also in both agronomic and environmental plan. Keywords: data extraction, pesticides, active substance, information system.

Sommaire

Remerciements

Résumé

Abstract

Sommaire

Table des figures

Introduction............................................................................................................................................. 1

1- Présentation du cadre de travail......................................................................................................... 2

1-1 Présentation générale du Cemagref............................................................................................. 2

1-2 Contexte du stage......................................................................................................................... 3

2- Présentation du projet SYNAPSE......................................................................................................... 3

3- But du projet ....................................................................................................................................... 4

3-1 Problématique .............................................................................................................................. 4

3-2 Solution proposée......................................................................................................................... 8

4- Conception ........................................................................................................................................ 10

5- Réalisation......................................................................................................................................... 17

5-1 Outils et technologies utilisés.................................................................................................... 17

5-2 Extraction................................................................................................................................... 20

5-2-1 Principe de l’extraction ..................................................................................................... 20

5-2-2 Méthodes existantes......................................................................................................... 21

5-2-2-1 La méthodes cURL........................................................................................... 21

5-2-2-2 Les sockets sous php ........................................................................................ 22

5-2-2-3 Les fonctions en php.......................................................................................... 22

5-2-3 Implémentation ............................................................................................................... 23

5-2-4 Interfaces de l’extraction ................................................................................................. 34

5-3 Affichage ................................................................................................................................... 40

5-3-1 Interface souhaitée......................................................................................................40

5-3-2 Interfaces d’affichage .................................................................................................. 41

Conclusion.........................................................................................................................................50

Références bibliographiques et webographiques

ANNEXE

Tables des figures

Figure 1: Cemagref, centre de Clermont-Ferrand, site d’Aubière .......................................................... 2

Figure 2: Extrait 1 d’informations concernant la substance « abamectine » sur « agritox ».................. 5

Figure 3: Extrait 2 d’informations concernant la substance « abamectine » sur « agritox ».................. 5

Figure 4: Extrait 3 d’informations concernant la substance « abamectine » sur « agritox ».................. 6

Figure 5: Extrait 1 d’informations concernant la substance « abamectine » sur « e-phy ».................... 7

Figure 6: Extrait 2 d’informations concernant la substance « abamectine » sur « e-phy ».................... 7

Figure 7: Architecture envisagée du système d’information SYNAPSE................................................... 8

Figure 8: Principales sources de données ............................................................................................... 9

Figure 9: Page d’accueil d’ « e-phy »..................................................................................................... 10

Figure 10: Page d’accueil d’ « agritox».................................................................................................. 11

Figure 11: Capture d’écran 1 du produit phytosanitaire retiré « 100.RA.» .......................................... 11

Figure 12: Capture d’écran 2 du produit phytosanitaire retiré « 100.RA.» .......................................... 12

Figure 13: Capture d’écran 1 du produit phytosanitaire retiré « 2866»............................................... 12

Figure 14: Capture d’écran 2 du produit phytosanitaire retiré « 2866»............................................... 13

Figure 15: Capture d’écran du produit phytosanitaire retiré «AGRIBACTYL PM SOLUBLE»................ 14

Figure 16: Capture d’écran 1 de la substance active «ACETAMIPRIDE»............................................... 15

Figure 17: Capture d’écran 2 de la substance active «ACETAMIPRIDE»............................................... 15

Figure 18: Capture d’écran de la substance active «1,1-DICHLORO-2,2-BIS-ETHANE» ....................... 16

Figure 19: Diagramme de classes « Produit » ....................................................................................... 16

Figure 20: Capture d’écran de la base de données « extract_ephy ».................................................. 17

Figure 21: Page d’accueil d’EasyPHP ..................................................................................................... 18

Figure 22: Capture d’écran d’Objecteering modeler ............................................................................ 19

Figure 23: Capture d’écran d’Open-ModelSphere ................................................................................ 20

Figure 24: Capture d’écran du code source d’une page HTML d’« e-phy ».......................................... 21

Figure 25: Fonction file_get_contents .................................................................................................. 22

Figure 26: Code permettant de récupérer le code source d’une page Web ........................................ 23

Figure 27: Accès alphabétique des substances actives......................................................................... 24

Figure 28: Accès alphabétique des produits phytosanitaires autorisés................................................ 24

Figure 29: Accès alphabétique des produits phytosanitaires retirés.................................................... 25

Figure 30: Code permettant d’extraire les liens d’une page HTML ...................................................... 25

Figure 31: Script permettant de récupérer la liste des liens des produits phytosanitaires .................. 26

Figure 32: Code permettant de récupérer le lien du produit choisi ..................................................... 27

Figure 33: Capture d’écran du code d’extraction du nom, famille et formulation d’un produit ......... 28

Figure 34: Capture d’écran 1 du code d’extraction des substances actives d’un produit ................... 28

Figure 35: Capture d’écran 2 du code d’extraction des substances actives d’un produit ................... 29

Figure 36: Capture d’écran 1 du code d’extraction des phrases de prudence d’un produit ............... 29

Figure 37: Capture d’écran 2 du code d’extraction des phrases de prudence d’un produit ............... 30

Figure 38: Capture d’écran 1 du code d’extraction des phrases de risque d’un produit ..................... 30

Figure 39: Capture d’écran 2 du code d’extraction des phrases de risque d’un produit ..................... 31

Figure 40: Capture d’écran 1 du code d’extraction des phrases de risque toxicologique d’un produit

............................................................................................................................................................... 31

Figure 41: Capture d’écran 2 du code d’extraction des phrases de risque toxicologique d’un produit

............................................................................................................................................................... 32

Figure 42: Capture d’écran 1 du code d’extraction des phrases d’usages d’un produit ...................... 32

Figure 43: Capture d’écran 2 du code d’extraction des phrases d’usages d’un produit ...................... 33

Figure 44: Capture d’écran 3 du code d’extraction des phrases d’usages d’un produit ...................... 33

Figure 45: Interface permettant le choix de la source d’extraction de données.................................. 34

Figure 46: Interface pour faire l’extraction de « e-phy » ...................................................................... 35

Figure 47: Liste déroulante affichant la liste des poduits autorisés commençant par un chiffre ........ 36

Figure 48: Liste déroulante affichant la liste des poduits interdits commençant par la lettre « y » .... 36

Figure 49: Liste déroulante affichant la liste des substances commençant par la lettre « q »............. 37

Figure 50: Liste déroulante affichant la liste des substances dans le site « agritox »........................... 37

Figure 51: Table contenant des informations sur le produit « 2866 ».................................................. 38

Figure 52: Table contenant des phrases de prudence concernant le produit « 2866 » ....................... 39

Figure 53: Table contenant des informations sur l’usage du produit « 2866 » .................................... 39

Figure 54: Fonctionnement souhaitée de l’interface............................................................................ 40

Figure 55: Interface d’inscription .......................................................................................................... 41

Figure 56: Interface d’authentification ................................................................................................. 41

Figure 57: Interface principale de l’affichage........................................................................................ 42

Figure 58: Liste des produits autorisés commençant par la lettre « z » ............................................... 43

Figure 59: Interface d’affichage pour le profil « agriculteur » .............................................................. 44

Figure 60: Interface d’affichage pour le profil « etudiant » .................................................................. 44

Figure 61: Interface d’affichage pour le profil « expert » ..................................................................... 45

Figure 62: Capture d’écran 1 du produit phytosanitaire « ZAPPER » ................................................... 46

Figure 63: Capture d’écran 2 du produit phytosanitaire « ZAPPER » ................................................... 46

Figure 64: Sélection de quelques données relatives au produit « ZAPPER »........................................ 47

Figure 65: Affichage des données sélectionnées relatives au produit « ZAPPER »............................... 48

Figure 66: Sélection de toutes les données relatives au produit « ZAPPER »....................................... 48

Figure 67: Affichage de toutes les données relatives au produit « ZAPPER » ...................................... 49

1

Introduction

L’étude présentée dans ce rapport a été réalisée dans le cadre de mon stage de

deuxième année à l’Institut Supérieur d’Informatique, de Modélisation et de leurs Applications (ISIMA). Mon stage s’est déroulé au sein de l’unité de recherche « Technologies et Systèmes d’Information pour les agro-systèmes » (UR TSCF) du Cemagref de Clermont-Ferrand sur une durée de cinq mois entre début Mai et fin Septembre 2010.

Le contexte mondial lié à l’augmentation de la demande alimentaire pour la population et l’élevage oblige à maintenir un niveau de production agricole élevé, mais aussi de produire mieux, en respectant les équilibres écologiques dans un contexte de changement climatique et de concurrence pour la ressource en eau, et en prenant en compte la demande des consommateurs pour des produits sains. Ceci suppose notamment de rendre les exploitations agricoles moins dépendantes des pesticides.

Ainsi, au niveau européen, l’utilisation durable des pesticides est l’une des sept stratégies thématiques du sixième programme communautaire d’action pour l’environnement (2002-2012). Celle-ci vise « la réduction sensible des risques et de l’utilisation des pesticides dans une mesure compatible avec la protection nécessaires des cultures ». Cette stratégie a été notamment déclinée au niveau français en 2006 à travers le plan interministériel de réduction des risques liés aux pesticides.

En complément des actions de réduction, la réussite du plan passe par la formation et la sécurisation de l’utilisation des pesticides, conditions nécessaires pour faire adhérer le plus largement possible à ces démarches.

2

1- Présentation du cadre de travail

1-1 Présentation générale du Cemagref

Le Cemagref, Institut de recherche en sciences et technologies pour l’environnement (anciennement Centre National du Machinisme Agricole, du Génie Rural, des Eaux et Forêts) est un établissement public à caractère scientifique et technologique (EPST) créé en 1981 et placé sous la double tutelle du Ministère de l’Enseignement Supérieur et de la Recherche et du Ministère de l’Alimentation, de l’Agriculture et de la Pêche [1].

Figure 1 : Cemagref, centre de Clermont-Ferrand, site d’Aubière

Le Cemagref emploie 1600 personnes dont 500 chercheurs et environ 200 doctorants. Leurs compétences scientifiques et techniques portent sur des domaines d’application variés et complémentaires alliant les sciences expérimentales, les sciences économiques et sociales et la science informatique [2]. Le Cemagref est organisé autour de trois départements scientifiques :

• Département Eaux, • Département Ecotechnologies,

• Département Territoire.

3

1-2 Contexte du stage

Le Cemagref dispose de 9 centres ou groupements, dont celui de Clermont-Ferrand, et de deux antennes, l’une situé en Martinique et l’autre à Strasbourg. Le centre de Clermont-Ferrand a la particularité de comporter deux sites :

• Site d’Aubière dans le département du Puy-de-Dôme. • Site de Montoldre dans le département de l’Allier.

Mon stage se déroule sur le site d’Aubière au sein du groupement de Clermont-Ferrand. Ce centre accueille trois unités de recherches appartenant à des départements différents :

� Unité de Recherche Technologies et Système d’Information pour les agrosystèmes (UR TSCF) du département Ecotechnologies.

� Laboratoire d’Ingénierie pour les Systèmes Complexes (LISC) du département Ecotechnologies.

� Unité Mixte de Recherche Mutations des activités, des espaces et des formes d’organisation dans les territoires ruraux (UMR Métafort) du département Territoires.

Plus précisément, mon stage s’intègre dans une collaboration entre deux Unités de Recherche, du département Ecotechnologies, TSCF et TSAN (Technologies pour la sécurité et les performances des agroéquipements) du centre d’Antony.

2- Présentation du projet SYNAPSE

Le projet SYNAPSE (SYstème d’iNformation Agro-environnemental sur les pesticides pour la SEcurité des utilisateurs) a pour objectif principal de fournir les informations et les conseils indispensables à une bonne utilisation des produits phytosanitaires (ou pesticides) essentiellement au niveau de la sécurité des utilisateurs mais également sur le plan à la fois agronomique et environnemental. L’approche retenue a été le développement d’un outil intégrant un système d’information et un ensemble d’interfaces dédiées permettant une utilisation soit par des professionnels, agriculteurs ou experts, soit par des étudiants. L’utilisateur pourra, durant sa phase de préparation à l’application de pesticides, consulter cet outil pour s’informer sur les précautions à respecter et la réglementation associée au produit utilisé.

Le projet devrait comprendre quatre étapes : 1) La construction, à partir d’enquêtes réalisées auprès des futurs utilisateurs, d’une base de connaissances complète dédiée à la prévention des risques et incluant les bonnes pratiques en terme de sécurité.

4

2) L’intégration des différentes sources de données existantes dans le domaine des produits phytosanitaires au sein d’un même système d’information. 3) L’élaboration d’une interface permettant de consulter ces informations. La possibilité d’accéder à ces données sur le lieu même d’intervention est envisagée. 4) La formation des futurs utilisateurs.

Dans le cadre de mon stage, je participe aux trois premières étapes à savoir la construction du système d’information et de l’interface qui lui est associée.

3- But du projet

3-1 Problématique Des informations sur l’utilisation des pesticides sont actuellement disponibles pour les particuliers ou les professionnels à partir de plusieurs sources de données (site internet, document papier, fichier texte …). En outre, toutes ces informations ne sont pas consultables à partir du même endroit et demandent des recherches parfois longues et infructueuses. De plus, la compréhension des informations trouvées est parfois complexe et peut donc donner lieu à une mauvaise interprétation. Prenons par exemple, le cas de la substance active « abamectine » qu’on peut trouver sur deux sites différents : « e-phy » et « agritox ».

5

Figure 2 : Extrait 1 d’informations concernant la substance «abamectine » sur « agritox »

Figure 3: Extrait 2 d’informations concernant la substance «abamectine » sur « agritox »

6

Figure 4: Extrait 3 d’informations concernant la substance «abamectine » sur « agritox »

Comme l’illustrent les figures 2, 3 et 4, les informations qui sont mises à la disposition des utilisateurs peuvent parfois être très techniques. Dans cet exemple, elles s’adressent plus à un expert qui connait le domaine ou quelqu’un qui a déjà de bonnes connaissances pour pouvoir comprendre ces informations alors qu’un agriculteur pourrait sûrement avoir, d’une part, des difficultés à interpréter toutes ces informations. D’autre part, celles-ci ne sont pas toutes utiles pour lui.

7

Figure 5: Extrait 1 d’informations concernant la substance «abamectine » sur « e-phy »

Figure 6: Extrait 2 d’informations concernant la substance «abamectine » sur « e-phy »

8

Par contre, sur « e-phy », on trouve des informations concernant la même substance, mais présentées d’une façon plus simple de manière à ce qu’elles puissent intéresser des professionnels et être interprétées plus aisément par des particuliers (voir figure 5 et 6).

3-2 Solution proposée

Pour résoudre ces problèmes, une solution a été proposée sous la forme d’un système d’information comme le montre la figure 7, permettant d’extraire les données relatives à l’utilisation des pesticides de différentes sources de données.

Figure 7: Architecture envisagée du système d’information SYNAPSE Ce système va récupérer les données relatives à l’utilisation des pesticides de différentes sources de données, les traitera pour les présenter par la suite à l’utilisateur. En

9

effet, divers documents traitant du problème de la protection des utilisateurs de pesticides existent.

Figure 8: Principales sources de données

La figure 8 met en évidence la présence de documents sous 3 formes ou formats principalement :

� documents de type texte aux formats « doc » ou « pdf »; � sites Internet; � applications.

Puisque les sites internet hébergent le plus d’informations, j’ai choisi dans le cadre de mon stage, de faire l’extraction de données de deux sites : « e-phy » et « agritox ».

10

4- Conception Pour construire cette solution, la première étape consiste à concevoir le système d’information. Pour cela, des enquêtes ont été réalisées afin d’identifier les besoins des utilisateurs potentiels de produits phytosanitaires représentés par :

� les scientifiques ; � les agriculteurs ; � les étudiants.

Il fallait, par la suite, mettre en correspondance les besoins des utilisateurs avec les données disponibles au niveau des différentes sources de données. Il y a, au départ, plusieurs sources de données. Les sites Internet « agritox » et « e-phy » ont été choisis, dans le cadre de mon stage, car ce sont deux des sources de données les plus complètes et mises à jour. Sur « e-phy », on trouve les produits phytosanitaires autorisés, les produits interdits et les substances actives comme l’illustre la figure 9, contrairement à « agritox » où il n’y a que les substances actives comme l’illustre la figure 10.

Figure 9: Page d’accueil d’ « e-phy »

11

Figure 10: Page d’accueil d’ « agritox»

Figure 11: Capture d’écran 1 du produit phytosanitaire retiré « 100.RA.»

12

Figure 12: Capture d’écran 2 du produit phytosanitaire retiré « 100.RA.»

Figure 13: Capture d’écran 1 du produit phytosanitaire « 2866 »

13

Figure 14: Capture d’écran 2 du produit phytosanitaire « 2866 » Il y a deux types de produits phytosanitaires : les produits autorisés et ceux retirés. Dans les deux cas, on retrouve quasiment les mêmes informations, sauf pour les produits retirés où est présent, en plus, la date de retrait et un commentaire décrivant la raison du retrait(voir les figures 11 et 12).

Comme l’illustrent les figures 13 et 14, un produit phytosanitaire se compose d’une ou plusieurs substances actives. A chaque produit peuvent être associées des phrases de prudence, de risque ou bien de risque toxicologique. A chaque phrase de risque peut être associée plusieurs phrases de prudence. Il existent, toutefois, des produits auxquels aucune phrase de prudence, de risque ou de risque toxicologique n’est associée ou indiquée comme l’illustre la figure 15. A chaque produit phytosanitaire, des phrases d’usage peuvent également être associées.

14

Figure 15: Capture d’écran du produit phytosanitaire retiré « AGRIBACTYL PM SOLUBLE » Pour les substances actives, elles sont décrites par un certain nombre de caractéristiques physiques, chimiques et biologiques (voir les figures 16 et 17). Chaque substance peut faire partie d’un ou plusieurs produits phytosanitaires. Des phrases d’usages peuvent être associées ou non à une substance active (voir figure 18).

15

Figure 16: Capture d’écran 1 de la substance active « ACETAMIPRIDE »

Figure 17: Capture d’écran 2 de la substance active « ACETAMIPRIDE »

16

Figure 18: Capture d’écran de la substance active « 1,1-DICHLORO-2,2-BIS-ETHANE »

Pour concevoir mon schéma conceptuel, je me suis appuyée sur la structure des données présentes sur « e-phy » et « agritox » (figure19), ce qui m’a permis de construire par la suite, le système d’information (figure 20).

Figure 19: Diagramme de classes « Produit »

17

Figure 20: Capture d’écran de la base de données « extract_ephy »

5- Réalisation

5-1 Outils et technologies utilisés

J’ai choisi le logiciel EasyPHP pour l’installation automatique d’un environnement de travail permettant l’utilisation du langage PHP et d’une base de données MySQL. Plus précisément, EasyPHP regroupe un serveur Apache, une base de données MySQL, le langage PHP ainsi que les outils facilitant le développement des sites ou des applications (figure 21).

18

Figure 21 : Page d’accueil d’EasyPHP

MySQL et PHP sont fréquemment utilisés conjointement. MySQL assure la gestion de la base de données et PHP le langage de programmation dans lequel sont écrites les applications de bases de données sur le web.

MySQL est un SGBDR (Système de Gestion de Base de Données Relationnel) facile à utiliser et qui convient très bien pour la plupart des sites Web. La rapidité et la petite taille de MySQL e font un idéal pour un site Web.

PHP est un langage de script conçu spécialement pour être utilisé sur le Web. Il peut dialoguer avec presque tous les SGBD. Dès lors, il est inutile de connaître les subtilités de la connexion et des échanges de messages avec telle ou telle base de données. Il suffit de lui indiquer le nom de la base de données et son emplacement et il se chargera de tous les détails.

JavaScript est un langage de script incorporé dans un document HTML. C’est un langage de programmation qui permet d'apporter des améliorations au langage HTML en permettant d'exécuter des commandes du côté client, c'est-à-dire au niveau du navigateur et non du serveur web. Ainsi le langage JavaScripts est fortement dépendant du navigateur appelant la page web dans laquelle le script est incorporé, mais en contrepartie il ne nécessite pas de compilateur, contrairement au langage Java, avec lequel il a longtemps été confondu.

SQL est un raccourci pour Structured Query Language (langage structuré de requêtes). Ce sigle désigne un vocabulaire exclusivement consacré à dialoguer avec des bases de données. Chaque SGBD important utilise SQL, et MySQL ne fait pas exception à la règle.[3]

Objecteering modeler : fournit un outil graphique de modélisation pour construire facilement l’outillage de mise en œuvre d’une démarche MDA guidée par le modèle au sein

19

des projets. Objecteering MDA Modeler permet, d'adapter, d’automatiser, d’assister et de contrôler le développement des applications, en appliquant les meilleures pratiques méthodologiques et les meilleurs choix technologiques spécifiques de son domaine. On peut ainsi construire aisément un outillage UML dédié, intégrant ses expertises, augmentant considérablement la productivité et la qualité des développements des applications. [4]

Figure 22: Capture d’écran d’Objecteering modeler

Le schéma conceptuel au départ était sous Objecteering modeler, mais pour des problèmes techniques, j’ai dû le compléter sous Open-ModelSphere (voir figure 23), qui est un outil complet de modélisation de données, qui prend en charge la modélisation conceptuelle, logique et physique. Il supporte plusieurs formalismes, entre autres: Entité- Association, DATARUN, et Information Engineering. Les modèles conceptuels peuvent être convertis en modèles relationnels et vice versa. [5]

20

Figure 23: Capture d’écran d’Open-ModelSphere

5-2 Extraction

5-2-1 Principe de l’extraction

Le but de l’extraction de données est de récupérer, à partir de leurs sources, les différentes données et informations nécessaires à la bonne utilisation des pesticides pour qu’elles soient stockées par la suite dans une base de données pour être présentées aux utilisateurs potentiels des pesticides. Pour des soucis d’accessibilité aux données, on préfère copier celles-ci dans la base de données du système d’information SYNAPSE plutôt que d’accéder directement à celles-ci sur le site Web. Dans le cadre de ce stage, ces données seront extraites de deux sites Web :

- http://e-phy.agriculture.gouv.fr/

- http://www.dive.afssa.fr/agritox/php/fiches.php

21

Figure 24: Capture d’écran du code source d’une page HTML d’ « e-phy »

Le principe de l’extraction est de parcourir les pages HTML (figure 24), contenant les informations requises, de localiser celles-ci et, de les récupérer en supprimant les balises HTML et PHP les entourant pour ne garder à la fin que les données brutes qui seront stockées par la suite dans notre base de données.

5-2-2 Méthodes existantes La première étape a été l’étude des différentes méthodes d’extraction existantes. Je présenterai trois méthodes desquelles j’ai retenu la troisième.

5-2-2-1 La méthode cURL

cURL veut dire "Client URL Request Library", ou encore "see URL". C’est un outil pour transférer des données depuis ou vers un serveur, en utilisant l'un des protocoles pris en charge (HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP ou FILE). La commande est conçue pour fonctionner sans intervention de l'utilisateur. Ce logiciel cURL est une interface en ligne de commande conçue pour récupérer le contenu d'une ressource accessible par un réseau informatique. La ressource est désignée avec une URL.

22

Bien que cURL surpasse « file_get_contents » quand il s'agit d'obtenir un fichier sur un lien HTTP, l'inconvénient de cURL est qu'il n'a aucun moyen de la simple lecture d'une partie d'une page à la fois.

5-2-2-2 Les sockets sous php

Les sockets sont un procédé dans lequel PHP peut se connecter à un autre serveur sur Internet et des réseaux. La fonction de base d'ouvrir un socket à un serveur est fsockopen(). Les sockets en PHP se rapprochent des sockets en C dont elles sont héritées. Le principe est donc exactement le même. Le principe est sensiblement le même que celui utilisé avec les stream sockets à une différence prêt : l’attachement de l’adresse au socket. Sous EasyPHP, les sockets ne sont pas activés par défaut, il faut donc les activer.

L’avantage du socket est qu’il consomme peu de ressources, très rapide, ne nécessite pas de rafraîchissement de page et ne nécessite pas de base de données. Mais, son inconvénient est qu’il est accepté par très peu d'hébergeurs (pas beaucoup de chance que ça fonctionne chez un hébergeur gratuit car ils refusent généralement la création de socket) et il nécessite probablement une sécurité plus importante.

5-2-2-3 Les fonctions en php

Il y a beaucoup de fonctions permettant, en PHP, d'ouvrir un fichier pour lire son contenu. Parmi ces fonctions, nous avons la fonction « file_get_contents() » qui permet de mettre ce contenu dans une variable.

Cette fonction accepte un nom de fichier comme argument et stocke le fichier dans une variable de chaîne (figure 25).

Figure 25: Fonction file_get_contents

23

Cette fonction permet de récupérer le code HTML d’une page Web dont le lien est passé en argument comme le montre la figure 26.

Figure 26: Code permettant de récupérer le code source d’une page Web

5-2-3 Implémentation

Après la conception du système d’information, il fallait passer à la phase de la réalisation. Le premier objectif de cette phase est le développement d’un module d’extraction de données qui va récupérer les informations relatives aux produits phytosanitaires et aux substances actives. La première étape pour la réalisation de l’extraction a été la récupération des codes sources des pages contenant les informations désirées. Ces informations seront extraites à partir de deux sites Internet : « e-phy » et « agritox ». En regardant le code source des pages des sites « e-phy » et « agritox », je me suis rendu compte que la structure des pages est très différentes d’un site à l’autre. Ceci m’a amené à développer deux programmes d’extraction différents et une interface (voir figure 45) avec deux boutons pointant, chacun, vers une page différente : l’une concernant l’extraction des données du site « e-phy » et l’autre réalisant la même opération mais pour le site « agritox ».

Pour bien automatiser l’extraction, j’ai pensé à récupérer l’ensemble des noms des produits ou des substances actives dans des formulaires et à laisser à l’utilisateur la possibilité de choisir le produit ou la substance dont il veut l’extraire les données. Sur le site « e-phy », les produits autorisés et retirés ainsi que les substances sont organisés suivant l’ordre alphabétique comme le montrent les figures 27,28 et 29.

24

Figure 27 : Accès alphabétique des substances actives.

Figure 28 : Accès alphabétique des produits phytosanitaires autorisés.

25

Figure 29 : Accès alphabétique des produits phytosanitaires retirés. Alors j’ai pensé à faire des listes déroulantes contenant la liste des lettres par laquelle commence l’ensemble des produits autorisés, retirés ou substances actives sur « e-phy » (voir figure 46). Pour la redirection vers la page du nom choisi, j’ai proposé une méthode pour récupérer le lien de la page à extraire. Pour cela, j’ai développé un script permettant de récupérer la liste des liens d’une page donnée (figure 30).

Figure 30 : Code permettant d’extraire les liens d’une page HTML Sur cet exemple, on récupère l’ensemble des liens de la page des produits commençant par la lettre « a ».

26

Une fois le choix fait, je récupère le lien dans la variable $_POST['lien'] que je concatène à l’adresse « http://e-phy.agriculture.gouv.fr/spe/spe » en ajoutant «. htm» à la fin, pour se rediriger vers la page contenant la liste des noms commençant par ce choix. Certaines pages contiennent un grand nombre de noms de produits ou de substances, ce qui pose un problème lors de la récupération de ces noms, car après un certain temps, l’extraction de ces noms s’arrête et on se retrouve avec un nombre de noms inférieurs à celui qui existe sur le site. Alors, la solution était de modifier la directive max_execution_time du fichier de configuration php.ini et d’appeler la fonction ini_set("max_execution_time", $time) qui rajoute la durée $time à celle définie par max_execution_time.

En récupérant le code source de la page grâce à la fonction « get_file_contents », je récupère la liste des liens grâce au script de la figure 31, que je stocke dans une table avec les noms des produits ou des substances, qui seront présentés à l’utilisateur pour qu’il fasse son choix.

Figure 31 : Script permettant de récupérer la liste des liens des produits phytosanitaires Une fois son choix validé, la correspondance entre le nom du produit et son lien se fait, on récupère le lien pour extraire les différentes données concernant le produit ou la substance qui va alimenter la base de données (voir figure 32).

27

Figure 32 : Code permettant de récupérer le lien du produit choisi

A cette phase l’opération de l’extraction va commencer. J’ai pensé à faire une fonction que j’ai appelé « extract_donnees($url) », cette fonction récupère le lien du produit ou la substance choisi, récupère le code source de la page et fait l’extraction (figure 32).

Prenons l’exemple de l’extraction des données concernant les produits autorisés. Ces données seront extraites du site « e-phy » car sur « agritox », on ne trouve que les substances actives.

Comme je l’ai présenté dans la partie concernant le principe de l’extraction, je dois parcourir le code source de la page du produit ou de la substance. Pour cela, j’utilise une fonction « php strpos() » qui donne la position d’une balise. En utilisant « substr() » on récupère une chaîne de caractères contenant l’information située entre les positions de début et de fin de l’information voulue, mais l’accès à l’information s’avère comme même difficile par le fait qu’il y ait une multitude de balises différentes et pour accéder à une balise, il se peut que d’autres balises du même type soient placées avant.

Une autre difficulté est dans le fait que certaines pages peuvent contenir des informations à extraire que d’autres de même structure n’ont pas, ou bien les mêmes informations mais qui sont structurés dans la page html d’une manière différente.

28

Figure 33 : Capture d’écran du code d’extraction du nom, famille et formulation d’un produit Ce bout de code (figure 33), permet d’extraire le nom, la famille et la formulation d’un produit phytosanitaire.

Figure 34 : Capture d’écran 1 du code d’extraction des substances actives d’un produit

29

Figure 35 : Capture d’écran 2 du code d’extraction des substances actives d’un produit Les figures (34 et 35) illustrent le code permettant d’extraire la substance active qui compose un produit phytosanitaire, ou bien l’ensemble des substances active composant le produit, s’il y en a plusieurs.

Figure 36 : Capture d’écran 1 du code d’extraction des phrases de prudence d’un produit

30

Figure 37 : Capture d’écran 2 du code d’extraction des phrases de prudence d’un produit

Les figures (36 et 37), montrent le code permettant d’extraire la phrase ou les phrases de prudence.

Figure 38 : Capture d’écran 1 du code d’extraction des phrases de risque d’un produit

31

Figure 39 : Capture d’écran 2 du code d’extraction des phrases de risque d’un produit

Les figures (38 et 39), montrent le code permettant d’extraire la phrase ou les phrases de risque.

Figure 40 : Capture d’écran 1 du code d’extraction des phrases de risque toxicologique

d’un produit

32

Figure 41 : Capture d’écran 2 du code d’extraction des phrases de risque toxicologique

d’un produit

Les figures 40 et 41, montrent le code permettant d’extraire la phrase ou les phrases de risque toxicologique.

Figure 42 : Capture d’écran 1 du code d’extraction des phrases d’usages d’un produit

33

Figure 43 : Capture d’écran 2 du code d’extraction des phrases d’usages d’un produit

Figure 44 : Capture d’écran 3 du code d’extraction des phrases d’usages d’un produit

Le code illustré sur les figures 42, 43 et 44, permet d’extraire différentes informations sur l’usage des produits phytosanitaires.

34

5-2-4 Interfaces de l’extraction

Figure 45: Interface permettant le choix de la source d’extraction de données

L’interface de la figure permet à l’utilisateur de choisir le site web duquel il voudra faire l’extraction de données.

Comme l’illustre la figure, l’interface propose de faire l’extraction de deux sites :

� http://e-phy.agriculture.gouv.fr � http://www.dive.afssa.fr/agritox/index.php

Une fois le choix validé, l’utilisateur sera redirigé soit vers la page concernant « e-phy » ou la page concernant « agritox ».

35

Figure 46: Interface pour faire l’extraction de «e-phy »

Dans le premier cas, l’interface de la figure 46 va s’afficher. Elle contient trois listes déroulantes qui concernent les produits autorisés, les produits interdits et les substances actives.

Dans chaque liste déroulante, l’utilisateur peut choisir une lettre, un chiffre ou un autre symbole.

Quand l’utilisateur aura validé son choix, l’utilisateur sera redirigé vers une autre page contenant la liste déroulante ou s’affichera l’ensemble des produits autorisés (figure 47), des produits interdits (figure 48) ou bien des substances actives (figure 49) qui commencent par la lettre, le chiffre ou le symbole choisis.

36

Figure 47: Liste déroulante affichant la liste des produits autorisés commençant par un chiffre

Figure 48: Liste déroulante affichant la liste des produits interdits commençant par la lettre « y »

37

Figure 49: Liste déroulante affichant la liste des substances commençant par la lettre « q »

Dans le deuxième cas, c’est l’interface de la figure 50 qui s’affichera contenant une liste déroulante qui contient le nom de toutes les substances actives qu’on peut trouver sur le site « agritox ».

Figure 50: Liste déroulante affichant la liste des substances dans le site « agritox »

38

Une fois le choix du produit ou de la substance est validé, que ça soit pour « e-phy » ou « agritox », l’extraction des données va commencer.

L’ensemble des données extraites sera stocké dans une base de données construite à partir, entre autres, du diagramme de classes de la figure 19, comme l’illustre, par exemple, les figures 51, 52 et 53.

Figure 51: Table contenant des informations sur le produit « 2866 »

39

Figure 52: Table contenant des phrases de prudence concernant le produit « 2866 »

Figure 53: Table contenant des informations sur l’usage du produit « 2866 »

40

5-3 Affichage

5-3-1 Interface souhaitée

Après avoir fait un module permettant de faire l’extraction des données qui serviront à alimenter la base de données, le deuxième objectif était la conception d’une interface adaptée aux connaissances de départ des futurs utilisateurs (voir figure 54). Trois catégories d’utilisateur ont ainsi été proposées :

� « agriculteur » ou exploitant, � « étudiant », � « expert ».

Figure 54: Fonctionnement souhaité de l’interface

Pour les utilisateurs « exploitant », la rapidité et la pertinence des informations est le but

recherché. Pour ceux-ci, les mécanismes chimiques ou toxicologiques relatifs à l’utilisation de certains

produits phytosanitaires n’est pas leur priorité principale.

En revanche, ces informations peuvent être utiles à de futurs « exploitant » dans le cadre de leur formation où ils disposent plus de temps pour se familiariser avec l’utilisation de ce type de produits. Dans ce cas, nous entrons dans la catégorie dite « étudiant ». Enfin, les « expert » doivent pouvoir accéder à l’ensemble des informations disponibles.

Ainsi, selon la catégorie à laquelle il appartient, l’utilisateur aura accès à plus au moins d’informations.

En outre, si certaines d’entre elles lui semblent encore inutiles, l’interface lui permettra de les masquer à un moment donné et les réafficher plus tard s’il le souhaite.

41

5-3-2 Interfaces de l’affichage

Figure 55: Interface d’inscription

Pour pouvoir accéder à l’interface principale, tout utilisateur doit avoir un compte pour pouvoir se connecter, mais auparavant, il doit s’inscrire (voir figure 55) en choisissant un login, un mot de passe et enfin un profil.

Figure 56: Interface d’authentification

Par la suite, l’utilisateur pourra se connecter en tapant son login et son mot de passe (figure 56).

42

Figure 57: Interface principale de l’affichage

Une fois connecté, l’interface de la figure 57 s’affichera. L’utilisateur pourra chercher des informations sur un produit phytosanitaire autorisé ou bien retiré, via une liste déroulante, lui présentant la liste des lettres et symboles par lesquels comment les différents produits existants dans la base.

43

Figure 58: Liste des produits autorisés commençant par la lettre « z »

Une fois son choix validé, l’utilisateur sera redirigé vers une autre page contenant une liste déroulante présentant l’ensemble des produits commençant par la lettre ou le symbole choisis, comme l’illustre la figure 58.

Après avoir choisi un produit, l’utilisateur sera redirigé vers une autre page, cette dernière sera adaptée au profil de l’utilisateur. Pour chaque profil, il y aura plus au moins d’informations, en adéquation avec les connaissances de base de chaque utilisateur.

44

Figure 59: Interface d’affichage pour le profil « agriculteur »

Si l’utilisateur a un profil « agriculteur », alors il verra s’afficher la page illustrée par la figure 59.Cette page contient moins d’informations sur les pesticides par rapport aux pages adaptées aux deux autres profils.

Figure 60: Interface d’affichage pour le profil « etudiant »

45

Sinon, si l’utilisateur est un étudiant, alors, il sera redirigé vers la page de la figure 60, où il aura plus d’informations par rapport à un agriculteur.

Figure 61: Interface d’affichage pour le profil « expert »

Et pour le dernier profil, celui d’un expert, il aura droit d’accéder à toutes les informations qui concernent les produits phytosanitaires (voir figure 61).

46

Figure 62: Capture d’écran 1 du produit phytosanitaire «ZAPPER »

Figure 63: Capture d’écran 2 du produit phytosanitaire «ZAPPER »

47

Prenons l’exemple du produit « ZAPPER » (figures 62 et 63) et prenons comme exemple le profil d’un « expert ». Comme je l’ai déjà mentionné, un expert aura accès à toutes les informations relatives au produit « ZAPPER » et il aura la possibilité aussi, de choisir les types d’informations qu’il veut savoir sur ce produit.

Figure 64: Sélection de quelques données relatives au produit « ZAPPER »

Pour l’exemple illustré par la figure 64, l’utilisateur choisit de voir la famille, la formulation, les substances qui composent le produit, ainsi que son usage. Une fois il valide ses choix, l’ensemble de ces informations s’affichera comme le montre la figure 65.

48

Figure 65: Affichage des données sélectionnées relatives au produit « ZAPPER »

Mais s’il veut accéder à l’ensemble des informations relatives au produit qu’il a choisi, il n’a qu’à choisir tout cocher (figure 66) et valider son choix pour voir toutes les informations sur le produit (figure 67).

Figure 66 : Sélection de toutes les données relatives au produit « ZAPPER »

49

Figure 67: Affichage de toutes les données relatives au produit « ZAPPER »

50

Conclusion

Ce projet consistait à concevoir une application Web, offrant aux utilisateurs de pesticides les différentes informations et préconisations relatives à l’utilisation des pesticides.

Dans le cadre de ce stage, j’ai développé un module d’extraction de données, qui permet de récupérer différentes données sur les pesticides et les substances actives qui les composent, ainsi qu’une interface d’affichage adaptée au profil de chaque utilisateur et à ses connaissances de base et ses besoins.

Toutefois, il y aura des améliorations à apporter à l’application, au niveau de

l’extraction ou bien au niveau de l’affichage :

� En intégrant d’autres sources de données, de différents types, lors de l’extraction, � En prenant en considération les différents cas particuliers lors de l’extraction, � Ajouter à l’interface de l’affichage, une liste déroulante concernant les substances actives.

Vu le manque de temps, je n’ai pas pu poursuivre l’étude et la proposition de solutions

relatives aux problématiques propres aux entrepôts de données.

Néanmoins, ce projet m’a été bénéfique, car il m’a permis d’approfondir mes connaissances en base de données, ainsi qu’aux langages de développement web, spécialement en PHP, et m’a permis de concevoir une application Web, ce qui pourrait m’être utile par la suite.

51

Références bibliographiques et webographiques [1] http://www.cemagref.fr

[2] http://www.cemagref.fr/le-cemagref/ses-missions

[3] [ULLMAN 2003] Larry ULLMAN, «PHP et MYSQL Développement Web», CampusPress, 2003 [4] http://www.objecteering.fr/products_mda_modeler.php [5] http://www.modelsphere.org/fr/open_modelsphere.html [PHP] http://www.vulgarisation-informatique.com/cours-programmation.php [PHP] http://www.siteduzero.com/tutoriel-3-14668-concevez-votre-site-web-avec-php-et- mysql.html [JavaScript] http://www.editeurjavascript.com/cours/ [SQL] http://sqlpro.developpez.com/cours/sqlaz/dml/

52

ANNEXE

Partie A : Extraction

� Extraction de données des substances actives sur « agritox » - Code permettant de faire l’extraction des substances actives sur « agritox ».Ce code

permet d’extraire le nom de la substance et ses activités biologiques.

- Code permettant de faire l’extraction de la famille chimique à laquelle appartient une

substance active.

53

- Code permettant d’extraire les propriétés physico-chimiques d’une substance active. Cette figure illustre l’extraction de la formule brute.

- Code permettant d’extraire les propriétés physico-chimiques d’une substance active. Cette figure illustre l’extraction du poids moléculaire et l’état physique de la substance.

54

� Extraction de données des substances actives sur « e-phy »

- Code qui permet de faire l’extraction du nom de la substance active et des produits qui entre dans leur composition.

55

- Code permettant de faire l’extraction des actions biochimiques d’une substance active.

56

- Code permettant de faire l’extraction des phrases d’usage concernant les substances.

57

� Extraction de données des produits phytosanitaires retirés sur « e-phy »

- Code permettant de faire l’extraction du nom du produit phytosanitaire retiré.

- Code permettant de faire l’extraction de la date d'autorisation et la date d'interdiction.

58

- Code permettant d’extraire les substances actives composant un produit phytosanitaire

retiré.

59

- Code permettant d’extraire le commentaire associé à chaque produit retiré.

- Code permettant d’extraire les phrases de prudence d’un produit retiré.

60

- Code permettant d’extraire les phrases de risque d’un produit retiré.

61

- Code permettant d’extraire les phrases de risque toxicologique d’un produit retiré.

62

- Code permettant d’extraire les phrases d’usages d’un produit retiré.

63

64

Partie B : Affichage - Codes permettant affichant les données relatives à un produit selon le profil de

l’utilisateur.

- Ce code concerne le profil « agriculteur ».

65

- Ce code concerne le profil « etudiant ».

- Ce code concerne le profil « expert ».

66

- Code permettant d’afficher les données sélectionnées par l’utilisateur.