Upload
joel-cornet
View
112
Download
0
Embed Size (px)
Citation preview
TITRE 1TITRE 1
Partie II :Partie II :
REPRISE DE REPRISE DE DONNEESDONNEES
LA REPRISE DE DONNEES
Présentation rapide des fonctionnalités de la V1.6
Présentation générale de la reprise de données
La migration informatique
TP de migration
Présentation des Présentation des fonctionnalités fonctionnalités Harpège V1.6Harpège V1.6
Agent
Poste
Occupation /Affectation
Individu
Position
Carrière
CongésModalités
Emploi
Listes Electorales
Promouvabilités ITARF
SS
TT
RR
UU
CC
TT
UU
RR
EE
SS
II
MM
PP
LL
AA
NN
TT
AA
TT
II
OO
NN
SS
LL
OO
CC
AA
UU
XX
Contrat
CongésModalités
Contractuels Fonctionnaires et assimilés
Le champ fonctionnel d’HARPEGE V1.6Le champ fonctionnel d’HARPEGE V1.6
Domaine individuDomaine individu
L’individu est une personne qui participe ou a participé à l’activité de l’établissement, et sur laquelle il est souhaitable de connaître un minimum d’informations
Remarque : les personnes connues uniquement comme individu sont dites «hébergées»
Tout personnel de l’établissement est obligatoirement un individu
Agents avecune carrière
Agents avecun contrat
Individus hébergés
Ensemble des individus
De l’individu à l’agentDe l’individu à l’agent
L’agent (ou personnel) est un individu qui à un instant donné possède une carrière ou un contrat (ou les deux).
AGENT est « le passage obligé » pour utiliser et associer les autres constituants de la gestion d’un dossier : carrière, contrat, congés...
D’autres concepts sont associés à l’agent : la position (pour les fonctionnaires) l’occupation et l’affectation le bénéfice de modalités de service, de congés et
d’absences ...
Agent
Poste
Occupation /Affectation
Individu
Position
Carrière
CongésModalités
Emploi
Listes Electorales
Promouvabilités ITARF
SS
TT
RR
UU
CC
TT
UU
RR
EE
SS
II
MM
PP
LL
AA
NN
TT
AA
TT
II
OO
NN
SS
LL
OO
CC
AA
UU
XX
Contrat
CongésModalités
Contractuels Fonctionnaires et assimilés
Le champ fonctionnel d’HARPEGE V1.6Le champ fonctionnel d’HARPEGE V1.6
Définitions
Un type de population est un ensemble de corps formant une grande catégorie d'agents
ex : les Enseignants-chercheurs, les ITARF, les ASU, les Hospitalo-universitaires...
Une carrière est un ensemble d'éléments de carrière dans un même type de population
ex : Une carrière d ’enseignant-chercheur : Assistant--> Maître de conf --> Prof
Un élément de carrière est caractérisé par une date d'effet, un corps, un grade et un échelon (le cas échéant, un chevron)
ex : au 01/03/1999 : Maître de conf. de 1è cl, 4è échelon
Concepts de carrièreConcepts de carrière
Position statutairePosition statutaire
Tout fonctionnaire est placé dans une des positions définies par le statut général des fonctionnaires.
Ces positions sont : Activité, Détachement, Hors cadre, Disponibilité, Service national, Congé parental.
Agent
Poste
Occupation /Affectation
Individu
Position
Carrière
CongésModalités
Emploi
Listes Electorales
Promouvabilités ITARF
SS
TT
RR
UU
CC
TT
UU
RR
EE
SS
II
MM
PP
LL
AA
NN
TT
AA
TT
II
OO
NN
SS
LL
OO
CC
AA
UU
XX
Contrat
CongésModalités
Contractuels Fonctionnaires et assimilés
Le champ fonctionnel d’HARPEGE V1.6Le champ fonctionnel d’HARPEGE V1.6
Contractuels
Les notions de corps,grades,promotions,... ne s’appliquent
pas
Fonctionnaires et assimilés(type CNRS, contractuels d'administration)
Situation statutaire et réglementaire (corps, grade,
promotions,...)
Occupation /Affectation
Agent
Contrat
Position
Carrière
Le contrat traduit l’accord entre un agent et l’établissement, qui s’appuie sur un document descriptif des conditions d’exécution de l’engagement réciproque
Distinction entre contrat et carrière :
Domaine ContratDomaine Contrat
Contrats et avenantsContrats et avenants
Le contrat initial est enregistré sous l ’avenant n° 0 rattaché au contrat.
Règles à retenir : La somme des quotités de recrutement sur
une période ne peut pas dépasser 100 % (ou le plafond des 169 h/mois)
Les périodes de 2 avenants successifs doivent être contiguës
Pour chaque type de contrat existent des règles particulières (durée minimale ou maximale, renouvellement...)
A chaque type de rémunération correspond une base spécifique
Agent
Poste
Occupation /Affectation
Individu
Position
Carrière
CongésModalités
Emploi
Listes Electorales
Promouvabilités ITARF
SS
TT
RR
UU
CC
TT
UU
RR
EE
SS
II
MM
PP
LL
AA
NN
TT
AA
TT
II
OO
NN
SS
LL
OO
CC
AA
UU
XX
Contrat
CongésModalités
Contractuels Fonctionnaires et assimilés
Le champ fonctionnel d’HARPEGE V1.6Le champ fonctionnel d’HARPEGE V1.6
Définitions “Emplois - Définitions “Emplois - Postes”Postes”
Emploi : ressource mise à la disposition de l’établissement par l’administration centrale, qui lui permet de créer des postes et de rémunérer des personnes.
Les emplois sont délégués au travers de “décisions de délégations” soit à l’établissement, soit à une structure de l’établissement (par exception).
Poste : unité de gestion des emplois délégués et support de nomination d’une (ou de plusieurs) personne (s).
Les postes sont financés soit sur :
- le budget de l’état (emplois délégués ou rompus de temps partiel)
- le budget propre de l’établissement
BUDGET ÉTAT
Enregistrementdes délégations
Création d’emploissur rompus
Création depostes permanents
Création depostes temporaires
Création depostes permanents
Création depostes temporaires
Attribution éventuelle des postes aux structures
Localisation des postes dans les structures
Occupation / Affectation
Mise à jour du potentiel de l’établissement
Domaine “Emplois - Postes”Domaine “Emplois - Postes”BUDGET PROPRE
Création / Mise à jour des postes
Agent
Poste
Occupation /Affectation
Individu
Position
Carrière
CongésModalités
Emploi
Listes Electorales
Promouvabilités ITARF
SS
TT
RR
UU
CC
TT
UU
RR
EE
SS
II
MM
PP
LL
AA
NN
TT
AA
TT
II
OO
NN
SS
LL
OO
CC
AA
UU
XX
Contrat
CongésModalités
Contractuels Fonctionnaires et assimilés
Le champ fonctionnel d’HARPEGE V1.6Le champ fonctionnel d’HARPEGE V1.6
Définition Définition d'occupation/affectationd'occupation/affectation
Le couple “poste-agent” est affecté
à une (ou plusieurs) structure(s)
Poste
Agent
x %x %
occupe
x %
Établissement
UFR A UFR B IUT Sce commun
DépartementA
DépartementB
LaboratoireX
Laboratoire Y
Service 1 Service 2
est affecté à
Occupation
Synthèse des liens Synthèse des liens
Emploi
Poste
Agent
finance
est délégué à et donc appartient à
peut être attribué à
peut être localisé dans
occupe
x %
x %
Établissement
UFR A UFR B IUT Sce commun
DépartementA
DépartementB
LaboratoireX
Laboratoire Y
Service 1 Service 2
1 AffectationPrincipale pour
l'agent
Occupation
est affecté à
x %
Agent
Poste
Occupation /Affectation
Individu
Position
Carrière
CongésModalités
Emploi
Listes Electorales
Promouvabilités ITARF
SS
TT
RR
UU
CC
TT
UU
RR
EE
SS
II
MM
PP
LL
AA
NN
TT
AA
TT
II
OO
NN
SS
LL
OO
CC
AA
UU
XX
Contrat
CongésModalités
Contractuels Fonctionnaires et assimilés
Le champ fonctionnel d’HARPEGE V1.6Le champ fonctionnel d’HARPEGE V1.6
Modalités de service / CongésModalités de service / Congés
Modalités de service : situation particulière pour l’agent, sur une période définie (date de fin obligatoire) durant laquelle :
sa quotité de travail dans l’établissement est inférieure à 100%,
son occupation n’est pas modifiée.
Ex: Temps partiel, CPA, Mi-temps thérapeutique …
Absence/Congé : période définie durant laquelle l’agent n’est pas à son poste de travail pour un motif autorisé pouvant avoir une incidence sur son occupation.
Ex : congés sécurité sociale : COM, CLM, CLD, maternité …
Ex autres congés : congés formation, CRCT ...
Congés déconcentrésCongés déconcentrés
Gestion dynamique des congés et des éditions d’arrêtés pour les congés maladie et les congés maternité :
- Nécessité de paramétrer le niveau de gestion déterminé par les mesures de déconcentration (chacun assorti des entêtes et visas appropriés)
- Possibilité de produire différents types d’arrêtés selon le niveau gestion
- Requalification automatique des Congés ordinaires par un CLM,
- Gestion historique des congés avec reconsidération possible des périodes de rémunération .
Agent
Poste
Occupation /Affectation
Individu
Position
Carrière
CongésModalités
Emploi
Listes Electorales
Promouvabilités ITARF
SS
TT
RR
UU
CC
TT
UU
RR
EE
SS
II
MM
PP
LL
AA
NN
TT
AA
TT
II
OO
NN
SS
LL
OO
CC
AA
UU
XX
Contrat
CongésModalités
Contractuels Fonctionnaires et assimilés
Le champ fonctionnel d’HARPEGE V1.6Le champ fonctionnel d’HARPEGE V1.6
Promouvabilités ITARFPromouvabilités ITARF
Une aide à la constitution des listes de promouvables ITARF, aux calculs d’anciennetés nécessaires à l’examen de ces promouvabilités, à l’édition des dossiers, etc.
Fonctionnalités : La consultation des circulaires ; Le calcul des listes ; Les modifications des listes ; L’édition de diverses listes de travail ; La saisie des propositions, et du classement le cas
échéant, formulés par les structures ; La saisie du classement de l’établissement ; L’édition des dossiers des agents promouvables ; L’édition des propositions classées de l’établissement,
pour transmission au ministre ; Le verrouillage des listes.
Listes ÉlectoralesListes Électorales
L’outil Listes électorales permet d’éditer les listes électorales, par collège (et éventuellement par secteur électoral ), par composante élective ou par bureau de vote, pour :
12 types d’instances locales et professionnelles, faisant l’objet d’une réglementation nationale.
d’éventuels types d’instances créés sur la base des statuts de l’établissement.
Les éditions Les éditions HarpègeHarpège
Les éditions HarpègeLes éditions Harpège
Principe de fonctionnement
Papier ou fichier .PRN
Fichiers plats
Exploitation des fichiers .PRN
Exploitation des fichiers plats .LIS
Les opérateurs
Saisie des paramètres
Fenêtre d’évaluation
Liste des éditions Harpège
Saisie de la liste de paramètres + date d’observation
Choix dans un menu de l’item Editions
Editer : Evaluation de la sélection
Nom de l’édition
Annuler
Impression du
document
Impression dans un
fichier PRN
FermerAperçu
(Affichage à l’écran)
Impression papier
AnnulerImpression du document
Impression dans un
fichier PRN
Impression papier
Retour à l’écran de l’évaluation de la sélection
+
Les éditions courantes : papier et/ou Les éditions courantes : papier et/ou PRNPRN
Saisie de la liste de paramètres + date d’observation
Editer : Evaluation de la sélection
Nom de l’édition
Fermer
Aperçu(Affichage à l’écran)
AnnulerImpression du document
Impression dans un
fichier .lis(option pré-cochée)
Les éditions sur fichiers platsLes éditions sur fichiers plats
Choix dans un menu de l’item Editions
Annuler
Exploitation d ’un fichier .PRNExploitation d ’un fichier .PRN
Les fichiers .prn générés ne sont pas exploitables dans Word ou Excel, ces fichiers sont comparables à des fichiers postscript.Cette fonctionnalité est utile dans le cas où vous ne pouvez pas imprimer directement à partir du PC avec lequel l'édition à été lancée (l'imprimante n'est pas en réseau par exemple).
Pour imprimer les fichiers .prn :1/ capturer le port imprimante que vous voulez utiliser :- Choisir "Propriétés"- Dans l'onglet "Détails", cliquez sur le bouton "Capturer le port imprimante" et sélectionner le port et le chemin de votre imprimante.
2/ exécuter la commande suivante sous DOS : copy <nom du fichier> <port de l'imprimante>ou print <nom du fichier> <port de l'imprimante>
Exploitation d ’un fichier Exploitation d ’un fichier plat .LISplat .LIS
Les fichiers plats .LIS générés sont exploitables avec les outils bureautiques (Word, Excel …).
Cette fonctionnalité a été développée pour donner plus de souplesse sur certaines éditions.Chaque établissement peut mettre en forme ces éditions selon les spécificités propres au site.
Les fichiers .LIS sont enregistrés dans le répertoire mentionné par l ’utilisateur lors de la demande d ’édition.
Les opérateursLes opérateurs
Si le paramètre est une date, la liste des opérateurs est limitée à >= et <=
Définition d’un paramètre de sélection : un paramètre de sélection est composé
obligatoirement d’un opérateur et d’une valeurExemple :
Liste des opérateurs : =, <, >, <=, >=, not=, absent, =fils, comme. Suivant le type de paramètre (date, structure, numéro
de dossier, ...), la liste des opérateurs est réduite.
Plusieurs lignes de paramètres de sélection sont autorisées.
Saisie de la liste des paramètresSaisie de la liste des paramètres
<= 01/01/1990Opérateur
Valeur
La ligne de paramètresLa ligne de paramètres
Définition d’une ligne de paramètres :
un enregistrement est sélectionné s'il satisfait à toutes les conditions et paramètres saisis .
Ex : condition 1 et condition 2 et ...
Plusieurs lignes de paramètres de sélection sont autorisées.
Dans ce cas , chaque enregistrement doit répondre soit aux conditions d'une ligne soit aux conditions d'une autre ligne.
Ex : condition(s) ligne 1 ou condition(s) ligne 2 ou ...
opérateur
liste de valeursen double cliquant ou touche clavier<F9>
libellé associé àla valeur saisie
apparait sur sur toutes les
pages de l'édition
ascenseurs
date du jour ou date antérieureou date postérieure
si la boîte est cochéealors totalisation
bouton
pop-listcontenantla liste desopérateursautoriséspour cetteédition
Grille de sélectionGrille de sélection
Fenêtre d ’évaluation Fenêtre d ’évaluation liste des agents affectés à UP12 et percevant la bonification indiciaire
au 16 janvier 1997
saisie de la date : 16/01/1997 demande de totalisation
bouton delancement
del'évaluation
fenètre de communicationindiquant approximativement le nombre d'enregistrements
sélectionnésvisualise àl'écranl'impression
lancel'impression
Liste des éditionsListe des éditions
• Domaine Individu- Dossier individu- Etiquettes administratives (fichier plat)- Etiquettes personnelles (fichier plat)-Liste alphabétique des personnels établissement
• Domaine Agents - Dossier Agent- Liste des numéros INSEE provisoires- Listes des titulaires (fonctionnaire) par âge- Liste par position : édition des fonctionnaires par position statutaire- Liste par population : édition des fonctionnaires par type de
population (Itarf,Atos, Enseignants, etc.)- Historique Carrières et contrats pour un agent- Etiquettes administratives (fichier plat)- Etiquettes personnelles (fichier plat)
-Situation santé-sécu
Liste des éditions (suite)Liste des éditions (suite)
• Domaine Carrière- Bonification indiciaire : édition des bénéficiaires de bonification indiciaire
- Etiquettes adresses administratives et personnelles
- Edition du traitement de changement de chevron
•Domaine Contrat- Fin de contrat de travail : édition des agents en fin de contrat- Type de contrat de travail : édition des contrats par type de contrat- Arrêté de fin de contrat (fichier plat)- Etiquettes administratives (fichier plat)- Etiquettes personnelles (fichier plat)
• Domaine Position- Fichier relance position (fichier plat)- Relance position
• Domaine Modalités de serviceTemps partiel : - Liste des agents ATOS
- Liste des agents ITARF - Relance temps partiel (fichier plat)
Liste des éditions (suite)Liste des éditions (suite)•Domaine congés
- arrêtés de COM déconcentrés- arrêtés de CMNT déconcentrés
• Emplois et postes-Etat d ’occupation des postes BE- Nombre d’emplois et postes par enveloppe- Potentiel des postes sur budget Etat- Potentiel des postes sur budget propre- Occupation des postes- Occupation-Affectation des postes- Historique localisation des postes- Historique Occupation-Affectation
•Pilotage- Consultation sur modalités-congés (choix impression ou fichier
plat) - Liste des notes 2nd degré- Liste des notes ATOS- Liste des notes ITARF- Fiche notes ITARF
Nomenclatures- Editions des nomenclatures nationales
Liste des éditions (suite et fin)Liste des éditions (suite et fin)• Listes électorales
Edition des nomenclatures (bureaux de vote, collèges, composantes électives, instances, secteurs, sections électives, types
d’exclusions) Edition des listes :-Listes de référence, d’affichage, d’émargement -Fichier des électeurs (fichier plat)-Liste des agents exclus (édition et fichier plat)-Liste des électeurs sans bureau de vote-Liste des électeurs à multiple affectation
• Promouvabilités ITARF-Paramétrage des structures (édition de l ’arborescence des
structures)
-Liste des agents proposés (liste d’aptitude et tableau d’avancement)
-Liste des agents promouvables par structure, par corps de promotion
-Liste de tous les agents par corps de promotion.
-Dossier agent (liste d’aptitude et tableau d’avancement)
Structures-Arborescence structures
Le paramétrage d ’Harpège est constitué de 7 éléments qui doivent être traités dans l ’ordre suivant :
Paramétrage de l ’établissement
Création des utilisateurs
Saisie des profils d ’habilitations
Initialisation des nomenclatures locales
Création des implantations / adresse et locaux
Saisie des structures
Paramétrage des congés et saisie des visas
Rappel des 7 éléments du Rappel des 7 éléments du paramétrageparamétrage
(vus lors de la formation paramétrage début décembre)(vus lors de la formation paramétrage début décembre)
AdministrationHarpège
Harpège
Présentation Présentation générale de la générale de la
reprise des donnéesreprise des données
Présentation générale de la Présentation générale de la reprise de donnéesreprise de données
Objectif
Organisation
Caractéristiques
Pré-requis
Diagnostic de l’existant
Stratégie de reprise
Planification
Outils de migration
Ordonnancement de la reprise
ObjectifsObjectifs
Disposer d’une base fiable et complète Base complète : elle permet de retracer
toute la carrière des agents depuis le début de leur activité.
Base fiable : exactitude des données, conformité par rapport à la réglementation.
Pourquoi faire ? Assurer la gestion individuelle et collective
des agents. Fournir à l’établissement les données
individuelles et agrégées nécessaires à sa gestion et à son pilotage.
OrganisationOrganisation
Équipe migration : 1 informaticien1 fonctionnel
contact permanent processus itératif
Planning réalisé et communiqué
CaractéristiquesCaractéristiques
Il s’agit d’introduire au minimum toutes les données obligatoires dans Harpège avec pertinence et cohérence
Données obligatoires : données minimales mais nécessaires pour
valider la saisie d’un écran. données minimales et nécessaires pour
activer des fonctionnalités transverses
Pré-requisPré-requisRéfléchir sur l’organisation dans Harpège (structures - implantations géographiques)
Pour commencer une reprise des données, aussi bien manuelle qu’automatique, les données minimum à saisir dans la base HARPEGE sont :
Les structures, au moins le niveau 1Les utilisateursLes habilitationsLes nomenclatures localesLes implantations géographiques/locaux, au
moins niveau 1
Diagnostic de l ’existantDiagnostic de l ’existant
Les sources de donnéesà partir des applications localesà partir des applications nationales (AGORA, POPPEE, …)
Les étapes du diagnosticdéterminer les catégories de personnels à migrervérifier les concepts et nomenclatures locales avec
Harpègeétudier les modèles de données
Les outils du diagnosticmodèles de données locaux et Harpègenomenclatures locales et Harpège liste des champs obligatoires
Stratégie de repriseStratégie de reprise
Définition des objectifs de reprise à partir :
du diagnostic fait précédemment de choix de gestion et de pilotage de l’établissement de la volonté de mettre en œuvre le domaine gestion collective ...
Stratégie et plan d’action définir les données à migrer avec quel détail (historique, en cours) établir un planning avec ses priorités
Préparation de la reprise compléter les données dans la base locale établir les correspondances des nomenclatures entre la base locale et Harpège
La reprise de donnéesLa reprise de données
Facteurs de succès Diagnostiquer précisément l’état de la baseDéfinir clairement les objectifs : que veut-on reprendre,
à quel rythme, etc...
Mises en gardeSous-estimer la charge de travail - manque de moyens
Ne pas se donner de limite dans le temps ou se donner des échéances irréalistes
Contraintes Impossibilité de faire évoluer HARPEGE (patch, version
supérieure) avant la fin de la migrationPas d’exploitation possible du produit tant que les
données ne sont pas insérées
La reprise de données (suite)La reprise de données (suite)
Recommandations Attention à la codification (% - _ ,) Attention aux minuscules / majuscules
PlanificationPlanification
Installation version initiale installation version initiale serveur installation outils de migration installation partie cliente
Migrationutilisation des outils de migration liés à la version
initiale
Passage site en exploitationmise à niveau de la version : passage de tous les patchs
correctifs et nomenclatures.
Outils de migrationOutils de migration
Toute la migration repose sur l ’utilisateur Mig_test
schéma identique à harp_admactivation des contraintes
Remplir Mig_testprocédures personnelles
utilisateur DPATE (Agora, Popee Itarf, Popee Bibliothèque)
automatisé : sqlloader + procédure
Mig_test vers Harp_admautomatisé : livraison de procédure
Outils de migrationOutils de migration
Schéma MIG_TEST
Schéma HARP_ADM
Mig_btch.sql
(procédure)
Schéma DPATE
AGORA, POPPEE
Chgt_tab.sh(sqlloader)
Dpt_btch.sh(procédure)
Données perso(GRH, GPU, …) Transfert
personnel
Outils de migration - sqlloaderOutils de migration - sqlloader
SQL*LOADER
Enregistrementsincorrects
Enregistrementsnon sélectionnés
Correction
rEnregistrements
SQL*LOADER
Fichier DATA (jess.xxx)
Lecture (xxx.ctl)
When clause
Bad file(xxx.bad)
Discard file(xxx.dsc)
Compte rendu(xxx.log)
Base de donnéesdpate
Outils de migration - sqlloaderOutils de migration - sqlloaderLe fichier de contrôle (.ctl)
LOAD DATAINFILE 'chrg_dpt/jess.aff'BADFILE 'chrg_dpt/aff.bad'DISCARDFILE 'chrg_dpt/aff.dsc'REPLACE INTO TABLE affFIELDS TERMINATED BY '|'TRAILING NULLCOLS(AFFNUM INTEGER EXTERNAL ,NUMIND INTEGER EXTERNAL ,UAARNE CHAR ,AFMICO CHAR ,DATDEB DATE "DD/MM/YYYY" ,DATFIN DATE "DD/MM/YYYY" ,AFFANC CHAR NULLIF AFFANC=BLANKS,AFFDAN DATE "DD/MM/YYYY" NULLIF AFFDAN=BLANKS,AFFDIN DATE "DD/MM/YYYY" NULLIF AFFDIN=BLANKS,AFFINS CHAR NULLIF AFFINS=BLANKS)
Outils de migration sqlloaderOutils de migration sqlloader
Le fichier DISCARD (.dsc)Uniquement alimenté par la clause when si elle existeÉcrit dans le même format que le fichier DATA
Le fichier BADFILE (.bad)Enregistrement incorrect au sens base de donnéesÉcrit dans le même format que le fichier DATA
Le fichier LOGFILE (.log)Nombre d ’enregistrements insérésNombre d ’enregistrements ignorésNombre d ’enregistrement en erreurExplications des erreurs et rejets
Agent
Poste
Occupation /Affectation
Individu
Position
Carrière
CongésModalités
Emploi
SS
TT
RR
UU
CC
TT
UU
RR
EE
SS
II
MM
PP
LL
AA
NN
TT
AA
TT
II
OO
NN
SS
LL
OO
CC
AA
UU
XX
Contrat
CongésModalités
Contractuels Fonctionnaires et assimilés
Ordonnancement de migrationOrdonnancement de migration
Ordonnancement de migrationOrdonnancement de migrationIND_EAT (1,1) PST_IDBP (1,3)EMP_MOY (1,2)
IND_STR (2,1) PER_AGT (2,2) PST_IDBE (2,3)
CAR_ELEM (3,1) PER_PAS (3,2) PER_CTR (3,3)
CAR_BIND (4,2) PER_POS (4,1)
PER_DEPA (5,2) PIL_NOTE (5,3)
CGA_CMNT (4,3)CGA_CGM (4,4CGA_NTIT (4,5)CGA_ACTR (4,6)
PER_TPS (5,4)
OCAF_PER (5,1)
CGA_MAD(6,1CGA_LIMA (6,2)CGA_SURN (6,3)CGA_MTFC (6,4)CGA_COM (6,5)CGA_ACSE (6,6)CGA_CRCT (6,7)CGA_STAG (6,8)CGA_BONI (6,9)
CGA_CPA (6,10)CGA_DELE (6,11)CGA_ADOP (6,12)CGA_FORM (6,13)CGA-MIDE (6,14)CGA_MATE (6,15)CGA_CLM (6,16)CGA_CLD (6,17)
CGA_MTTH (6,18)CGA_FACT (6,19)AFF_SSOC (6,20)
MigrationDPATE
HarpègeVersion 1.6.1.
Formations Formations techniquestechniques
décembre 2001
Agence de modernisation des universités et des établissements
TITRE 1TITRE 1ProgrammeProgramme
Programme de la deuxième Programme de la deuxième journéejournée
Migration informatique………………….….9h00
Présentation du TP ……………………….….9h45
Pause .…………………………………..10h30
Mise en œuvre du TP ……………………….10h45
Repas …………………………………..12h00
Mise en œuvre du TP (suite) ………………13h45
Conclusion …………………………………...15h30
Fin ……………………………………………..16h00
La migration La migration informatiqueinformatique
La migration informatiqueLa migration informatique
Schéma MIG_TEST
Schéma HARP_ADM
Mig_btch.sql
(procédure)
Schéma DPATE
AGORA, POPPEE
Chgt_tab.sh(sqlloader)
Dpt_btch.sh(procédure)
Données perso(GRH, GPU, …) Transfert
personnel
Plan de l ’exposéPlan de l ’exposé
•Pré-requis
•Principes de base et les objectifs de la migration
•Les deux phases de la migration migration données locales -> MIG_TEST migration MIG_TEST -> base Harpège
•Première phase : migration données locales -> MIG_TEST Analyse des données locales Chargements des données dans MIG_TEST
avec fichiers plats chargement direct de MIG_TEST avec les données nationales (AGORA, POPPEE …)
•Deuxième phase : migration MIG_TEST -> base Harpège mise en œuvre de l ’outil de migration
Le site a créé une instance Oracle avec l’utilisateur MIG_TEST, propriétaire des tables temporaires
Le site dispose d’une source de données fiable
Le site a décidé d’une stratégie de reprise : niveau des données à migrer
Le site a effectué des enquêtes pour compléter les informations manquantes
Pré-requisPré-requis
Principes de base : Appliquer sur les données migrées
l’ensemble des règles de gestion d’Harpège Aucune altération du référentiel Harpège ne
peut être envisagée, ni acceptée (tables, programmes, nomenclatures)
Objectifs : Disposer d’une base Harpège remplie, et en
parfaite cohérence avec les règles de gestion de l’application
Disposer d’une base Harpège prête à fonctionner en exploitation
Les principes de base et les Les principes de base et les objectifs objectifs
Outil de migration
user : MIG_TEST
tables des données à migrer, tables temporaires, images des tables d’Harpège
user : HARP_ADM
tables Harpège
Source de données existante
travail de migration
vers MIG_TEST
Les deux phases de la migration Les deux phases de la migration
1ère phase : migration vers MIG_TEST
2ème phase : migration de MIG_TEST vers
HARP_ADM
Première phase : migration vers Première phase : migration vers MIG_TEST MIG_TEST
Schéma général : les 2 phases de la migration
Préparation de la migration vers MIG_TEST
Analyse des données locales
Chargement de MIG_TEST : fichiers plats
à partir d ’application(s) locale(s)
à partir des données nationales (agora, poppee ==> dpate)
Travail d’équipe indispensable entre le gestionnaire et l’informaticien
Identification des informations à renseigner
Création de tables de correspondance
Respect des règles de gestion
Remplir les tables temporaires de MIG_TEST avec les informations obligatoires d’Harpège
Faciliter au maximum l’étape de migration vers Harpège
Préparation de la migration Préparation de la migration vers MIG_TESTvers MIG_TEST
Analyse des données Analyse des données localeslocales
Etude du modèle de données local
quels sont les concepts (objets) modélisés ?
quelles sont les nomenclatures utilisées ?
quelles sont les clefs, les champs obligatoires ?
quelles sont les règles de gestion
exprimées dans le modèle : unicité, foreign key, ...
vérifiées par l ’application
Comparer chacun de ces points avec le modèle de données d ’Harpège
Analyse des données Analyse des données localeslocales
Problèmes rencontrésProblèmes rencontrés Informations obligatoires différentes, champs manquants. Ex. type d ’accès à un corps ou à un grade
Même concept, mais nomenclatures différentes. Ex. les diplômes
Le même nom ne signifie pas la même chose dans les deux modèles. Ex. les positions statutaires
Utilisation floue ou laxiste des concepts. Ex. positions statutaires,modalités de service, congés, …
Pas de distinction entre emploi et postes
Séparation pas toujours nette entre les attributs des agents et les attributs des emplois
user : MIG_TEST
tables des données à migrer, tables temporaires, images des tables d’Harpège
Source de données existante
Chargement de MIG_TESTChargement de MIG_TESTavec des fichiers plats avec des fichiers plats
Ensemble de fichiers plats
1/ Extraire 2/ Chargement
3/ Analyse des erreurs
4/ Mises à jour
5/ Déterminationde l ’erreur
6/ Mises à jour
Définition des fichiers platsDéfinition des fichiers plats
Un fichier plat doit correspondre à :
une table de MIG_TEST ou à un sous-ensemble de champs d ’une table comprenant des champs obligatoires
un ensemble de champs, éventuellement vides, de longueur fixe ou délimités par un séparateur
Les fichiers plats sont générés en utilisant la
fonction exportation de l ’application locale
user : MIG_TEST
tables des données à migrer, tables temporaires, images des tables d’Harpège
Source de données existante
Chargement direct de MIG_TESTChargement direct de MIG_TESTà partir des données localesà partir des données locales
Tables de transcodage
Mapping entremodèles de données Initialisation des champs obligatoires Transcodages
SQL
Outil de migration DPATE
AGORA : Aide à la Gestion Optimisée des Ressources Atos
POPPEE ITARF
POPPEE Bibliothèque
Chargement de MIG_TEST à Chargement de MIG_TEST à partir des données nationales : partir des données nationales :
migration DPATEmigration DPATE
Récupérer les fichiers plats auprès du rectorat ou de la DPATE
Création d’un nouvel utilisateur DPATE
Migration DPATE : pré-requisMigration DPATE : pré-requis
Permettre aux gestionnaires de récupérer les informations relatives à la population des agents ATOS, ITARF et Bibliothèque en poste dans l’établissement au moment de la migration.
Les IATOS contractuels ne sont pas prévus dans cette migration.
Intérêt d’une telle reprise à estimer : rapporter le temps passé consacré à cette reprise à la richesse des informations contenues dans le fichier.
Migration DPATE : principes de Migration DPATE : principes de base et objectifsbase et objectifs
Chargement des données DPATE Chargement des données DPATE dans MIG_TESTdans MIG_TEST
user : MIG_TEST
tables des données à migrer, tables temporaires, images des tables d’Harpège
tables images des tables Agora et Poppee
batch
user : DPATE
fichiers plats
SQL Loader
Chargement des données DPATE (SQL Loader)
Procédures PL/SQL : Lancement de toutes les procédures par un script
Les agents IATOS sont comparés aux agents déjà dans la base sur l’homonymie
Traitement des rejets
Un outil de statistique permet d’éditer le taux de réussite dans le remplissage des informations dans MIG_TEST
Suppression de l’utilisateur DPATE
Migration DPATE : traitementsMigration DPATE : traitements
Outil de migration
user : MIG_TEST
tables des données à migrer, tables temporaires, images des tables d’Harpège
user : HARP_ADM
tables Harpège
Source de données existante
travail de migration
vers MIG_TEST
Les deux phases de la migration Les deux phases de la migration
1ère phase : migration vers MIG_TEST
2ème phase : migration de MIG_TEST vers
HARP_ADM
Deuxieme phase : migration de Deuxieme phase : migration de MIG_TEST vers HARP_ADMMIG_TEST vers HARP_ADM
Pré-requis
Les principes de base et objectifs de la migration vers Harpège
Schéma général : les 2 phases de la migration
Présentation de l ’outil de migration vers Harpège
Pré-requis Pré-requis
Le site a créé une instance Oracle avec 2 utilisateurs :
MIG_TEST propriétaire des tables à migrer HARP_ADM propriétaire des tables d’Harpège
Le site a inséré dans MIG_TEST les données à migrer avec une méthode qui lui est propre
Le paramétrage doit être saisis dans les tables d’HARP_ADM
(10 tables concernées : PARAM_ETABLISSEMENT, ORGANISME_RECHERCHE, ORG_MISSION,ANNEE_UNIVERSITAIRE, IMPLANTATION_GEO, TELEPHONE, STRUCTURE, ADRESSE_ADMINISTRAT, LOCALISATION_STRUCTURE, LOCAL)
Principes de base : Appliquer sur les données migrées
l’ensemble des règles de gestion d’Harpège Aucune altération du référentiel Harpège ne
peut être envisagée, ni acceptée (tables, programmes, nomenclatures)
Objectifs : Disposer d’une base Harpège remplie, et en
parfaite cohérence avec les règles de gestion de l’application
Disposer d’une base Harpège prête à fonctionner en exploitation
Les principes de base et les Les principes de base et les objectifs objectifs
Présentation de l’outil de Présentation de l’outil de migration vers Harpège migration vers Harpège
Fonctionnalités de l ’outil de migration
Activation et désactivation des contraintes
Le batch de migration les traitements les rejets les composants et leur ordonnancement l’outil d’édition des statistiques
Vérification de la structure d ’affectation principale
Mise à jour des séquences
Suppression de MIG_TEST
Fonctionnalités de l ’outilFonctionnalités de l ’outil de migration de migration
Outil de Migration
user : MIG_TEST user : HARP_ADM
lecture
suppressioninsertion
table des rejets
rejet
règles de
gestion
nomenclaturecontraintes d’intégrité
Activation et désactivation des Activation et désactivation des contraintes contraintes
1°) Activation des contraintes sur MIG_TEST : les données à migrer vérifient bien toutes les contraintes d’intégrité (clé primaire, clé étrangère, clé unique, domaine de valeur)
2°) Désactivation des contraintes sur MIG_TEST afin de pouvoir migrer les données
La migration des données ne sera cohérente que si les 2 étapes d’activation et de désactivation des contraintes dans MIG_TEST se sont déroulées sans problème
Le batch de migration : les Le batch de migration : les traitements traitements
Ensemble de procédures PL/SQL exécutées dans un ordre précis
Ces procédures lisent et contrôlent les données des tables de MIG_TEST puis les déversent dans HARP_ADM
Un enregistrement n’est déversé que s’il est entièrement correct, sinon un enregistrement de rejet est généré, avec code et motif du rejet
Ce déversement est suivi d’une suppression dans MIG_TEST de l’enregistrement déversé
L’objectif est d’obtenir des tables de MIG_TEST vides et leurs correspondantes HARP_ADM remplies
Le batch de migration : les rejets Le batch de migration : les rejets Tous les rejets se trouvent dans la table REJET
de MIG_TEST
Un rejet est caractérisé par : le nom de la table concernée par le rejet le rowid de l’enregistrement rejeté la cause du rejet Le nom du composant concerné par le rejet
Il s’agit de comprendre les rejets pour les corriger et relancer l’opération jusqu’à l’obtention de résultat jugés satisfaisants
Une compétence fonctionnelle est indispensable pour analyser et comprendre les rejets
Les rejets Les rejets
Avant exécution de l ’outil de migration, en cas de violation des contraintes d ’intégrité des bases de MIG_TEST : clef primaire, clef étrangère, clef unique, domaine de valeur, …
Lors de l ’exécution de l ’outil, essentiellement pour non respect des règles de gestion. Ex. succession des segments de carrière, règles de changement de corps, grade ou échelon, …
Peuvent aussi révéler des erreurs ou des incohérences dans la base locale
Le batch de migration : les Le batch de migration : les composants et leur composants et leur ordonnancementordonnancement
Un composant regroupe toutes les informations liées à un domaine précis d’HarpègeEx. : ind_eat correspond à la saisie d'un individu
Tables impactées : INDIVIDU, ADRESSE_PERSONNELLE, INDIVIDU_TELEPHONE, INDIVIDU_E_MAIL, INDIVIDU_DIPLOMES
Mise en œuvre du batch de migration composant par composant
en une seule fois sur l ’ensemble des composants
2 règles à respecter Toutes les tables associées à un composant doivent être remplies
La hiérarchie des composants doit être respectée
Le batch de migration : les Le batch de migration : les composants et leur composants et leur ordonnancementordonnancement
Agent
Poste
Occupation /Affectation
Individu
Position
Carrière
CongésModalités
Emploi
SS
TT
RR
UU
CC
TT
UU
RR
EE
SS
II
MM
PP
LL
AA
NN
TT
AA
TT
II
OO
NN
SS
LL
OO
CC
AA
UU
XX
Contrat
CongésModalités
Contractuels Fonctionnaires et assimilés
Batch de migration : Batch de migration : ordonnancementordonnancement
IND_EAT (1,1) EMP_MOY (1,2) PST_IDBP (1,3)
IND_STR (2,1) PER_AGT (2,2) PST_IDBE (2,3)
CAR_ELEM (3,1) PER_PAS (3,2) PER_CTR (3,3)
CAR_BIND (4,2) PER_POS (4,1)
PER_DEPA (5,2) PIL_NOTE (5,3) PER_TPS (5,4) OCAF_PER (5,1)
CGA_MAD (6,1), CGA_CPA (6,10), CGA_CMNT (4,3), CGA_LIMA (6,2), CGA_DELE (6,11), CGA_CGM (4,4), CGA_SURN (6,3), CGA_ADOP (6,12), CGA_NTIT (4,5), CGA_MTFC (6,4), CGA_FORM (6,13), CGA_ACTR (4,6) CGA_COM (6,5), CGA_MIDE (6,14), CGA_ACSE (6,6), CGA_MATE (6,15), CGA_CRCT (6,7), CGA_CLM (6,16), CGA_STAG (6,8), CGA_CLD (6,17). CGA_BONI (6,9), CGA_MTTH (6,18)
CGA_FACT (6,19) CGA_SSOC (6,20)
Légende
PST_IDBP (1,3) :1 : niveau de passage du composant2 : ordre de passage du composant au sein du
Le batch de migration : les Le batch de migration : les composants et leur composants et leur ordonnancementordonnancement
Le batch de migration : outil Le batch de migration : outil d’édition des statistiquesd’édition des statistiques
Taux de réussite de HARP_ADM par table
Taux de rejet de MIG_TEST par table
Liste des rejets triés par composant
Liste des rejets triés par nombre décroissant
Vérification de la structure Vérification de la structure d ’affectation principaled ’affectation principale
Le script dresse la liste des dossiers pour lesquels il existe une ambiguïté pour déterminer la structure d ’affectation principale de l ’agent.
Mise à jour des séquences Mise à jour des séquences
Une fois toutes les données migrées, il faut mettre à jour les séquences ORACLE en fonction des données insérés dans les tables HARP_ADM
Suppression de MIG_TESTSuppression de MIG_TEST
Pour commencer la phase d’exploitation, une fois toutes les données migrées, il faut supprimer l’utilisateur MIG_TEST
Indispensable pour les futures mises à jour Harpège
Présentation du Présentation du TPTP
Schéma général : les 2 phases de la migration
1ere phase : des fichiers plats vers MIG_TEST
Utilisation de liaison ODBC
Utilisation de SQL Loader
La migration des données nationales (DPATE)
2eme phase : de MIG_TEST vers HARP_ADM
Utilisation du batch
Analyse des statistiques et des rejets
Présentation du T.P.Présentation du T.P.
Outil de migration
user : MIG_TEST
tables des données à migrer, tables temporaires, images des tables d’Harpège
user : HARP_ADM
tables Harpège
Source de données existante
travail de migration
vers MIG_TEST
Les deux phases de la migration Les deux phases de la migration
1ère phase : migration vers MIG_TEST
2ème phase : migration de MIG_TEST vers
HARP_ADM
1ere phase : Des fichiers plats 1ere phase : Des fichiers plats vers MIG_TEST - Schéma vers MIG_TEST - Schéma
généralgénéral
Fichiers plats
Liaisons ODBC
batch
user : MIG_TEST
tables des données à migrer, tables temporaires, images des tables d’Harpège
user : HARP_ADM
tables Harpège
Activation des contraintes d’intégrités
SQL*Loader
Le formatage des fichiers plats est à la charge des établissements avec l ’outil de leur choix
Les fichiers plats doivent tenir compte :
des champs obligatoires - cf MPD Harpège -
du type des données - cf. MPD Harpège -
des nomenclatures Harpège - tables de correspondance -
Préparation des fichiers platsPréparation des fichiers plats
Préparation des fichiers plats
(séparateurs)
Formatage des fichiers plats avec les
outils bureautiques
Création du lien ODBC entre Access et
MIG_TEST
Activation des contraintes d ’intégrités
Import des données dans MIG_TEST
Traitement des anomalies
Des fichiers plats vers Des fichiers plats vers MIG_TEST : Utilisation de liens MIG_TEST : Utilisation de liens
ODBCODBC
Liaison ODBC : énoncé Liaison ODBC : énoncé
Migration des fichiers plats form_individu.txt
form_diplome.txt
Formatage des fichiers plats (outils bureautiques)
Vérification de la structure
Formatage des données
Gestion des correspondances simples
Création du lien ODBC entre Access et MIG_TEST
Activation des contraintes d ’intégrité (enable.res)
Import des données dans MIG_TEST Gestion des tables de correspondances
Gestion de la table des erreurs
Liaison ODBC : les outils Liaison ODBC : les outils
Le Modèle Logique des Données Harpège Domaine individu - cf Annexes -
La description des tables du domaine individu de MIG_TEST et d ’HARP_ADM
Structure des tables
Tables de nomenclature d ’Harpège
Des fichiers plats vers Des fichiers plats vers MIG_TEST : Utilisation de MIG_TEST : Utilisation de
SQL*LoaderSQL*Loader
Principe de fonctionnement
Mise en œuvre : Préparation des fichiers plats
Préparation des fichiers de contrôle
Lancement de SQL*Loader
Traitement des rejets
Exercice Enoncé
Outils
Solution
SQL Loader - Principe de SQL Loader - Principe de fonctionnementfonctionnement
Fichier plat
Fichier de contrôle
(.ctl)
SQL*Loader
Données chargées
Enregistrements erronés
(optionnel)
Fichier
.log
Enregistrements rejetés
(optionnel)
Les fichiers de contrôle définissent la structure des données contenues dans les fichiers plats
2 possibilités pour faire la description des fichiers plats :
par position => la longueur des champs est fixe
à l ’aide d ’un séparateur => la longueur des champs peut-être variable
Voir exemple en annexe et documentation SQL Loader - Oracle Server Utilities -
SQL Loader - Préparation des SQL Loader - Préparation des fichiers de contrôlefichiers de contrôle
SQL Loader - Lecture des SQL Loader - Lecture des fichiers platsfichiers plats
La commande de lancement de SQL Loader permet d ’indiquer le nom et chemin :
du fichier de contrôle
du fichier log
du nombre maximum d ’erreurs
… cf doc ORACLE7 - Server Utilities
sqlldr user/mot_de_passe control=« nom et chemin du fichier de contrôle » log=«nom et chemin de sauvegarde du fichier log » errors=« nombre maximum d ’erreurs »
SQL Loader - Lecture des SQL Loader - Lecture des donnéesdonnées
Seuls les enregistrements dont l ’intégralité des données est correcte sont importés dans les tables de MIG_TEST
SQL Loader rejette les enregistrements qui génèrent une erreur ORA-
pour lesquels les données sont incorrectes - formatage -
Les enregistrements sont rejetés en totalité dans le fichier .bad - les données le constituant ne sont insérées dans aucune table -
La cause du rejet est enregistrée dans le fichier .log
SQL Loader - Traitement des SQL Loader - Traitement des rejetsrejets
Mettre à jour les enregistrements erronés dans les fichiers plats
Relancer SQL Loader, les fichiers .log précédents seront écrasés
SQL Loader - EnoncéSQL Loader - Enoncé
Migration du fichier plat form_adres_perso.ha
Préparation du fichier de contrôle associé form_adres_perso.ctl
Lancement de SQL*Loader
Traitement des erreurs
SQL Loader - les outilsSQL Loader - les outils
Le Modèle Logique des Données Harpège Domaine individu
La description des tables du domaine individu d ’Harpège
Structure des tables
Tables de nomenclature d ’Harpège
Documentation Oracle7 Server Utilities (dont SQL*Loader )
Des fichiers plats vers Des fichiers plats vers MIG_TEST : Migration des MIG_TEST : Migration des données nationales DPATEdonnées nationales DPATE
Pré-requis
Schéma général
Traitements
Un contrôle d ’homonymie est mis en place pour les agents ATOS déjà présents dans la base Harpège afin de permettre un rapprochement avec les informations venant d’Agora ou de Poppee.
Création d’un nouvel utilisateur DPATE, propriétaire des tables images d’Agora et de Poppee contenant les données à migrer
Migration DPATE : pré-requisMigration DPATE : pré-requis
Migration DPATE : le schéma Migration DPATE : le schéma généralgénéral
batch
user : MIG_TEST
tables des données à migrer, tables temporaires, images des tables d’Harpège
user : HARP_ADM
tables Harpège
tables images des tables Agora et Poppee
batch
user : DPATE
fichiers plats
SQL Loader
1ère phase : migration vers MIG_TEST
2ème phase : migration de MIG_TEST vers
HARP_ADM
Chargement des fichiers plats Agora et Poppee (fichiers plats vers les tables du user DPATE)
Procédures PL/SQL
Un outil de statistique
Suppression de l’utilisateur DPATE
Migration DPATE : traitementsMigration DPATE : traitements
Chargement des fichiers plats Agora et Poppee
Principe de fonctionnement de SQL*Loader - cf. Utilisation de SQL*Loader -
Le script chgt_tab charge les données fournies par le rectorat et le ministère dans les tables de l ’utilisateur DPATE
../MIGRATION/dpate/script/chgt_tab « mot_de_passe_Dpate » « nom_instance»
Migration DPATE -Migration DPATE -Chargement des données
ProcéduresPour respecter la hiérarchie des composants de la migration, lancer les procédures de migration DPATE avec le script ../MIGRATION/dpate/script/dpt_btch.sql
Les rejets sont stockés dans la table REJET avec pour chacun le nom de la table, le rowid, la cause du rejet, le composant
Traitement des rejetsOuvrir une session SQL
Visualiser les enregistrements rejetés avec la requête suivante Select * from Nom_table where rowid = ‘ ……… ’;
Migration DPATE -Migration DPATE -DPATE -> Mig_test
Un outil de statistique permet d’éditer le taux de réussite dans le remplissage des informations dans MIG_TEST
Après chaque utilisation du batch de migration lancer :../MIGRATION/dpate/stat/dpt_btch_stat « mot_passe_DPATE » « nom_instance »
Suppression de l’utilisateur DPATE
Migration DPATE -Migration DPATE -Outil d ’édition de statistiques
2eme phase : de MIG_TEST 2eme phase : de MIG_TEST vers HARP_ADMvers HARP_ADM
Pré-requis
Principe de fonctionnement
Activation et désactivation des contraintes
Migration des composants
Traitement des rejets - statistiques
Vérification de la structure d ’affectation principale
Mise à jour des séquences
De MIG_TEST vers HARP_ADM - De MIG_TEST vers HARP_ADM - Pré-requisPré-requis
Le site a créé une instance Oracle avec 2 utilisateurs :
MIG_TEST propriétaire des tables à migrer HARP_ADM propriétaire des tables d’Harpège
Les données à migrer sont dans MIG_TEST (SQL*Loader, ODBC ou données nationales -AGORA, POPPEE, …- )
Le paramétrage est saisi dans les tables d’HARP_ADM
(9 tables concernées : PARAM_ETABLISSEMENT, ORGANISME_RECHERCHE, ORG_MISSION,ANNEE_UNIVERSITAIRE, IMPLANTATION_GEO, TELEPHONE, STRUCTURE, ADRESSE_ADMINISTRAT, ADRESSE_ADMIN_STRUCT)
De MIG_TEST vers HARP_ADM - De MIG_TEST vers HARP_ADM - Principe de fonctionnementPrincipe de fonctionnement
Appliquer sur les données migrées dans MIG_TEST l’ensemble des règles de gestion d’Harpège
Contraintes fonctionnelles : idem saisie
batch
user : MIG_TEST
tables des données à migrer, tables temporaires, images des tables d’Harpège
user : HARP_ADM
tables Harpège
De MIG_TEST vers HARP_ADM - De MIG_TEST vers HARP_ADM - Principe de fonctionnementPrincipe de fonctionnement
batch
user : MIG_TEST user : HARP_ADM
lecture
suppressioninsertion
table des rejets
rejet
règle de gestion
nomenclaturecontraintes d’intégrités
Traitement d ’un enregistrementLectureContrôle de cohérence si erreur alors traitement rejet sinon insertion dans d ’HARP_ADM et suppression de MIG_TEST
De MIG_TEST vers HARP_ADM - De MIG_TEST vers HARP_ADM - Activation - désactivation des Activation - désactivation des
contraintescontraintes
1°) Activation des contraintes sur MIG_TEST :
../MIGRATION/mig_harpege/script/enable.res
2°) Désactivation des contraintes sur MIG_TEST afin de pouvoir supprimer les données migrées : ../MIGRATION/mig_harpege/script/disable.res
La migration des données ne sera cohérente que si les 2 étapes d’activation et de désactivation des contraintes dans MIG_TEST se sont déroulées sans problème
De MIG_TEST vers HARP_ADM - De MIG_TEST vers HARP_ADM - Migration des composantsMigration des composants
La migration peut-être lancée de 2 façons sous l ’utilisateur MIG_TEST :
migration des composants un à un -vivement recommandé -. Pour cela exécuter sous SQL : execute « nom_du_composant »
Respecter la hiérarchie des composants - cf. page suivante -
migration de l ’ensemble des composants exécution du batch : ../MIGRATION/mig_harpege/script/mig_btch.sql
De MIG_TEST vers HARP_ADM - De MIG_TEST vers HARP_ADM - Migration des composantsMigration des composants
IND_EAT (1,1) EMP_MOY (1,2) PST_IDBP(1,3)
IND_STR (2,1) PER_AGT (2,2) PST_IDBE (2,3)
CAR_ELEM (3,1) PER_PAS (3,2) PER_CTR (3,3)
CAR_BIND (4,2) PER_POS (4,1)
PER_DEPA (5,2) PIL_NOTE (5,3) PER_TPS (5,4) OCAF_PER (5,1)
CGA_MAD (6,1), CGA_CPA (6,10), CGA_CMNT (4,3), CGA_LIMA (6,2), CGA_DELE (6,11), CGA_CGM (4,4), CGA_SURN (6,3), CGA_ADOP (6,12), CGA_NTIT (4,5), CGA_MTFC (6,4), CGA_FORM (6,13), CGA_ACTR (4,6) CGA_COM (6,5), CGA_MIDE (6,14), CGA_ACSE (6,6), CGA_MATE (6,15), CGA_CRCT (6,7), CGA_CLM (6,16), CGA_STAG (6,8), CGA_CLD (6,17). CGA_BONI (6,9), CGA_MTTH (6,18)
CGA_FACT (6,19) CGA_SSOC (6,20)
Légende
PST_IDBP (1,3) :1 : niveau de passage du composant2 : ordre de passage du composant au sein duniveau.
De MIG_TEST vers HARP_ADM - De MIG_TEST vers HARP_ADM - Traitement des rejets - statistiquesTraitement des rejets - statistiques
Les rejets sont dans la table REJET de MIG_TEST, caractéristiques
le nom de la table concernée par le rejet le rowid de l’enregistrement rejeté la cause du rejet Le nom du composant concerné par le rejet
Traitement des rejets cf. migration Dpate
Outils statistiques ../MIGRATION/mig_harpege/stat/mig_btch_stat
« mot_passe_MIG_TEST » « nom_instance »
Sous SQLPLUS, utilisateur MIG_TEST lancer le script : ../MIGRATION/mig_harpege/script/aff_prin.sql
Le script établie la liste des dossiers sur lesquels l ’utilisateur devra déterminer la structure d ’affectation principale.
Cette saisie sera effectuée directement via
l ’application Harpège
De MIG_TEST vers HARP_ADM - De MIG_TEST vers HARP_ADM - Vérification de la structure Vérification de la structure d ’affectation principale d ’affectation principale
De MIG_TEST vers HARP_ADM - De MIG_TEST vers HARP_ADM - Mise à jour des séquences Mise à jour des séquences
Une fois la migration terminée. Sous SQLPLUS, utilisateur HARP_ADM lancer le script :
../MIGRATION/mig_harpege/script/maj_seq.ini
qui met à jour les séquences Oracle : SQ_ADRESSE_PERS SQ_ADRESSE_ADM SQ_AFFECTATION SQ_DEPART SQ_INDIVIDU SQ_INDIVIDU_DIPLÔMES SQ_MAINTIEN_FONCTION SQ_OCCUPATION …
De MIG_TEST vers HARP_ADM - De MIG_TEST vers HARP_ADM - EnoncéEnoncé
Activer et désactiver les contraintes d ’intégrité
Lancement du batch du composant de migration sous SQLPLUS (mig_test) :
execute mig_ind_eat
Statistiques et traitement des rejetsmig_btch_stat mig_test
nom_instance
Mise à jour des séquences ORACLE sous SQLPLUS (harp_adm) :
@maj_seq.ini
DocumentationDocumentation
La documentationLa documentation
Documentation livrée jusqu’à aujourd’hui : Classeur conduite de projet Dossier de paramétrage Guide de reprise de données CCI
La documentationLa documentation
Documentation contenue dans le classeur : Transparents formation
installation reprise de données
Manuel d ’installation Notes d ’accompagnement de la version Procédure de commandes Oracle
Partie serveur : Application en version V1.6.1.0Nomenclature en version V1.6.0.0
Partie cliente : Application partie cliente en version V1.6.1.0
Documentation technique : 1. Manuel d'installation2. Manuel d ’exploitation3. Cahier des charges d ’implantation4. Dossier de paramétrage 5. Champs obligatoires avec copies
d'écrans6. Listes des nomenclatures (.xls)7. Manuel Utilisateur8. Manuel base de formation
Modèle de données : 1. MLD 2. MPD
Contenu du CD-ROMContenu du CD-ROM
Livraisons à venirLivraisons à venir
Migration MIG_TEST outil de migration MIG_TEST manuel de migration harpège
Migration DPATE outil de migration DPATE manuel de migration DPATE
Présentation du ftp de Montpellier
ftp.montpellier.cpu.fr (login harpread)
Arborescence
Assistance pour un problème :
d ’installation : [email protected]
de migration : [email protected]
Présentation de la base assistance WEB http//www.montpellier.cpu.fr/
consultation des fiches assistances
ConclusionConclusion
Merci de votre attention Merci de votre attention
SolutionsSolutions
Solution : liaison ODBCSolution : liaison ODBC Ouvrir les fichiers plats sous Excel
Formater les champs dates, les champs numériques
Ajouter des colonnes
Renseigner les champs obligatoires
Préparer la liaison ODBC
Création d ’une nouvelle base sous Access Attacher les tables de MIG_TEST par ODBC (voir MLD)
Import des données Excel dans Access
Activation des contraintes d ’intégrité (enable.res)
Import des données dans MIG_TEST Gestion des tables de correspondances
Gestion de la table des erreurs
Formatage Formatage
Formater les champs dates, les champs numériques
Ajouter des colonnes, vérifier les champs nomenclature
Renseigner les champs obligatoires
Sauvegarder le fichier avec un type de fichier .xls
Préparation de la liaison ODBCPréparation de la liaison ODBC
Menu Fichier - Données externes - Lier les tables
Choisir le type de fichier : Base de données ODBC
Sélectionner ou créer la source de données
Création d ’une source de Création d ’une source de donnéesdonnées
Choisir le pilote
Créer la connexion - Donner le nom de l ’instance -
Se connecter avec l ’utilisateur MIG_TEST
Attacher les tables de MIG_TEST
Ouvrir une connexion sous SQL Plus - User MIG_TEST
Exécuter le script ENABLE.RES
L ’activation des contraintes permet de déclencher directement les messages d ’erreur lors de l ’ajout des enregistrements dans Access.
Activation des contraintes Activation des contraintes
Import des données dans Import des données dans MIG_TEST MIG_TEST
Importer la table Excel précédemment formatée
Créer les tables de correspondances et les requêtes de mise à jour
Exécuter les requêtes pour mettre à jour les champs de nomenclature
Sélectionner les enregistrements de la table Access
Copier par ajout dans la table de MIG_TEST correspondante
Les enregistrements rejetés sont stockés dans la table des erreurs.
Solution - SQL Loader Solution - SQL Loader
Migration du fichier plat form_adres_perso.ha
vérifier la structure de la table adresse_personnelle d ’HARP_ADM : type de données valeur nomenclatures champs obligatoires
Préparation du fichier de Préparation du fichier de contrôlecontrôle
Préparation du fichier de contrôle associé
form_adres_perso.ctlLOAD DATAINFILE FORM_ADRES_PERSO.HAINTO TABLE ADRESSE_PERSONNELLE TRUNCATE(ID_ADRESSE_PERSO POSITION(*) INTEGER EXTERNAL(7) NULLIF ID_ADRESSE_PERSO = BLANKS , NO_INDIVIDU POSITION(*) INTEGER EXTERNAL(8) NULLIF NO_INDIVIDU = BLANKS , TEM_ADR_PERS_PRINC POSITION(*) CHAR(1) NULLIF TEM_ADR_PERS_PRINC = BLANKS ,HABITANT_CHEZ POSITION(*) CHAR(32) NULLIF HABITANT_CHEZ = BLANKS ,TELEPHONE_DOMICILE POSITION(*) CHAR(25) NULLIF TELEPHONE_DOMICILE = BLANKS ,NO_VOIE POSITION(*) INTEGER EXTERNAL(4) NULLIF NO_VOIE = BLANKS ,BIS_TER POSITION(*) CHAR(1) NULLIF BIS_TER = BLANKS ,C_VOIE POSITION(*) CHAR(3) NULLIF C_VOIE = BLANKS ,NOM_VOIE POSITION(*) CHAR(22) NULLIF NOM_VOIE = BLANKS ,LOCALITE POSITION(*) CHAR(26) NULLIF LOCALITE = BLANKS ,CODE_POSTAL POSITION(*) INTEGER EXTERNAL(5) NULLIF CODE_POSTAL = BLANKS ,VILLE POSITION(*) CHAR(26) NULLIF VILLE = BLANKS ,C_PAYS POSITION(*) CHAR(3) NULLIF C_PAYS = BLANKS ,D_CREATION POSITION(*) DATE "YYYYMMDD" NULLIF D_CREATION = BLANKS , D_MODIFICATION POSITION(*) DATE "YYYYMMDD" NULLIF D_MODIFICATION = BLANKS )
Lancement de SQL*Loadersqlldr mig_test/mig_test control=FORM_ADRES_PERSO.ctl log= FORM_ADRES_PERSO.log errors=999999
Traitement des erreursvi FORM_ADRES_PERSO.log
vi FORM_ADRES_PERSO.bad
Lancement de SQL*LoaderLancement de SQL*Loader