Les bonnes pratiques pour migrer d'Oracle vers Postgres

© 2013 EnterpriseDB Corporation. All rights reserved. 1

2015

Les bonnes pratiques pour migrer d’Oracle vers Postgres


Agenda• Brève présentation d’EnterpriseDB

• Qu’est-ce que “Postgres Plus Advanced Server” ?

• Que signifie le module de “compatibilité Oracle” ?

• Que signifie cette fonctionnalité pour vous ?

• Méthodologie de migration

• Comment migrer

• Gestion des problèmes de migration

• Comment EnterpriseDB peut fournir une assistance

• Résumé

• Réponse à quelques questions fréquentes

• Questions / Réponses


Fournie aux entreprises à des coûts compétitifs les bénéfices liés à l’utilisation de Postgres en offrant les produits, ressources, support et opérabilité requise pour des applications professionnelles de haut niveau.•Plus de 150 employés

•Plus de 2500 clients répartis sur tous les segments de marché

•Présence internationale avec des bureaux en Amérique du Nord, Europe, Asie

•Croissance rapide : Plus de 60% de croissance des ventes en 2012, plus de 80% en 2013

•Solide situation financière :

© 2013 EnterpriseDB. All rights reserved.


Magic Quadrant 2015 SGBD de Gartner

Commentaire du Gartner :

• Le leadership communautaire : EnterpriseDB est le principal contributeur à la communauté Postgres, et responsable pour les fonctions récentes telles que le support du format JSON, les vues dématérialisées et le partitionnement. Un nombre croissant d'utilisateurs de Gartner de service de renseignements reconnaissent la marque EnterpriseDB.

• Fonctionnalité et compatibilité : clients de Gartner indiquent que la fonctionnalité de compatibilité Postgres Plus Oracle de EnterpriseDB est plus que suffisante pour faire fonctionner les applications à mission critique et non-stratégiques.

• Stabilité : les clients de référence évaluant EnterpriseDB fortement pour la stabilité de ses SGBD, et étaient satisfaits de ses fonctionnalités HA / DR.







• Comment migrer



• Résumé




En phase et contributeur dans la communauté PosgreSQL

Postgres Plus: un ensemble d’outils et de fonctionnalités avancées

Les besoins de la Communauté

Les besoinsde l’Entreprise

PostgreSQL

Contributions


Qu’est-ce que “Postgres Plus Advanced Server” ?

Version enrichie et améliorée du PostgreSQL communautaire

10ème génération d’Oracle compatibility depuis 2005

Ajouts majeures en terme de securité

Performances qui rivalisent avec n’importe quel autre SGBD propriétaire sur le marché

Développeurs professionnelset outils pour les DBA

Installation, performance tuning, et services de maintenance

Certification Postgres / EnterpriseDB

PostgreSQL







• Comment migrer



• Résumé




Compatibilité Oracle - Objectifs

• Exécuter des applications développées pour Oracle virtuellement inchangées

• Pas besoin de re-former les DBA Oracle et les développeurs

• Support fourni pour SQL, PL/SQL, OCI et Pro*C

• Replication automatique pour faciliter le partage des données

• Réduction drastique des coûts

• Aucun engagement vendeur


Ce que signifie la “compatibilité” :• Support pour les requêtes SQL

− Decode, NVL, Substr, NVL2− Date/time functions: add_months, extract, next_day

• Support PL/SQL− REF Cursors, Implicit et explicit cursors− Looping, variable declarations, conditional statements− Collections: Associative Arrays, Varrays, Nested tables− Bulk binding− Named parameters− User Defined Exceptions− Explicit Transaction Control

− within a stored procedure− (not supported by PostgreSQL)


Ce que signifie la “Compatibilité” : (suite)• Fonctionnalités :

− Packages− Stored procedures− Functions− Triggers− Hints− Database Links− Hierarchical Queries− Materialized view (foundation) (*1)− Synonyms – Public and Private− Sequences− Rownum− Object types

− Create type … as object, … as table, …as varray− Constructor and collection methods

− Users/Roles− Dynamic SQL *1 – PPAS 9.3


Ce que signifie la “Compatibilité” : (suite)• Data Types

Integer, number, char, double precision,float, varchar2, blob, clob, xmltype, rowid

• Built-in PackagesDBMS_:

SQL, RLS, LOB, JOB, PIPE, ALERT, OUTPUT, UTILITY, PROFILERRANDOM, LOCK, CRYPTO, SCHEDULER, MVIEW (*1)

UTL_:FILE, MAIL, SMTP, ENCODE, TCPHTTP, URL (*1)

REGEXP_:INSTR, SUBSTR, COUNT (*1)

• Oracle-like Data Dictionary− ALL_, DBA_, USER_ views− Most commonly accessed views

*1 – PPAS 9.3


Ce que signifie la “Compatibilité” : (suite)Diagnostics

• Dynamic Runtime Instrumentation Tools Architecture (DRITA)− System and session waits

− Not exposed in PostgreSQL − Part of Advanced Server

− Statspack like reporting

• Tools− EDB*Plus (SQL*Plus look-a-like)− EDB*Loader (SQL*Loader equivalent)− EDB*Wrap (similar to the PL/SQL wrapper)

*1 – PPAS 9.3


Partitionnement dans PPAS v9.3

76 fois plus rapide !

250 500 10000

10

20

30

40

50

60

70

80

Nombre de partitions par table

Fact

eur d

’Am

élio

ratio

n

• Oracle syntax for partitioning (create, add, exchange, split, …)• Postgres Plus Advanced Server est jusqu’à 76 fois plus rapide pour la récupération

des données que PostgreSQL 9.3 ou PPAS 9.2 (Partition pruning, et inserts)• Plus le nombre de partitions est élevé, plus les performances sont meilleures

PPAS 9.2

PostgreSQL 9.3

PPAS 9.3

Performance Partitionnement : PPAS 9.3 v. PostgreSQL 9.3 v. PPAS 9.2







• Comment migrer



• Résumé




Exemple de migration


Database Migration Toolkit (MTK)• Une boite à outil de migration en ligne pour base de données

permet une migration point en un click depuis Oracle

• Migre automatiquement :

Data Schemas Stored Procedures Triggers Functions

Sequences Packages Views Database Links Synonyms


Compatibilité Oracle & Stratégies de MigrationStratégie Avantages

Développer/DéployerNouveau LOB Applications

Réduction des coûts importante pour des applications non critiques

Exploitation des connaissances OracleRisque très faible

Déployer Postgres Plus comme Oracle

Replication Server

Réduction des coûts importanteExploitation du Postgres Plus Replication ServerExploitation des connaissances OracleAmélioration des performances des transactions

et des temps de réponse des requêtes

Migrer les application Oracle non critique vers Postgres Plus

Réduction des coûts importante Exploitation des connaissances OracleRisque très faible

Migrer les applications Oracle critique

vers Postgres Plus

Plus grande réduction des coûtsExploitation des connaissances OraclePlus grande flexibilité en phase de déploiement







• Comment migrer



• Résumé




Processus de migration en plusieurs étapes Etape I – Planning

• Identifier quelle application migrer– Home grown applications– Java, C– Packaged applications that support multiple databases– Support JDBC, ODBC

• Une fois que les appllications candidates sont choisies, démarrer l’évaluation de la charge à l’aide du “OMA”

• Oracle Migration Assessment (OMA) détermine en amont :– Problèmes qui peuvent survenir lors de la migration– Donne une estimation du temps nécessaire pour migrer le système

• Etablir une équipe dédiée :– Besoin de ressources qui maîtrisent le SGBD source– Besoin de ressources qui maîtrisent le SGBD cible

• Etablir un plan projet avec des échelons


Processus de migration en plusieurs étapes

• Etape II – Préparer l’environment− Obtenir puis installer les logiciels requis− Etablir une connexion entre les systèmes

− Copier le fichier Jar du JDBC Oracle dans le répertoire jre/lib/ext dans l’installation Postgres Plus Advanced Server

• Etape III – Migrer les schémas− Utiliser Migration Toolkit en mode “schema only”− Résoudre ici les problèmes avant de passer à l’étape suivante

• Etape IV – Migrer les données− Utiliser la ligne de commande avec MTK

− Utiliser –copyViaDBLinkOra− Utilise OCI pour se connecter à Oracle

− Utiliser la parallelisation des threads− Utiliser la fonction “dblink_ora_copy” directement pour contourner le logging− Exporter les données Oracle dans un fichier plat, puis utiliser EDB*Loader

pour le chargement de ces données


Processus de migration en plusieurs étapes

22

• Etape V – Port Application− Changer les information de connexion− Recompile /Link application (OCI or Pro*C)

• Etape VI – Test− Vérifier le fonctionnement au niveau applicatif− Résoudre les problèmes− Tester les performances− Effectuer du tuning

• Etape VII Integration− Etablir une stratégie de co-existence− Mis en place de liens base de données vers d’autres bases de

données − Mis en place de la replication entre Oracle ou SQL Server et

Postgres Plus Advanced Server

• Etape VIII – Rollout− Le passage en production du système







• Comment migrer



• Résumé




Plan de travail

Phase I Oracle Migration Assessment

• Rapport détaillé de l’outil OMA

• Liste des solutions de contournements

• Risques technologiques

• Score de compatibilité

• Proposition d’une approche pour effectuer la migration, cela inclue les besoins en terme de compétences, de formation, de revue de l'architecture, de soucription “Développeur”, et des ressources de développement à allouer.


Phase I Installer Environment MTK • Etablir la connexion

− Copier le fichier Jar du JDBC Oracle vers Postgres Plus Advanced Server install

cp /usr/lib/oracle/xe/app/oracle/product/11.2.0/server/jdbc/lib/ojdbc14.jar /opt/PostgresPlus/9.2AS/jre/lib/ext

− Edit the toolkit.properties file to contain Oracle and Postgres Plus Advanced Server connection information:

SRC_DB_URL=jdbc:oracle:thin:@localhost:1521:xeSRC_DB_USER=systemSRC_DB_PASSWORD=manager

TARGET_DB_URL=jdbc:edb://localhost:5999/demoTARGET_DB_USER=demoTARGET_DB_PASSWORD=manager


Phase II Oracle Migration Toolkit• *** Checking for Migration Issues ***• Object Type Type Count • -------------------------------------------------------------------------------• TRIGGER Count 0 • SOURCE Package 0 • SOURCE Syntax - Exception 0 • SOURCE Function 789 • SOURCE Syntax - Object 0 • SOURCE Syntax - Other 792 • SOURCE Syntax - Hints 282 • SOURCE Syntax - Exp Trans Ctl 730 • SOURCE Total Count 2623 • COLLECTION Count 1 • VARRAY Count 0 • DIMENSION Count 0 • JOB Count 0 • MATERIALIZED VIEW Count 0 • RESOURCE MGR Count 0 • POLICY Count 9 • PROFILE Count 6 • SUMMARY Possible Migration Issues 2775


Phase III Migrer Schema

Utiliser MTK en mode schema only :[enterprisedb@localhost bin]$ ./runMTK.sh -schemaOnly hrSource database connectivity info...conn =jdbc:oracle:thin:@localhost:1521:xeuser =systempassword=******Target database connectivity info...conn =jdbc:edb://localhost:5999/demouser =demopassword=******Connecting with source Oracle database server...Connecting with target EnterpriseDB database server...Importing redwood schema hr...Creating Schema...hr Creating Object Type: NUMLISTCreating Sequence: EMPLOYEES_SEQCreating Tables...Creating Table: EMPLOYEES


Phase III Migrer Schema (suite)******************** Migration Summary ********************Object Types: 9 out of 9Sequences: 3 out of 3Tables: 49 out of 53Constraints: 39 out of 40Procedures: 7 out of 7Functions: 3 out of 3Packages: 3 out of 3

Total objects: 139Successful count: 134Failure count: 5

List of failed objects======================Tables--------------------1. HR.BFTEST2. HR.TESTBD3. HR.TESTBF4. HR.TESTCNTXT


Phase III Migrer Schema (suite)

• Les logs de la Migration sont situés dans le répertoire home de l’utilisateur :

• Résoudre les erreurs, exemple :XMLELEMENT : 35

There is a similar function in Postgres with the same name but the syntax is slightly different.

SELECT xmlelement(name foo, xmlattributes(current_date as bar), 'cont', 'ent'); xmlelement------------------------------------- <foo bar="2007-01-26">content</foo>


Phase IV Migrer les données

• Utiliser MTK en mode data only :• [enterprisedb@localhost bin]$ ./runMTK.sh -dataOnly hr• Source database connectivity info...• conn =jdbc:oracle:thin:@localhost:1521:xe• user =system• password=******• Target database connectivity info...• conn =jdbc:edb://localhost:5999/demo• user =demo• password=******• Connecting with source Oracle database server...• Connecting with target EnterpriseDB database server...• Importing redwood schema hr...• Loading Table Data in 8 MB batches...• Loading Table: AGES ...• [AGES] Migrated 1 rows.• [AGES] Table Data Load Summary: Total Time(s): 0.467 Total Rows: 1• Loading Table: DEPARTMENTS ...


Phase V Port de l’application Changer la méthode de connexion à l’application

Java application =

Ancienne syntaxe pour la connexion :

Class.forName("oracle.jdbc.driver.OracleDriver");

Connection con = DriverManager.getConnection("jdbc:oracle:thin:@localhost:1521:xe”,”hrapp”,”manager”);

Nouvelle syntaxe pour la connection syntax:

Class.forName("com.edb.Driver");

Connection con = DriverManager.getConnection("jdbc:edb://localhost:5444/edb",

“hrapp",“manager");







• Comment migrer



• Résumé




Gérer les erreurs • Toutes les migrations ne sont pas exemptes d’erreurs

− Les logs de la migration contiendront toutes les erreurs rencontrés

• Quelques erreurs fréquentes :− Column delimiter chosen is in column data

− Causes ‘Extra data found’ error− Resolve by using different delimiter

• Si un Oracle built-in package n’existe pas− DBMS_AQ – on utilise des solutions comme ActiveMQ, MQSeries ou Tibco

− Ou code personnel. Ajouter ou supprimer des procedures depuis une file d’attente est assez simple à programmer

− xDB Replication Server peut également être utilisé puisque il est basé sur une architecture pub/sub

− DBMS_LOCK.sleep – utiliser la fonction “pg_sleep” à la place

• Si une fonctionnalité Oracle n’est pas suppportée− Commande MERGE n’est pas supportée

− Peut être réecrite en utilisant INSERT et UPDATE avec des checks− Index Organized Tables

− Cluster une table via la commande CLUSTER pour améliorer les performances en lecture


Gérer les erreurs (suite)• Database Links

− Migrated over by tool but password is invalid− This is because Oracle hides the password− Resolve by dropping and recreating− Or by specifying a password to use when running the MTK

− runMTK -allDBLinks LINK_NAME1=abc,LINK_NAME2=xyz HR

• Data Movement – performance− Migration toolkit connects via jdbc− Large datasets are slow to move− Use database link functionality instead

− Dblink_ora_copy – EnterpriseDB method to copy data from Oracle over OCI− Much faster

− OR extract data from Oracle to csv files, load using edbldr


Tuning Recommendations

• Utiliser DynaTune− Ajuste dynamiquement la configuation de la base de données en se basant

sur les ressources disponibles− Déclarer via le paramètre edb_dynatune

− Values 0 – 100 corresponding to % of machines to use

• Se rappler de bien analyser la base de données− Utiliser la commande Analyze

• Oracle Hints sont supportés− Pas besoin de les supprimer dans du “embedded SQL”







• Comment migrer



• Résumé




37

Comment EnterpriseDB peut fournir une assistance


Oracle Migration Assessment

• A commander sous forme de service auprès d'EnterpriseDB

• Qu’est-ce que c'est ?− Réunion pour le cadrage (pré-analyse)− Analyse des schémas Oracle à migrer− Trouver les questions de migration possibles

− Caractéristiques non prises en charge− Syntaxe non pris en charge− Implémentation du délta

− Documenter les résultats dans le rapport final− Diffuser les discussions d'analyse pour examiner les constatations

• Le score attribué (1 - 10) de la faisabilité de la migration

http://www.enterprisedb.com/solutions/oracle-migration-assessment


Professional services pour votre migration

Assistance après le OMA

• Plan rollout

• Migration the Schema and Stored procedures (OMF next)

• Migrate the data (once, 2x,… minimal down time)

• Training

• Port and test application(s) (typically customer)

• DBA and application coaching/support

• Support contract

• Remote DBA


Migration Oracle Services de base• Client fournie un export sans les données d’Oracle

• Migrer les bases de données vers Postgres Plus Advanced Server − Résoudre les erreurs− Implementer des solutions de contournement pour les foctionnalités différentes

ou manquantes− Performer une vérification du système à l’aide de tests unitaires

− Requière des input/output du Client sur les mêmes unités dans Oracle

• Documenter les modifications et les solutions de contournement

• Eduquer le Client sur les changements et les solutions de contournement− Conseiller sur le niveau de changement applicatif requis

• Retourner la base de données migrée au Client− Via pg_dump

• Le Client a la possibilité de personnaliser en utilisant des options via un add-on


Migration Oracle Ajouts facultatifs (Add-ons)• Installation et Configuration d’un système de test

− Installation de Postgres Plus Advanced Server sur le serveur du client− L'importation de base de données migrée à Postgres Plus Advanced Server− Migration des données de test d'un système Oracle de test

• Application Testing fonctionnelle− Fournir une assistance dans la connexion à la base de données− Fournir une assistance dans les tests fonctionnels d'application− Résoudre les problèmes de tests fonctionnels

• Performance Tuning du système migré

• Configuration de la migration en production− Installer Postgres Plus Advanced Server sur le serveur de production cible− Importer base de données migré à partir du serveur de test− Configuration du Serveur de réplication xDB

− Processus de Snapshot des données de production Oracle migrées− Deltas sont capturés par des déclencheurs xdb− Une fois instantané est fait, la synchronisation est effectuée







• Comment migrer



• Résumé




Résumé• Les migrations ne sont plus désormais impossible

• La compatibilité fournie :− Un coût faible lors des migrations− Des délais plus court pour migrer − Un risque faible (il sera toujours possible d’effectuer un retour en arrière)

• EnterpriseDB fournie− La compatibilité Oracle− Des outils automatisés pour migrer depuis Oracle− Et autres : MySQL, Sybase, SQL Server (données & schema)

• Expertise lors de la Migration pour :− Planning− Performing migration− Testing − Rollout

http://www.enterprisedb.com/solutions/oracle-compatibility

http://www.enterprisedb.com/solutions/oracle-compatibility


EDB Sert TOUS Vos Besoins Postgres

PostgreSQLPostgres Plus

Advanced Server Postgres Plus Cloud







• Comment migrer



• Résumé




46

Réponse à quelques questions fréquentes


Comment je peux remplacer un RAC pour de la Haute Disponibilité ?

Active/Passive Clustering est une technologie éprouvée

Fournie une détection rapide et failover

Pas de coût supplémentaire associé à la base de données


Comment je peux remplacer DataGuard (Physique) ?

Archiver

DiskStorage

LiveServer

Instance


DiskStorage

StandbyServer

(in recovery mode)


WAL WAL

pg_standby


Comment je peux remplacer DataGuard (Logique) ?

» Uses WAL for speed and reliability

» Highly cost effective, uses commodity servers

» Excellent HA solution when clustering is not an option


Software

Les bonnes pratiques pour migrer d'Oracle vers Postgres