REF Manager

Introduction

REF Manager fournit des fonctionnalités de gestion de tables de référentiels à partir de la plateforme Orkestra aux utilisateurs type Data Steward : métier et/ou DSI.

Les référentiels peuvent être consultés, mis à jour et transférés pour stockage dans la Base de données du client après validation.

3 typologies de table peuvent être gérées à partir du REF Manager :

• Table de référentiels avec étiquette ;
• Table de référentiels sans étiquette Annule et remplace ;
• Table de référentiels sans étiquette Update ;

Ce module intègre 4 fonctionnalités, pour le paramétrage et le pilotage des référentiels dans Orkestra :

• A partir du menu Paramètres puis Configuration :
  • Déclaration de la connexion
  • Configuration des tables de référentiels
• A partir du menu Management puis REF Manager :
  • Gestion des référentiels
  • Historique des opérations

Paramétrage des référentiels

Dans le menu Paramètres > Configuration > REF Manager.

Déclaration d'une connexion

Objectifs

• Etablir la connexion entre la plateforme et la base de données du Client
• Editer, désactiver et supprimer une connexion existante

Champs	Description	Commentaires
Code	Code de la connexion
Description	Description de la connexion	Limité à 500 caractères
Actif	Etat de la connexion	Case à cocher (Actif/Inactif)
Type de base de données	Type de base de données : SQL Server, Oracle	Sélection à partir du menu déroulant
Serveur	Nom du serveur
Port	Numéro du port
Base de données	Nom de la base de données
Login	Identifiant de connexion
Mot de passe	Mot de passe

astuce

Il est possible de désactiver et/ou supprimer une connexion que lorsqu'elle n'est pas utilisée dans une ou plusieurs configurations.

Configuration d'une table de référentiel

Objectifs

• Déclarer une table de référentiel, préalablement créée dans la base de données
• Définir les différentes modalités pour la gestion du référentiel au travers du REF Manager
• Editer, supprimer et désactiver une table configurée

Champs	Descriptions	Obligatoire	Commentaires
Nom de la table	Nom de table tel que dans la Base de données	OUI	Exemple : T_REF_TYPOLOGIE
Nom fonctionnel	Nom de table fonctionnel	OUI	Exemple : Référentiels des typologies
Description	Description du contenu		Limité à 500 caractères
Mode de fonctionnement	Description de l'administration de la table (de la requête)		500 caractères
Typologie	Typologie de table du référentiel : Avec étiquette, Sans étiquette AR, Sans étiquette Update	OUI	Sélection à partir du menu déroulant
Data Steward	Responsable de l'administration du référentiel dans Orkestra	OUI	Sélection à partir d'un menu déroulant d'utilisateurs actifs triés par ordre alphabétique
Statut	Statut de la configuration : Inactif (non modifiable, non visible dans écran de gestion), Actif (non modifiable, visible dans écran de gestion), Brouillon (modifiable, non visible dans écran de gestion)		Sélection à partir du menu déroulant. Brouillon par défaut
UTD - Module	Sélection à partir du menu déroulant d'un module défini dans l'application UTD Manager	OUI
Connexion	Liste des connexions aux bases de données actives définies dans l'onglet Connexion	OUI	Sélection à partir du menu déroulant. SQL Server est sélectionné par défaut
Schéma	Schéma de stockage de la table	OUI	A saisir par le DBA
Requête select	Requête select à exécuter (script par le DBA) : Base de données Client vers Orkestra	OUI	A saisir par le DBA
Nb lignes max GDB vers Orkestra	Saisie numérique. Restriction sur le nombre de lignes pouvant être administrées dans Orkestra	OUI	Valeur maximale conseillée : 10 000. Plus ce nombre est élevé et plus la récupération et la validation des données prendra du temps
Nb lignes min Orkestra vers GDB	Saisie numérique. Restriction du nombre de lignes minimum à transmettre à la base de données		Nombre supérieur à 1 : il est impossible de transmettre un jeu de donnée vide
Nb lignes max Orkestra vers GDB	Saisie numérique. Restriction du nombre de lignes maximum à transmettre à la base de données		Valeur conseillée : la même valeur que « Nb lignes max GDB vers Orkestra »
Champs modifiables (séparateur : virgule)	Uniquement pour la typologie « Table sans étiquette update », liste les champs éditables. Dans les autres typologies, toutes les colonnes sont éditables. Sans cette information, le référentiel ne pourra pas être chargé en GDB		Exemple : "DESCRIPTION", "INFO" = Uniquement ces 2 champs peuvent être modifiés par l'utilisateur
Clés primaires (séparateur : virgule)	Uniquement pour la typologie « Table sans étiquette update », liste les champs étant des clés primaires. Sans cette information, les lignes à mettre à jour ne pourront pas être identifiées. Le référentiel ne pourra donc pas être chargé en GDB		Exemple : "CODE_UNIT", "LIBELLE" = les 2 champs ne peuvent pas être modifiés par l'utilisateur
Prédicats (Sql)	Clause WHERE SQL utilisée pour filtrer les lignes à lire depuis la GDB		Exemple : "NUMV=24" = récupérer uniquement dans la base de données le jeu de donnée pour NUMV=24
Code Objet Etiquette	Sélection à partir du menu déroulant d'un Code Objet défini dans l'application Etiquette Manager pour la génération de l'étiquette	OUI	Si Typologie de table du référentiel = Avec étiquette
Périmètre	Sélection à partir du menu déroulant d'un Code Objet défini dans l'application Etiquette Manager pour la génération de l'étiquette	OUI	Si Typologie de table du référentiel = Avec étiquette. La liste s'actualise après le choix du « Code Objet Etiquette »
Champ Etiquette	Nom du champ portant la valeur de l'étiquette dans la table de la Base de données du Client	OUI	Si Typologie de table du référentiel = Avec étiquette

Prérequis

• Seules les tables de la GDB contenant des données peuvent être chargées dans un référentiel.

• A l'initialisation d'un nouveau référentiel, la création de la table dans la base de données du client est un prérequis avant de procéder à la configuration dans le REF Manager.

• A partir du menu UTD Manager, une UTD et un module dédié devront être créés pour chaque table afin d'être sélectionnés à la configuration à partir du menu déroulant :

  • Le module n'a pas vocation à être utilisé dans le cadre de production depuis la Data Fabrik
  • Le module doit comporter uniquement un Batch nommé « REF MANAGER »
  • Le module ne doit pas comporter de fichiers de ressources

  Uniquement les modules et l'UTD au statut actif sont sélectionnables dans la configuration.

• Pour les tables avec étiquette, il est obligatoire de configurer la nomenclature des étiquettes. A partir du module Etiquette Manager, le Data Steward (métier) doit définir pour chaque table :

  • Domaine : avec un type de domaine Ref Manager (RFM)
  • Périmètre : associé au domaine défini. Il peut être dynamique ou non dynamique
  • Objet : associé au domaine défini

• Pour les tables avec étiquette, en cas de périmètre dynamique, il est nécessaire d'ajouter des valeurs de périmètres. Ces valeurs sont définies suite à la configuration de la table dans l'onglet « Configuration » avec un statut « actif » ou « inactif ». Au moins une valeur de périmètre active doit être associée à la configuration de l'actif pour permettre l'activation de la table.

Configuration d'une table de référentiel avec étiquette

Focus sur les tables avec étiquette et périmètre dynamique :

• Pour toute typologie Avec étiquette, la sélection d'un Code objet étiquette ainsi que d'un Périmètre est obligatoire. La sélection d'un périmètre dynamique fait afficher le libellé « Périmètre dynamique » (à droite de la sélection).

Saisir le code objet étiquette (sélection par auto-complétion) et le champ de la table dans lequel sont stockées les étiquettes. La sélection du Périmètre se fait en fonction du code objet suivant le domaine.

astuce

Une fois la configuration enregistrée au statut Brouillon, il est possible d'ajouter des valeurs de périmètre via la sous-grille de la configuration. NB : une valeur de périmètre active est requise pour pouvoir passer la configuration au statut actif.

Compatibilité SQL Server

Le workflow Talend peut prendre en charge SQL Server en complément d'Oracle, tout en intégrant une gestion stricte des types de données supportés.

Les codes de retour sont correctement gérés sous SQL Server, conformément au comportement existant sous Oracle.

Une liste restreinte de types de données pris en charge a été ajoutée pour SQL Server et Oracle. Si une colonne d'un référentiel utilise un type non pris en charge, le workflow retourne le code d'erreur 1 avec le message suivant :

LE TYPE DE DONNEES [TYPE] N'EST PAS SUPPORTE.

Catégorie	Types pris en charge
Texte	Text, Char, Varchar2, Nvarchar2, Guid, Varchar, nchar, nvarchar, ntext, RowId
Décimal	Float, Double, Number, Decimal, Numeric, Real
Entier	Int, Integer, Tinyint, Smallint, BigInt
Booléen	Bool, Boolean, Bit
Date/Heure	Date, DateTime, DateTime2

Récapitulatif du paramétrage

Etapes	Data Steward	DBA
Connexion	Néant	Créer la connexion entre Orkestra et la base de données
Création de la table de référentiel (si non existante)	Néant	Créer la table dans la base de données du Client
Configuration Table avec étiquette	Définir l'étiquette dans Etiquette manager : Domaine (avec un type de domaine Ref Manager - RFM), Périmètre (associé au domaine défini, dynamique ou non dynamique), Objet (associé au domaine défini, avec un statut « Actif »). Créer une UTD et un module (actif) dans UTD Manager	Sélectionner le code Objet transmis par le DS. Sélectionner le périmètre transmis par le DS. Si périmètre dynamique, définition des valeurs de périmètre à partir de la sous-grille (obligatoire pour valider la configuration d'une table avec étiquette et périmètre dynamique). Sélectionner le module (UTD). Saisir le champ technique portant l'étiquette dans la table. Modifier le statut « Brouillon » à « Actif » pour rendre la table accessible dans l'onglet Gestion
Configuration table sans étiquette	Créer une UTD et un module (actif) dans UTD Manager	Sélectionner le module (UTD) transmis par le DS. Modifier le statut « Brouillon » à « Actif » pour rendre la table accessible dans l'onglet Gestion
Configuration Table sans étiquette Update	Créer une UTD et un module (actif) dans UTD Manager	Sélectionner le module (UTD) transmis par le DS. Modifier le statut « Brouillon » à « Actif » pour rendre la table accessible dans l'onglet Gestion

Pilotage des référentiels

Dans le menu Management > REF Manager.

Gestion d'une table de référentiel

Consultation d'un référentiel

Les référentiels accessibles doivent avoir le statut « Actif » dans la section REF Manager > Configuration.

A partir du menu déroulant, sélectionner le référentiel souhaité, puis cliquer sur « Afficher », pour afficher le contenu de la table sélectionnée.

A l'initialisation, le chargement de la table depuis la base de données du Client se fera automatiquement : cette opération peut prendre quelques minutes en fonction de la taille du contenu.

Si la table est déjà chargée à partir d'Orkestra, elle ne sera pas rechargée depuis la base de données du client au clic du bouton « Afficher ».

En cliquant sur « Forcer le rechargement », la table est rechargée depuis la base de données du Client vers Orkestra. Cette opération peut survenir, par exemple, à la suite d'une mise à jour de la table dans la base de données, en dehors de REF Manager.

attention

En cas de rechargement forcé, les données exploitées et l'ensemble des brouillons existants seront effacés d'Orkestra. Le rechargement est réalisé sur la base de la configuration telle que définie au moment donné.

Sélection d'une étiquette (tables avec étiquettes)

Pour les tables avec étiquette, il est possible de sélectionner une étiquette à partir d'un menu déroulant suite à l'affichage du contenu de la table.

Les étiquettes listées dans le menu déroulant sont les étiquettes existantes et validées dans la Base de données du Client, au moment du chargement de la base dans Orkestra.

Pour effectuer une mise à jour de donnée à partir de l'étiquette sélectionnée, cliquer sur « CLONER ». Il n'est pas possible de modifier une étiquette existante et validée dans la Base de données du Client.

Clone et modification des référentiels avec étiquette

Le bouton « CLONER » initie alors la création d'un jeu de données, identique à l'étiquette sélectionnée. Le nouveau jeu de données est tagué par une étiquette de donnée provisoire : $ + code étiquette d'origine.

Il n'est pas possible de cloner le clone d'une étiquette. Une étiquette n'est clonable qu'une seule fois.

Il est possible de modifier, d'ajouter et de supprimer des lignes d'un référentiel cloné, en fonction des critères et conditions définies dans la section Ref Manager > Configuration.

Modification des référentiels sans étiquette

Pour les tables sans étiquette, la fonctionnalité de « CLONER » est désactivée : les modifications sont directement effectuées sur le contenu de la table :

• Tables sans étiquette AR : il est possible de modifier, ajouter et supprimer des lignes du jeu de données, en fonction des critères et conditions définies dans la section Ref Manager > Configuration.
• Tables sans étiquette Update : il est possible de modifier uniquement certains champs du jeu de données, en fonction des critères et conditions définies dans la section Ref Manager > Configuration.

S'il n'y a pas de donnée dans la table sélectionnée, l'interface présente une grille vide, avec des entêtes de colonne, dans laquelle il est possible d'ajouter des lignes.

Modification rapide des référentiels en ligne

L'édition d'un référentiel s'effectue directement depuis la grille, en mode édition à la ligne. Un double-clic sur une ligne permet de passer en mode édition. Les modifications sont enregistrées automatiquement à la sortie de la ligne. Les colonnes dont le texte est grisé sont en lecture seule.

Mises à jour en masse (export et import Excel)

Cette fonctionnalité permet d'exporter le contenu d'un référentiel, de le modifier hors ligne, puis de le réimporter pour mise à jour.

L'objectif est de permettre aux utilisateurs de réaliser des mises à jour en masse de leurs référentiels métiers à partir d'un fichier Excel, de manière simple et totalement autonome.

Export d'un référentiel au format Excel

Depuis l'écran REF Manager > Référentiels, l'utilisateur peut exporter le contenu d'un référentiel actif :

1. Sélectionner le référentiel souhaité dans la liste déroulante.
2. Cliquer sur le bouton Export Excel.

Le système génère automatiquement un fichier .xlsx contenant :

• Les colonnes visibles dans la grille,
• Les valeurs courantes des enregistrements.

Bonnes pratiques

Utiliser le fichier exporté comme modèle de travail pour les modifications. Ne pas supprimer ou renommer les en-têtes de colonnes.

Import d'un fichier Excel dans un référentiel

Après modification du fichier, il est possible de le réimporter pour mise à jour du référentiel :

1. Cliquer sur le bouton Importer Excel.
2. Sélectionner le fichier .xlsx à importer.

Orkestra analyse automatiquement le contenu du fichier :

• Vérification de la correspondance des colonnes,
• Contrôle du typage des données,
• Détection des anomalies ou valeurs manquantes.

Un rapport de validation est ensuite affiché à l'écran, indiquant :

• Le statut de chaque ligne (Succès ou Erreur),
• Le champ concerné,
• Le message d'erreur ou d'avertissement associé.

Si le fichier est valide, l'utilisateur peut confirmer l'importation. Les données sont alors intégrées automatiquement dans le référentiel concerné.

Ordre des colonnes personnalisable

• Dans l'écran Configurations (Configuration > REF Manager), les utilisateurs peuvent réorganiser les colonnes de la grille par glisser-déposer, selon leurs préférences.
• La modification de l'ordre est instantanée et les préférences d'affichage sont automatiquement enregistrées pour chaque utilisateur.
• L'ordre personnalisé est préservé même après un rafraîchissement de la page ou lors de prochaines connexions.

Sélection des colonnes dans la grille des référentiels

• Un sélecteur de colonnes permet d'afficher ou masquer les colonnes selon les besoins de consultation.
• Pour des raisons techniques, les préférences utilisateurs ne sont pas encore prises en charge sur cette grille. Par conséquent, tout rechargement de la page réinitialise l'affichage des colonnes.

Validation et transfert vers la base de données du client

Après modification, cliquer sur « VALIDER » :

• Table sans étiquette AR
  • Création d'un ID Demande
  • Suppression du contenu de la table dans la base de données
  • Transfert et insertion du jeu de données modifié dans la base de données
• Table sans étiquette Update
  • Création d'un ID Demande
  • Modification des champs modifiables dans la base de données
• Table avec un périmètre non dynamique
  • Génération de l'étiquette à partir du code Objet défini et de la valeur du périmètre sélectionnée dans la section Ref Manager > Configuration
  • Création d'un ID Demande
  • Transfert et insertion du jeu de données portant l'étiquette générée dans la base de données du client
• Table avec un périmètre dynamique
  • Sélection d'une valeur d'étiquette active définie dans la configuration puis clic sur Enregistrer
  • Génération de l'étiquette à partir du code Objet défini et de la valeur du périmètre sélectionnée dans la section Ref Manager > Configuration
  • Création d'un ID Demande
  • Transfert et insertion du jeu de données portant l'étiquette générée dans la base de données du client

attention

En cas d'échec, la nouvelle étiquette ne sera pas générée. Après correction ou résolution de l'incident, il est possible de procéder à nouveau à une validation pour transfert dans la base de données du client.

Contrôle d'unicité lors de la création ou modification de référentiels

Si un référentiel identique existe déjà en base, une notification (snackbar) s'affiche avec le message suivant :

• FR : Enregistrement impossible : un référentiel avec ces paramètres (nom de table, schéma et connexion) existe déjà.
• EN : Saving failed : a referential with these parameters (table name, schema, and connection) already exists.

Récapitulatif des fonctionnalités de gestion

Fonctionnalités	Table avec Etiquette	Table sans étiquette AR	Table sans étiquette update
Afficher	Première utilisation : chargement de l'intégralité depuis la base de données du client. Après : chargement du contenu de la table depuis sa sauvegarde sur Orkestra	Première utilisation, chargement du contenu de la table en fonction du champ « Prédicats (Sql) ». Après : chargement du contenu de la table depuis sa sauvegarde sur Orkestra	Première utilisation, chargement du contenu de la table en fonction du champ « Prédicats (Sql) ». Après : chargement du contenu de la table depuis sa sauvegarde sur Orkestra
Forcer le chargement	Chargement de l'intégralité de la table. Suppression des données existantes sur Orkestra dont les brouillons (étiquettes clonées)	Chargement du contenu de la table en fonction du « Prédicats (Sql) ». Suppression des données existantes sur Orkestra dont les modifications en cours sur la table	Chargement du contenu de la table en fonction du « Prédicats (Sql) ». Suppression des données existantes sur Orkestra dont les modifications en cours sur la table
Sélectionner les étiquettes	A partir du menu déroulant qui s'affiche, une fois le contenu de la table chargée (après clic sur « Afficher »)	Non applicable	Non applicable
Cloner	Cloner : création d'un jeu de données identiques à l'étiquette sélectionnée. Clone possible à partir d'une étiquette non clonée. Impossible de cloner des étiquettes déjà clonées. Impossible de cloner le clone d'une étiquette	Non applicable	Non applicable
Modification	Ajouter, éditer et supprimer des lignes d'une étiquette clonée. Impossible de modifier une étiquette existante et validée dans la base de données du client	Modifications réalisées à partir du jeu de données. Ajouter, éditer et supprimer les lignes du jeu de données	Modifications réalisées à partir du jeu de données. Suivant la configuration, modification possible uniquement sur les champs modifiables. Pas d'ajout et de suppression de ligne
Sauvegarde	Sauvegarde automatique à chaque enregistrement	Sauvegarde automatique à chaque enregistrement	Sauvegarde automatique à chaque enregistrement
Valider	Si périmètre dynamique, sélection à partir du menu déroulant de la valeur de périmètre (active) souhaitée. Génération étiquette. Intégration en base de données du nouveau jeu de données dans la table avec la nouvelle étiquette générée	Suppression du contenu de la table dans la base de données et intégration du jeu de données mis à jour dans la table	Modification uniquement des champs modifiables en table dans la base de données

Historique des actions d'exploitation

Toutes les actions effectuées pour l'exploitation de référentiels sont journalisées dans la page REF Manager → Historique.

On y trouve le journal des actions effectuées sur les référentiels :

• Chargement de la GDB
• Transfert vers GDB

Cette page permet aussi le suivi des statuts des actions réalisées. En cas d'échec d'une action, la résolution du problème est possible à partir des messages d'erreur.

Journalisation des actions de configuration

Toutes les actions effectuées sur la configuration des référentiels (création, modification, suppression, tentatives d'accès refusées) sont automatiquement journalisées dans Supervision → Journaux / Logs Orkestra.

Pour filtrer les logs REF Manager, utiliser le préfixe [RFM] dans la colonne Message.

Chaque entrée de log indique l'identifiant de l'utilisateur à l'origine de l'action, le référentiel concerné, le type d'action et son résultat (succès ou refus).

Habilitations sur les référentiels

Il est nécessaire d'attribuer un rôle à l'utilisateur pour lui donner accès à tout ou partie des référentiels.

De plus, selon ses habilitations, certaines fonctionnalités de l'interface REF Manager peuvent être désactivées.

Les habilitations sont décrites dans le manuel des habilitations.