Data Fabrik
Glossaire
| Terme | Définition |
|---|---|
| Module | Un module est une ligne de traitement de données. Il définit l'ensemble des exécutables qui seront lancés lors d'une demande de production. |
| Version | Une version d'UTD correspond à un état donné de l'évolution de l'UTD. |
| Unité de Traitement de Données | Une Unité de Traitement de Données (abrégée « UTD ») est un regroupement de plusieurs modules ayant, soit des points communs (par ex. : un unique périmètre métier, ou encore la gestion de l'ensemble des référentiels métier), soit décrivant un processus métier complet composé de plusieurs flux (intégration des comptabilités de plusieurs filiales par exemple). |
Introduction
La Data Fabrik permet de lancer des productions d'UTD.
Production UTD
Ecran de production des UTD :
Actions générales :
- Produire : lance une nouvelle production d'UTD
- Rafraichir : met à jour le tableau
- Export Excel : exporte le tableau (avec ses filtres éventuels) sous Excel
Nouvelle production
On affiche la pop-up de création d'une nouvelle UTD en cliquant sur le bouton ajouter :
Informations à remplir :
- Catégorie : catégorie de l'UTD à produire (permet de filtrer la liste des UTD), à choisir dans la liste
- Unité de traitement de données : nom de l'UTD à produire, à choisir dans la liste – champ obligatoire
- Module applicatif : nom du module à produire, à choisir dans la liste – champ obligatoire
- Commentaire : section libre – champ obligatoire
- Commandes : lie la production à un numéro de commande existant
Selon les modules à produire, un ou plusieurs fichiers peuvent être requis, les fichiers obligatoires à la production sont identifiés en rouge.
Actions :
- Lancer maintenant : lance la production de l'UTD
- Planifier la production : permet d'accéder à la popup pour lancer la production à un horaire précis ou pour planifier de manière récurrente la production de l'UTD
- Croix : ferme le pop-up sans lancer la production de l'UTD
- Clavier "echap" : ferme le pop-up sans lancer de production l'UTD
« Lancer maintenant » ferme la popup et renvoie à l'écran de consultation actualisé avec demande :
- Statut « En cours d'exécution » si un serveur était disponible pour exécuter l'UTD
- Statut « Demande créée et attente d'exécution » si aucun serveur n'est disponible.
L'UTD sera exécutée dès qu'un serveur sera disponible sans action supplémentaire.
Assignation des destinataires des mails de production
Une nouvelle zone intitulée Destinataire(s) d'emails est désormais disponible dans la fenêtre production de la Data Fabrik.
- L'utilisateur peut sélectionner plusieurs personnes parmi les utilisateurs actifs de la plateforme.
- Une recherche dynamique est intégrée pour retrouver rapidement un utilisateur par nom ou prénom.
- Lorsqu'une production similaire a déjà été exécutée (même UTD et même module), Orkestra propose automatiquement les destinataires précédents afin de faciliter la configuration.
- La liste des destinataires reste modifiable jusqu'à la validation finale de la production.
Étapes
- Dans l'écran Production UTD, cliquer sur Produire pour créer une nouvelle production.
- Dans la section Destinataire(s) d'emails, cliquer dans le champ de recherche et sélectionner les utilisateurs à notifier.
- Valider la configuration avant le lancement ou la planification de la production.
- À la fin de l'exécution, tous les destinataires recevront automatiquement le mail de notification.
Restrictions
- Seuls les utilisateurs disposant d'un compte actif peuvent être sélectionnés.
- Si aucun destinataire n'est renseigné, seul le demandeur recevra la notification.
- La configuration des destinataires ne modifie pas les droits d'accès à la production (lecture ou supervision).
Sélection du modèle de mail pour les destinataires
Lors de la création d'une production, un nouveau champ Modèle d'email permet de choisir le modèle de message à utiliser pour la notification.
- Le champ est facultatif.
- Si aucun modèle n'est sélectionné, Orkestra utilise par défaut le modèle standard de fin de production (FIN_PROD).
- Seuls les modèles actifs dans la configuration d'administration sont proposés dans la liste déroulante.
- Lorsqu'une production similaire a déjà été effectuée, le modèle utilisé précédemment est automatiquement suggéré.
Étapes
- Dans la fenêtre Nouvelle production, ouvrir le champ Modèle d'email.
- Sélectionner dans la liste le modèle de message souhaité.
- Valider la production.
- Les notifications envoyées à la fin du traitement utiliseront le contenu du modèle choisi.
- S'assurer que les modèles d'email ont été préalablement créés et activés par un administrateur dans la configuration de la plateforme.
- Utiliser des noms de modèles explicites afin de faciliter leur identification.
Fonctionnalité de recherche
Un filtre de type « plage de dates » avec la valeur par défaut « Les 30 derniers jours ». D'autres valeurs sont prédéfinies comme « Les 7 derniers jours », « Ce mois-ci », « Le mois dernier » ou « Personnaliser » qui permet de définir une plage de dates spécifiques.
Une barre de recherche permet de filtrer sur toutes les colonnes de la grille sauf sur celles relatives au « statut de la demande » ou au « contrôle » qui ont toujours la fonction de filtre sur l'entête de colonne.
Un bouton « Effacer filtres » permet de supprimer l'intégralité des filtres appliqués à la grille.
Pour la colonne « contrôle », il est possible de filtrer en choisissant les différents types de feux.
Personnalisation de l'affichage des colonnes
L'écran Production UTD permet désormais aux utilisateurs de réorganiser les colonnes de la grille selon leurs préférences.
L'ordre défini est automatiquement enregistré dans les préférences utilisateur et restauré à chaque connexion, assurant ainsi un affichage personnalisé et cohérent dans le temps.
Exporter la grille sur Excel
L'Export Excel de la grille de production des UTD inclut l'ensemble des lignes visibles dans la grille, selon les filtres appliqués, indépendamment de la pagination.
Si plus de 1000 lignes sont concernées, un popup s'affiche pour inviter l'utilisateur à affiner les filtres avant l'export.
Commenter une production
Dans l'écran Production UTD, il est possible de modifier les commentaires directement depuis la grille. Un double-clic sur une cellule de la colonne Commentaire ouvre un popup permettant de consulter et modifier le texte existant.
L'utilisateur peut soit enregistrer la modification, qui sera immédiatement reflétée dans la grille et enregistrée en base de données, soit annuler pour quitter sans changement.
Ajout de commentaires multiples (historique des échanges)
Dans l'écran Production UTD, les utilisateurs peuvent ajouter plusieurs commentaires à une production, quel que soit son statut.
Une icône de commentaire est affichée à la fin de chaque ligne dans la colonne Résultats. Elle apparaît noire s'il existe des commentaires et grise dans le cas contraire. Un clic sur cette icône ouvre un popup listant tous les commentaires existants, incluant leur auteur et leur date de création.
Un champ de saisie permet d'ajouter un nouveau commentaire. Chaque commentaire est enregistré séparément et n'est pas modifiable une fois saisi.
Cette évolution facilite le suivi et l'historisation des échanges ou actions liés à une production.
Planification d'une production
Planification différée
On affiche la pop-up de planification d'une production « Planifier la production » :
On planifie comme souhaité la production avec :
- Une date d'exécution
- Une heure d'exécution
Actions :
- Valider la planification : programme la production de l'UTD
- Retour : revient à la popup précédente sans lancer la production
- Croix : revient à la popup précédente sans lancer la production
- Clavier "echap" : revient à la popup précédente sans lancer la production
« Valider la planification » ferme la popup et renvoie à l'écran de consultation actualisé avec la demande au statut « Demande créée et attente d'exécution ».
Planification récurrente
On affiche la pop-up de planification d'une production « Planifier la production » :
On configure comme souhaité la récurrence de la production avec :
- l'heure d'exécution : par défaut, 00:00
- les jours du mois : par défaut, tous les jours
- les jours de la semaine : par défaut, du lundi au vendredi
- les mois : par défaut de janvier à décembre
- la date de départ : par défaut, la date du jour
- la date de fin : facultatif
Il est possible de configurer des jours ou des mois spécifiques ou de définir des plages. Par exemple : du 1er au 15 du mois, les lundis, mercredis et vendredis sur les mois de juin à septembre. La traduction de chaque donnée saisie est affichée en violet au-dessus de chaque élément.
Afin de pouvoir contrôler ce qui a été saisi, un récapitulatif des données est disponible (zone 1) ainsi qu'un aperçu des prochaines planifications (zone 2).
Lors de la saisie, des aides sont disponibles pour chaque élément :
Actions :
- Valider la planification : programme la production de l'UTD
- Retour : revient à la popup précédente sans lancer la production
- Croix : revient à la popup précédente sans lancer la production
- Clavier "echap" : revient à la popup précédente sans lancer la production
« Valider la planification » ferme la popup et renvoie à l'écran de consultation actualisé avec la première occurrence de la demande au statut « Demande créée et attente d'exécution ».
Règles de gouvernance
Désignation des responsables Data Gouvernance
Une zone de sélection multi-utilisateurs dans l'écran de création d'une production UTD permet de désigner les responsables de la gouvernance des données associée.
- Cette zone s'affiche uniquement si le module sélectionné est soumis à la gouvernance.
- Seuls les utilisateurs avec un rôle "Créateur" ou "Administrateur" dans l'application Data Gouvernance peuvent être sélectionnés.
- La sélection utilise un champ multiselect avec recherche sur nom et prénom.
- Si une production équivalente (même UTD et même module) a déjà été réalisée, les responsables précédemment désignés sont proposés par défaut.
- Le champ reste modulable avant validation et n'est pas requis.
Complétion des règles de gouvernance
Une fonctionnalité permet la complétion des règles de data gouvernance à l'issue d'une production UTD réussie, dans les cas où le module utilisé est soumis à gouvernance.
La possibilité de compléter ces règles est réservée :
- à l'utilisateur assigné à la production,
- aux utilisateurs ayant le rôle super-admin dans l'application Data Gouvernance.
L'interface permet de renseigner les règles de gouvernance spécifiques aux étiquettes produites par la production. L'accès est conditionné à :
- Un module marqué comme soumis à gouvernance,
- Une production réalisée avec succès,
- La présence d'un utilisateur assigné à la production.
Tous les autres utilisateurs sont exclus de cette étape, même s'ils ont accès à l'UTD.
Gestion des demandes
Consultation d'une production
Une fois la production lancée ou planifiée, l'écran de consultation apparaît permettant de contrôler le bon déroulement d'une production et d'en télécharger les résultats disponibles :
Actions sur le tableau :
- Recherche par champ : cliquer sur l'icône filtre à droite d'un champ permet de saisir ce qu'on recherche
- Tri par champ : cliquer sur le libellé d'un champ trie les lignes en fonction de ce champ. Cliquer sur Ctrl + le libellé d'un champ permet de cumuler jusqu'à 3 tris.
- Historique : en bas de l'écran, les numéros donnent accès à des productions plus ou moins lointaines
Actions sur une production :
- Contrôle : Les indicateurs de qualités des données sont représentés par un système de « feu tricolore », permettant de vérifier la qualité générale du jeu de données produit.
- Ressources : permet d'accéder aux fichiers chargés en entrée.
- Résultats : permet d'accéder aux informations de la production et d'en télécharger les fichiers de sortie
Statut d'une production :
- Production réalisée
- Production stoppée : des règles permettant l'interruption volontaire des traitements peuvent être intégrés au module afin de stopper l'exécution de la production. Dans ce cas la demande retourne un statut « stop ». Il est possible de consulter les résultats ayant conduit à l'arrêt de la production en cliquant sur l'icône de stop
- Production non réalisée : consulter les informations de la production pour plus de détails
- Production en attente d'exécution : en attente d'un serveur disponible ou de son heure d'exécution
- Production en cours
- Production annulée : annulation de la demande avant son exécution
Contrôles
En cliquant sur l'icône de feu, l'utilisateur peut consulter les indicateurs liés à la qualité du jeu de donnée :
- Rouge : Qualité très mauvaise (ex : défaut de complétude, donnée manquante)
- Orange : Qualité moyenne (ex : défaut de fraicheur des données)
- Vert : Qualité satisfaisante – Toutes les données sont de qualité
Actions :
- Télécharger le recueil : télécharger le fichier détaillant ces erreurs
- Retour : revient à l'écran de consultation
- Croix : revient à l'écran de consultation
- Clavier "echap" : revient à l'écran de consultation
Commentaire
Il est possible de modifier les commentaires directement depuis la grille. Un double-clic sur une cellule de la colonne Commentaire ouvre une popup permettant de consulter et modifier le texte existant.
L'utilisateur peut soit enregistrer la modification, qui sera immédiatement reflétée dans la grille et enregistrée en base de données, soit annuler pour quitter sans changement.
Ressources
En cliquant sur l'icône des ressources l'utilisateur affiche les fichiers chargés en entrée :
Actions :
- Ressource transmise : télécharger le fichier détaillant ces erreurs
- Retour : revient à l'écran de consultation
- Croix : revient à l'écran de consultation
- Clavier "echap" : revient à l'écran de consultation
Statut demande
En cliquant sur l'icône de demande stoppée, Orkestra affiche les contrôles ayant conduit à l'interruption de la production. Il est par ailleurs possible de télécharger le recueil des éléments bloquants
Actions :
- Télécharger le recueil : télécharger le fichier détail des contrôles bloquants
- Retour : revient à l'écran de consultation
- Croix : revient à l'écran de consultation
- Clavier "echap" : revient à l'écran de consultation
Résultats
Informations
En cliquant sur l'icône des informations l'utilisateur affiche les informations liées à la production de la demande :
Actions :
- Retour : revient à l'écran de consultation
- Croix : revient à l'écran de consultation
- Clavier "echap" : revient à l'écran de consultation
Téléchargement
En cliquant sur l'icône des téléchargements, l'utilisateur télécharge les fichiers de sortie :
Les fichiers seront téléchargés sous forme d'un dossier .zip nommé d'après le numéro de la demande.
Echec de production
Le bouton de la colonne « Résultats » affiche un pop-up indiquant les informations détaillées de la production. Il permet d'identifier l'étape de la production (appelé Batch) en échec grâce au champ « Info de production » :
Aide au diagnostic :
| Workflow | Pré-diagnostic | Action métier recommandée |
|---|---|---|
| 00_A_EXTRACT_QUALIF | Problème technique sur l'application | Contacter le support |
| 01_A_EXTRACT_PARAM | Format de fichier (colonnes, ...) non conforme Nom de fichier non conforme Données non conformes | Vérifier la conformité des fichiers d'entrée (fichier modèle disponible) Relancer |
| 02_A_EXTRACT_DATA | Données non conformes | Si le module nécessite des fichiers Excel d'entrée : vérifier leur conformité (fichier modèle disponible) Relancer |
| 03_A_CONSOLIDATE_DATA | Problème technique sur Application ou Serveur | Contacter le support |
| 04_A_ALIM_QUALIF | Contrôles bloquants sur qualité de données (X) | Télécharger le fichier de résultats indiquant les erreurs. Corriger (vérifier leur conformité (fichier modèle disponible) Relancer |
| 05_A_PROD_ETQ | Problème technique sur Application ou Serveur | Contacter le support |
| 06_A_RESTITUTION | Problème technique sur Application ou Serveur | Contacter le support |
| Autre | — | Contacter le support |
Pour avoir le détail concernant l'échec de la production, il faut consulter le fichier Log_production_UTD.xlsx dans le dossier log des résultats téléchargés de la production si l'UTD est éligible. Il est aussi possible de consulter la page UTD Logs de l'onglet « Supervision » si l'habilitation le permet.
Récupération des environnements en erreur
Menu UTD dans la zone Supervision contenant les sous-menus Journaux (anciennement UTD Logs) et Suivi.
L'écran Suivi affiche les dernières UTD en erreurs dont les environnements sont téléchargeables directement via la plateforme.
Cette fonctionnalité nécessite des paramétrages de l'appsettings.json de WebApi.
KeepClientDemandeFolderOnFailed:true, paramètre existant, dans ce cas l'environnement en erreur est conservé sur le serveur. Nouveau paramètreGetEnvironmentOnFailed.GetEnvironmentOnFailed:true, alors le dossier de l'environnement de la demande est zippé et remonté sur Orkestra.GetEnvironmentOnFailed:false, on ne fait rien de plusKeepClientDemandeFolderOnFailed:false, alors le dossier de l'environnement de la demande en échec est supprimé.GetEnvironmentOnFailed: non pris en compte dans ce contexte.
Les environnements en échec sont présents sur la plateforme pour une durée limitée par défaut de 10 jours. Cette durée peut être configurée dans le fichier appsettings.json via le paramètre RetentionTimeForFailedFiles.
Calendrier des productions
Calendrier
Ecran de consultation du calendrier des productions d'UTD :
Filtres :
- Réalisé / Planifié : permet de n'afficher que le calendrier des demandes planifiées ou que les demandes réalisées (ou les deux).
- Récurrent / Non récurrent : permet de filtrer sur les demandes issues d'une planification récurrente ou non.
- Par utilisateur(s) / Par catégorie(s) / Par UTD(s) / Par statut(s) : permet de n'afficher les demandes correspondant aux critères sélectionnés.
Il est possible d'afficher ce calendrier sous format :
- de liste : Aujourd'hui, Ordre du jour
- d'agenda : Journée, La semaine, Mois, Agenda du mois
Planifications
Ecran de consultation des planifications récurrentes d'UTD :
Actions générales :
- Afficher les planifications inactives : à cocher pour voir les planifications terminées ou inactivées
- Effacer les filtres : permet d'annuler les filtres et recherches précédents appliqués
- Recherche : effectue une recherche rapide sur tous les champs
- Rafraichir : met à jour le tableau
- Export Excel : exporte le tableau (avec ses filtres éventuels) sous Excel
En dépliant la planification d'un module d'UTD, il est possible de gérer toutes les planifications associées à ce module :
Actions :
- Modifier : modifie la planification
- Dupliquer : duplique la planification
- Annuler : annule la planification
Modification
En cliquant sur l'icône de modification, l'utilisateur affiche le pop-up de planification :
Actions :
- Confirmer : valide la mise à jour de planification
- Annuler : revient à l'écran de consultation sans enregistrer les modifications
- Croix : revient à l'écran de consultation sans enregistrer les modifications
- Clavier "echap" : revient à l'écran de consultation sans enregistrer les modifications
Duplication
En cliquant sur l'icône de duplication, l'utilisateur affiche le pop-up de planification :
Actions :
- Confirmer : crée la nouvelle planification
- Annuler : revient à l'écran de consultation sans dupliquer la planification
- Croix : revient à l'écran de consultation sans dupliquer la planification
- Clavier "echap" : revient à l'écran de consultation sans dupliquer la planification
Annulation
En cliquant sur l'icône de duplication, l'utilisateur affiche le pop-up de planification :
Actions :
- Confirmer : désactive la planification (annulation de la prochaine demande associée)
- Annuler : revient à l'écran de consultation sans désactiver la planification
- Clavier "echap" : revient à l'écran de consultation sans désactiver la planification
Commentaires
Dans l'écran Production UTD (Data Fabrik > Production UTD), les utilisateurs peuvent ajouter plusieurs commentaires à une production, quel que soit son statut.
Un icône de commentaire est affiché à la fin de chaque ligne dans la colonne Résultats. Un clic sur cet icône ouvre une popup listant tous les commentaires existants, incluant leur auteur et leur date de création.
Un champ de saisie permet d'ajouter un nouveau commentaire. Chaque commentaire est enregistré séparément et n'est pas modifiable une fois saisi.
Tableaux de bord
Sur cette page vous pouvez vous connecter à votre compte Power BI pour afficher des rapports Power BI.
Vous devez avoir une licence Power BI Premium par utilisateur associée à votre compte Microsoft.
Connexion
En cliquant sur le bouton « Se connecter à Microsoft », vous pouvez vous identifier et accéder aux fonctionnalités de cette page.
Une fois connecté, un bouton de déconnection est disponible.
Afficher un rapport Power BI
Pour afficher un rapport, entrez en premier le nom de votre espace de travail, puis le nom de votre rapport.
Le bouton de droite permet d'afficher le rapport en plein écran.
L'utilisateur a accès à tous les rapports Power BI sur lesquels son compte Microsoft est habilité.