Supervision

Accès dans le menu

Le module se trouve dans la section Supervision, groupes Exploitation (anciennement Journaux : entrées Workers, Journaux Orkestra (anciennement Logs Orkestra) et Infrastructure) et Suivi des exécutions (anciennement UTD : entrées Journaux d'exécution (anciennement Journaux) et Suivi). Au survol d'une entrée renommée, une info-bulle « Anciennement : … » rappelle son ancien libellé.

Interface en cours de mise à jour

Les captures d'écran de cette page reflètent l'interface 2.0.0, à l'exception de celles du bouton Export Excel des Journaux Orkestra, de la recherche d'un ID de production, des filtres de colonnes et du regroupement de la page Journaux d'exécution, qui montrent encore l'interface précédente.

Présentation générale

Le module de Supervision Orkestra met à disposition un ensemble d'écrans permettant le suivi de l'activité de la plateforme. Il se divise en deux parties :

• Exploitation (anciennement Journaux) pour le suivi des Workers, des Journaux Orkestra (anciennement Logs Orkestra) et de l'infrastructure
• Suivi des exécutions (anciennement UTD) pour le suivi des logs remontés par les productions et la récupération des environnements de production

Exploitation

Workers

Présentation

L'écran de supervision des Workers (Supervision > Exploitation > Workers, anciennement Supervision > Journaux > Workers), permet de contrôler l'état des nœuds de production. Il répertorie les différents nœuds de production installés sur les serveurs ainsi que leur état.

Actions

1. Rafraîchir

   Le bouton RAFRAICHIR permet d'actualiser les informations de la grille.

   

2. Service Démarré / Service Stoppé

   Le bouton SERVICE DEMARRE permet de suspendre ou démarrer les nœuds de production.

   

3. Journal des nœuds

   La colonne Journal des nœuds permet l'affichage d'éventuelles erreurs présentes sur le nœud de production sélectionné.

   

Journaux Orkestra

L'écran de supervision Journaux Orkestra (Supervision > Exploitation > Journaux Orkestra, anciennement Logs Orkestra), permet d'afficher un ensemble d'informations liées à l'activité de la plateforme.

Ces informations sont de 3 niveaux :

• Informatif (Information) : information générale sur l'utilisation de la plateforme.
• Alerte (Warning) : information pouvant nécessiter une intervention.
• Erreur (Error) : information indiquant qu'une erreur s'est produite sur la plateforme. Ces erreurs doivent être analysées et corrigées afin d'assurer le bon fonctionnement de la plateforme.

Les données de cet écran peuvent être exportées via le bouton Export Excel afin d'en faciliter l'analyse.

Infrastructure

L'écran Infrastructure (Supervision > Exploitation > Infrastructure), réservé aux administrateurs plateforme, présente une vue d'ensemble du parc : serveurs, état de santé, workers, technologies et librairies installées. Un champ de recherche permet de retrouver sur quels serveurs, et dans quelles versions, une librairie est installée.

Suivi des exécutions

Journaux d'exécution

Présentation générale

L'écran de supervision Journaux d'exécution (Supervision > Suivi des exécutions > Journaux d'exécution, anciennement Supervision > UTD > Journaux), permet d'afficher un ensemble d'informations liées aux production d'UTD. Ces données sont remontées par l'ETL via une API disponible sur la plateforme Orkestra.

Un pack « SUPERVISION » développé par les équipes Orkestra peut être associé à chaque module, lui permettant de publier les informations sur la plateforme Orkestra. Ainsi, les détails des productions sont communiqués par l'ETL et ensuite consultables sur la plateforme.

Les informations comprises dans les détails de production :

• Le nom de l'UTD et de son module produit
• L'ID et la date/heure de production
• Le statut de production : Succès / Erreur / Avertissements
• Chaque étape de production de l'UTD (le Workflow ETL)
• Le résultat de chaque Workflow : Succès / Echec / Non lancé, qui peut être développé pour encore plus de détails techniques

info

Logs disponibles pour les UTDs développées à partir d'un ETL (ou autre outil Data Processing) et contenant le pack d'intégration « Supervision ».

Principe général

Après avoir lancé la production d'une UTD, l'utilisateur peut consulter les détails de l'exécution et analyser les messages en cas d'erreur.

Instructions d'utilisation de la page Journaux d'exécution

1. Sélectionner la période en cours :

   

   Si l'ID de production à analyser n'est pas affiché sur la page, effectuer une recherche :

   

2. Examiner les détails des logs :

   

3. Développer la ligne du workflow qui a échoué à l'aide de la petite flèche à gauche et naviguer pour trouver le message d'erreur :

   

   NB

   L'utilisateur métier devrait être surtout intéressé par les messages d'erreur dans les workflows, par exemple :

   • 01_EXTRACT_DATA : fichier de paramétrage non conforme
   • 02_EXTRACT_DATA : fichier d'entrée non conforme ou manquant
   • 05_PROD_ETQ : les éléments pour la construction de l'étiquette ont été mal paramétrés sur Orkestra ou les étiquettes d'entrée déclarées ne sont pas les bonnes. Dans ces cas-là, un fichier de logs étiquettes pourrait être téléchargé depuis Opérations > Orchestration (anciennement Data Fabrik)

   Les erreurs dans les autres workflows sont de nature technique. Dans cette situation, l'utilisateur peut faire appel à son consultant technique.

4. D'autres colonnes avec plus de détails sont disponibles dans cette section :

   

   Elles peuvent être sélectionnées / désélectionnées en fonction du besoin d'information.

Utilisation de la page Journaux d'exécution pour créer des statistiques

Pour obtenir plus d'informations sur des échecs récurrents par exemple, l'utilisateur a la possibilité de regrouper des colonnes sur la page Journaux d'exécution.

Le fonctionnement est similaire à celui d'un tableau croisé dynamique : organiser et grouper les données selon différentes catégories pour mieux les comparer ou analyser.

Exemple d'utilisation

1. Sélectionner la période en cours :

   

2. Sélectionner l'UTD concerné et filtrer le champ Résultat par « échec » :

   

   

3. Faire glisser sur la zone violette de regroupement les colonnes UTD, Résultat et Workflow. Les données sont ainsi groupées par ces trois catégories :

   

L'utilisateur pourrait ensuite facilement conclure quelles étaient les productions en échec, quels modules, tout regroupé par : UTD – résultat - type de workflow.

Dans ce cas, il s'agit uniquement du workflow 02_EXTRACT_DATA, avec des causes d'erreur possibles liées justement à l'utilisateur de la plateforme (fichier d'entrée non conforme ou manquant, etc.).

Suivi

Présentation générale

L'écran Suivi affiche les modules en erreur suite à des productions en échec. Les environnements de ces modules sont téléchargeables directement via la plateforme, pour une analyse approfondie.

Principe général

A partir du menu Supervision > Suivi des exécutions > Suivi, il est possible d'accéder à l'écran Suivi. Cet écran présente les informations associées à la demande.

En cliquant sur la flèche descendante, l'environnement de la production en échec est téléchargé au format ZIP.

info

Cette fonctionnalité nécessite des paramétrages de l'appsettings.json de WebApi.

1. Le paramètre KeepClientDemandeFolderOnFailed: true permet la conservation de l'environnement de la production en échec sur le serveur.

   • Le paramètre GetEnvironmentOnFailed: true permet de zipper l'environnement de la demande et de le remonter sur Orkestra pour téléchargement.
   • Si le paramètre GetEnvironmentOnFailed: false, alors l'environnement ne sera pas zippé et téléchargeable via Orkestra.

2. Si le paramètre est KeepClientDemandeFolderOnFailed: false, alors le dossier de l'environnement de la demande en échec est supprimé.

   • Le paramètre GetEnvironmentOnFailed (true ou false) n'est pas pris en compte dans ce contexte.

Les environnements en échec sont présents sur la plateforme pour une durée limitée par défaut 10 jours. Cette durée peut être configurée dans le fichier appsettings.json via le paramètre RetentionTimeForFailedFiles.

Nouveautés 2.0.0

Nouveau en 2.0.0

Cette section décrit une fonctionnalité introduite en version 2.0.0, à partir de ses critères fonctionnels. Le détail exact des parcours et les captures d'écran seront complétés une fois la version publiée.

Page d'accueil repensée

La page d'accueil a été revue pour rester lisible même avec un volume important de productions quotidiennes :

• Un bandeau signale les productions en erreur et les data products en attente de validation, avec un accès direct au détail.
• Les indicateurs clés (taux de succès, charge de la ferme de production) sont présentés avec leur contexte (par exemple « X sur Y planifiées ») plutôt qu'en valeur brute.
• La période affichée se choisit désormais entre Aujourd'hui, 7 jours ou le mois en cours, avec un filtre par ferme en plus du filtre par utilisateur.
• La grille des productions en cours affiche le statut, l'heure de démarrage et la durée.
• Un bloc dédié résume l'état de santé de la plateforme : workers actifs, charge moyenne, durée moyenne des productions.