Les outils de la qualité des données

Qualité des données

Une donnée est de bonne qualité lorsqu’elle répond aux attentes et aux besoins des consommateurs, la qualité de la donnée dépend donc du contexte d’utilisation et des besoins des utilisateurs. La gestion de la qualité des données est un programme, pas un projet. Les actions doivent s’inscrire dans la durée et selon une stratégie d’amélioration continue. Les actions d’amélioration de la qualité des données doivent être réalisées à travers le cycle de vie de la donnée grâce aux outils ci-dessous :

Le contrôle de la qualité des données grâce aux dimensions/ reporting qualité 

Les dimensions de la qualité sont des éléments mesurables de la qualité des données. Ces mesures sont calculées à partir de caractéristiques/questions importantes pour le métier. Par exemple :

La complétude 

Le jeu de données/tables/colonnes contient-il des valeurs nulles ou erronées ? Indicateur : Taux de données non nulles.

La cohérence

Peut-on lier les données entre deux sources ? Les données sont-elles cohérentes/ identiques entre deux sources (CRM/facturation) ? Les données sont-elles cohérentes dans un jeu de données ? Indicateur : Taux de données équivalents entre deux sources.

La validité

Les données sont-elles validées et cohérentes (format, domaine de valeur, définition) ? Respectent-elles un comportement « Normal » attendu ? Indicateur : Taux de données conformes à une formule.

La fraîcheur

Les données sont-elles à jour ? Indicateur : Taux de données mises à jour à j+2.

L’unicité

Les enregistrements sont-ils identifiables de manière unique ? Indicateur : Taux de valeurs uniques.

Etc.

 

La résolution des problématiques de données

La résolution des problématiques de données consiste à recenser les problèmes de données, effectuer une priorisation des cas à traiter, analyser les causes racines et les impacts avec les experts métiers/SI, proposer, piloter et suivre le plan de remédiation. Les acteurs identifient des opportunités d’amélioration de la qualité des données par l’optimisation des processus et des outils.

Le profiling et l’analyse des données

Le profiling est une forme d’analyse de données utilisée pour inspecter la donnée et ses qualités intrinsèques. Le profiling utilise les techniques statistiques pour découvrir la structure, le contenu et la qualité des données.

Le traitement de la qualité des données 

Les actions liées aux traitements de la qualité des données sont : le nettoyage, le formatage, le filtrage, la conversion, la transformation, la consolidation, l’enrichissement…

Découvrez sur le site web ASI notre fiche référence client : Mise en place et pilotage du dispositif de Qualité des Données chez KLESIA.

N’hésitez pas à nous contacter pour tous renseignements à ce sujet : asicom@asi.fr / 0806 700 800 (prix d’un appel local).

GDPR / RGPD – Qu’est-ce que le PIA (Privacy Impact Assessment) ?

L’analyse d’impact sur la protection des données (Privacy Impact Assessment, PIA ou DPIA, cf. art. 35 du [RGPD]) est un outil important pour la responsabilisation des organismes. C’est une bonne pratique fortement recommandée, et obligatoire dans certains cas, qui aide à construire des traitements de données respectueux de la vie privée et à démontrer leur conformité au règlement général sur la protection des données (notion de responsabilité ou d’accountability en anglais, cf. art. 25 du [RGPD]). C’est un prérequis à la mise en œuvre d’une stratégie de « Privacy By Design » sur chaque nouveau projet.

La démarche de conformité mise en œuvre en menant un PIA repose sur deux piliers :

Conformité RGPDLes principes et droits fondamentaux, « non négociables », qui sont fixés par la loi et doivent être respectés, quels que soient la nature, la gravité et la vraisemblance des risques encourus :

La légitimité de la finalité ; la licéité du traitement ; la minimisation des données ; la qualité des données ; la durée de conservation ; le respect des droits des personnes (information, accès, rectification, opposition, droit à l’oubli, limitation, portabilité, consentement) ; les transferts de données ; les sous-traitants.

La gestion des risques sur la vie privée, qui permet de déterminer les mesures techniques et d’organisation appropriées pour protéger les données :

Un risque est un scénario hypothétique qui décrit un événement redouté et toutes les menaces qui permettraient qu’il survienne. Plus précisément, il décrit : Comment les sources du risque pourraient exploiter les vulnérabilités du système dans le cadre de menaces et permettre à des événements redoutés de survenir sur des données à caractère personnel et provoquer des impacts sur la vie privée des personnes concernées.

Exemple : La base d’enregistrements de vidéosurveillance des clients est vulnérable car il n’existe pas de gestion avancée des droits d’accès à cette base de données sensibles. L’analyse d’impact consistera donc à comprendre comment un collaborateur pourrait utiliser ses accès pour analyser les habitudes de vie de quelques clients fortunés à partir d’enregistrements de vidéosurveillance et vendre ces informations à des individus malveillants qui auraient l’intention de cambrioler ces clients ?

Le niveau d’un risque est estimé en termes de gravité (l’ampleur du risque au regard du préjudice pour l’entreprise et l’impact sur la vie privée des clients) et de vraisemblance (la possibilité que le risque se présente au regard des vulnérabilités du système et des sources du risque).

Cette analyse approfondie permet donc d’identifier les mesures de sécurité à mettre en œuvre pour garantir la protection des données personnelles.

Pour accompagner les entreprises dans cette démarche d’analyse, la CNIL met à disposition un logiciel libre PIA (https://www.cnil.fr/fr/outil-pia-telechargez-et-installez-le-logiciel-de-la-cnil).

Nous nous tenons à votre disposition pour tous renseignements à ce sujet : asicom@asi.fr / 0806 700 800 (prix d’un appel local).

RGPD / GDPR – Les 7 Chantiers prioritaires du projet GDPR

RGPD Europe logo

Le nouveau règlement Européen GDPR / RGPD aura un impact assez fort sur les processus de traitement des données personnelles dans l’Union Européenne et prendra effet le 25 mai 2018.

Toutes les entreprises Européennes et non Européennes qui offrent des services ou des produits en Europe sont concernées par la réglementation. Elles doivent donc être conformes au règlement à sa date de prise d’effet. Beaucoup d’entreprises ont récemment commencé à se préparer pour le GDPR et ne seront pas totalement prêtes à cette date alors que ce projet d’envergure nécessite énormément de temps, de ressources (juridique, business, IT, ressources humaines…) et de planification (objectifs, responsabilités, livrables, prérequis, ressources, durée, budget alloué…).

Voici 7 grands chantiers du projet GDPR à ne pas manquer :

L’organisation

Mettre en œuvre l’organisation pour assurer les missions du « Data protection Officer » au sein de l’entreprise, identifier les points de contacts (IT, ressources humaines, juristes, product owner…), définir les politiques, processus et procédures utiles au maintien de la conformité.

La mise en conformité des processus de traitement de la donnée

Réaliser la cartographie des données personnelles, identifier les parties prenantes impliquées dans la collecte, le stockage, la transformation, l’usage des données et effectuer un « Gap analysis » entre les exigences réglementaires et la réalité de l’entreprise, identifier les risques sur la vie privée grâce à l’analyse d’impact, adopter le « Privacy By Design » pour les nouveaux projets.

La gestion des droits des personnes et du consentement

Mettre en place un processus de gestion des droits des personnes et du consentement, s’assurer que le système d’information est en mesure de répondre aux exigences.

Les mécanismes de sécurité et de protection des données

Mettre en place toutes les mesures suffisantes au regard des risques identifiés pendant l’analyse d’impact pour garantir la protection des données personnelles, mettre en place une organisation pour détecter et réagir efficacement à une fuite de données conformément au GDPR, s’assurer que les transferts de données en dehors de l’Union Européenne sont couverts par la réglementation.

La politique d’archivage et de conservation des données

Cette exigence incontournable existait avant le nouveau règlement Européen, c’est une exigence clé qui ne doit pas être négligée. Mettre en place une politique d’archivage et conservation des données personnelles, s’assurer que le système d’information est en alignement avec cette politique.

La gestion des sous-traitants

Effectuer l’inventaire de tous vos sous-traitants, s’assurer qu’ils mettent en œuvre les mesures nécessaires pour répondre aux exigences réglementaires et ajouter les clauses contractuelles garantissant le respect des exigences du GDPR, actualiser le processus d’achat afin de vous assurer que les futurs sous-traitants soient « GDPR Compliant » avant toute signature de contrats.

La formation / communication / sensibilisation des collaborateurs et des sous-traitants

Assurer une sensibilisation des collaborateurs sur la prise en compte du GDPR au sein de l’entreprise et les attendus les concernant.

Pour répondre aux exigences d’« accountability », toutes ces actions doivent bien entendu être tracées, documentées et auditables.

Nous nous tenons à votre disposition pour tous renseignements à ce sujet : asicom@asi.fr / 0806 700 800 (prix d’un appel local).

Développer des extensions sur Qlik Sense

Les extensions

Une extension Qlik Sense est un composant qui permet d’ajouter à la plateforme Qlik Sense de nouveaux types de visualisations. Ce concept permet de combiner des APIs Qlik Sense avec les capacités illimitées du Web.

Une fois créée, l’extension a le même comportement qu’un composant Qlik Sense natif : on peut ajouter des dimensions, des mesures et préserver le principe d’interactivité de Qlik Sense.

Architecture

Le serveur Qlik Sense nous propose un certain nombre d’APIs. Ces interfaces permettent une interaction avec notre serveur, ce qui permet d’extraire des données ainsi que diverses informations. Ces données et informations extraites peuvent être traitées avec du JavaScript afin de les structurer et de les visualiser selon notre besoin.

En plus du JavaScript basique, des bibliothèques CSS (comme Bootstrap) et du HTML peuvent être utilisés afin de faire des Dataviz plus au moins personnalisées.

Extensions QlikSense

Les possibilités d’extension

  • Exploitation des bibliothèques JavaScript existantes Highcharts, D3JS, Google Charts.
  • Utilisation des APIs sur le Web : Google Maps, Twitter.
  • Utilisation des bibliothèques de style comme Bootstrap.
  • Développement des visualisations et des comportements selon le besoin.

Le développement d’extensions

Fichiers d’une extension

Pour développer des extensions, l’architecture document doit être constituée d’un ensemble de fichiers qui sont indispensables. A ces fichiers s’ajoutent des fichiers supplémentaires, qui permettent de pousser plus loin les capacités de développement mais aussi de bien les organiser.

Fichier extension

Fichiers indispensables

  • Le fichier. Wbl : c’est un point d’entrée de l’extension, il contient la liste des fichiers indispensables
  • Le fichier. Qext : c’est le fichier de configuration principal de l’extension, il contient la version, le nom, l’icône, etc.
  • Le fichier .js : c’est le fichier le plus important, c’est là que l’on interroge le serveur Qlik, que l’on fait les calculs nécessaires ainsi que le design de l’extension.

Fichiers supplémentaires

  • Properties.js : Parmi les bonnes pratiques, les propriétés de l’extension seront séparées du fichier principal.
  • Fichiers .ccs : Des fichiers de style peuvent être ajoutés à l’extension afin d’améliorer le rendu et avoir une meilleure qualité de visualisation.
  • Bibliothèque JS : Des bibliothèques JS peuvent être ajoutées aussi pour avoir plus de fonctionnalités JavaScript (Jquery, D3JS, Highcharts).

Accès et structuration des données

La structuration et l’accès aux données retournées depuis le serveur seront contenus dans la méthode Paint ($element, layout). Cette dernière est rafraîchie à chaque fois que les propriétés changent ou que le widget est redimensionné.

Le serveur Qlik Sense retourne des données sous format d’un hypercube JSON. L’accès à cet hypercube se fera par la fonctionnalité layout.qHypercube.

L’hypercube est un objet JavaScript générique, qui va contenir les données ainsi que des métas données sur ce que l’utilisateur de l’extension mettra comme mesure et dimension depuis l’interface Hub.

Structuration des données

Exemples d’extensions développées par ASI

  • Une première extension prend une mesure et une dimension puis classe les membres de cette dernière en fonction de la mesure. Elle retourne ensuite le TOP3 de la dimension choisie :

Extension 1

  • Une deuxième extension s’appuie sur la bibliothèque Highcharts pour construire un radar, avec la possibilité de mettre plusieurs dimensions et de choisir la couleur de la dimension ainsi que la taille du diagramme.

Extension2 QlikSense

Vous avez besoin de communiquer sur vos données, construire un datawall ? N’hésitez pas à nous contacter pour bénéficier de l’expérience et de l’expertise de nos équipes pluridisciplinaires Java, UX et Data Intelligence >> asicom@asi.fr / 0806 700 800 (service gratuit + prix appel)

 

Vidéo | GDPR, quels impacts sur les entreprises ?

ASI vous propose de découvrir la vidéo consacrée à la GDPR réalisée par ses experts :

Qu’est-ce que la GDPR ?

La GDPR, ou General Data Protection Regulation, est la directive européenne sur la protection des données personnelles qui entrera en vigueur le 25 mai 2018. Elle a pour objectif de donner un cadre éthique à toute collecte et utilisation de Données à Caractère Personnelle – les fameuses DCP.

Les 29 pays signataires ont prévu une application mondiale de cette directive pour l’ensemble des données des ressortissants de l’union européenne et de lourdes amendes pour les infractions, pouvant atteindre 4% du chiffre d’affaire global d’une entreprise avec un maximum de 20 millions d’euros.

Quel impact sur les entreprises ?

La GDPR accorde des droits aux personnes physiques (droit à l’oubli, à la modification des données, à la réparation et au contrôle de leur portabilité) que les entreprises devront respecter.

Les entreprises, comme leurs sous-traitants, seront tenues de réfléchir à la protection des données personnelles dès la conception, voire de réaliser une étude d’impact préalable à faire valider par l’autorité de contrôle – la CNIL en France – et de tenir un registre de toute utilisation et de tous traitements sur ces données.

Elles devront, dans la majorité des cas, nommer un DPO – un Data Privacy Officer – pour garantir la bonne application de cette directive et en assurer la transparence.

Les entreprises devront surtout obtenir le consentement explicite des personnes pour chaque traitement effectué, ce qui risque de changer beaucoup de pratiques actuelles.

Que faire pour s’y préparer dès aujourd’hui ?

Comme il est évident que tout le monde ne pourra pas respecter l’ensemble des dispositions de cette directive dans un an, il est important de montrer dès à présent que votre entreprise a bien pris conscience du sujet et met en oeuvre une démarche spécifique.

Vous devez rapidement monter une équipe transverse (métiers, techniques et juridiques) en charge du projet de mise en conformité afin de cartographier l’ensemble des données personnelles internes et externes que vous manipulez et évaluer, pour chaque traitement, les risques de « perte » des données pour prioriser vos actions.

ASI vous propose de vous aider dans cette démarche, nous sommes à votre disposition à l’adresse asicom@asi.fr ou par téléphone au 0806 700 800 (gratuit + prix d’appel).

L’Open Data ou comment contextualiser nos « insights »

Nous vous invitons à lire l’article L’Open Data ou comment contextualiser nos « insights » rédigé par Régis Marc sur notre blog ASI 360.

Il y rappelle ce qu’est l’Open Data, indique quels acteurs partagent des données et quel est leur intérêt à le faire.

Il donne aussi quelques exemples simples de réutilisations…

Bonne lecture !

 

 

Connaissez-vous le Folder95 sur une plateforme SAP Business Objects ?

Bonjour,

Un rapide article aujourd’hui pour vous parler de la sécurité SAP BusinessObjects et plus particulièrement la livraison d’un environnement à un autre depuis la CMC à l’aide de l’outil de gestion des promotions.

promotions_sap_bi42

Vue de la gestion des promotions dans la CMC

Il faut être relativement prudent lorsqu’on livre les éléments sur un environnement, en ne choisissant que le nécessaire : document, univers (sans les connexions !) sont les éléments les plus souvent livrés.

Mais il peut aussi arriver qu’il soit nécessaire de livrer utilisateurs, groupes et sécurité associée. Et c’est à cette occasion que j’ai fait la découverte du « Folder95 ». En effet, quelle ne fut pas ma surprise quand, après une livraison, tous les utilisateurs – sauf les membres du groupe administrateur – avaient perdu leurs accès : pas de documents, pas d’univers … aïe !

Un rapide tour de la plateforme indique que la sécurité des différentes racines (connexions, univers, etc.) n’était plus existante pour le groupe « Tout le monde ».

sap_bo_securite_niveau_superieur

Sécurité de niveau supérieur dans BO

Simple me direz-vous ? On la ré-applique partout ! Mais non, ce n’est pas suffisant. Les utilisateurs n’ont toujours pas accès aux univers et ne peuvent pas rafraîchir les documents.

Il faut donc se référer à la note SAP 2017435 pour découvrir qu’il existe une racine, au-dessus de la racine !

Et pour remettre les droits c’est beaucoup moins sympathique. Rendez-vous sur le serveur BO :

  • Arrêter le SIA
  • Faire un backup du CMS (au cas où)
  • Démarrer le CMS en mode « serverconsole » en utilisant la commande :
E:\SAP\SAP BusinessObjects\SAP BusinessObjects Enterprise XI 4.0\win64_x64>cms.exe -port "7400" -dbinfo "E:/SAP BusinessObjects/SAP BusinessObjects Enterprise XI 4.0/win64_x64/_boe_BOBJREPO.dbinfo" #name "BOBJREPO.cms" -serverconsole
  • Taper la commande
acl 95
  • Le message suivant est renvoyé
Object has no ACL
  • Taper ensuite
Setright 1 95 3 ANY this G
  • Puis à nouveau
acl 95
  • Le message « Everyone group Granted View for any object type for this object » doit être renvoyé.
  • Terminer par un simple :
Quit

Puis relancer le SIA… et tout est rentré dans l’ordre ! Ouf !

Bonne semaine et à bientôt !