Qlik Sense Open Data Challenge France : la recette du succès !

Le 11 mai 2016 avait lieu la présentation des applications sélectionnées par Qlik pour la finale France du Qlik Open Data Challenge.  Devant un jury averti, nous avons présenté l’application baptisée Qlik GeoChallenge, développée par les 4 collaborateurs qui avaient souhaité relever le challenge : Elodie LECOQ, Moustapha MBENGUE, Nicolas GEORGEAULT et Brice DAVOLEAU.

Coupe ASI numero1 qlik open data challengeLe Jury a mis en avant l’originalité de l’approche, le rendu global sans oublier le concept ludique et dynamique de l’application réalisée par ASI pour nous décerner le 1er prix de ce concours.

Alors, quelle est la recette de ce succès ?

Le choix du thème a été une étape importante dans le travail réalisé : un brainstorming intense pour dégager un sujet intéressant, ludique et suffisamment étoffé nous a conduit à explorer les pays du monde au travers de 4 axes principaux que sont la démographie, l’économie, l’éducation et l’environnement.

Nous avons adopté une organisation projet agile pour arriver rapidement à un résultat. Storyboard, maquettage et revue de fonctionnalités ont été des ingrédients nécessaires à la production d’une application dans laquelle l’utilisateur est au centre de l’analyse. C’est en se projetant dans les cas d’usages concrets que nous avons élaboré les tableaux de bords qui permettent à n’importe qui d’évoluer sans difficultés dans les données.

Notre dernier atout est sans aucun doute la compétence de l’équipe sur les sujets BI au sens large. Restituer un indicateur, oui, mais pas à n’importe quel prix ! Notre expérience sur les projets décisionnels nous permet de choisir la bonne visualisation pour faire immédiatement ressortir les tendances et faciliter la compréhension de l’utilisateur.

Découvrez Qlik GeoChallenge en images :

Le bilan

Finalement nous n’avons rien inventé et simplement repris ce qui fonctionne chez nos clients : une méthodologie simple et progressive qui permet d’arriver à un résultat abouti et réellement utile.

Quels enseignements tirer de cette expérience ?

L’Open Data offre aujourd’hui une richesse d’informations impressionnante : administrations, entreprises et initiatives citoyennes contribuent à une production toujours plus étoffée et variée de données. Finalement la clé de la captation de ces informations pour leur exploitation consiste à les identifier et réaliser un travail de qualité de données nécessaire à la mise en relation des jeux de données. Quelle surprise de voir des publications d’indicateurs au niveau pays sans code ISO pour les rapprocher !

Une fois l’étape de construction du socle de données achevée, Qlik Sense tient ses promesses d’analyse intuitive et de visualisation. On apporte rapidement et facilement de la valeur à l’utilisateur qui souhaite explorer ces données et faire des découvertes inattendues. La construction de l’application est aussi facilitée. Savez-vous que Nicolas, qui a participé à la réalisation de l’application, est Consultant Intelligence Collective ? Pas expert de la donnée, mais utilisateur curieux et qui souhaite créer ses propres visualisations, un cas typique d’utilisation de la BI Self Service !

Nouveautés de la plateforme SAP BI 4.2

Découvrez ou redécouvrez la version 4.2 de la plateforme SAP BI, livrée par SAP en novembre 2015 (un premier service pack était sorti peu de temps après).

La devise de cette version est  » Simplifier, Améliorer et Innover ».

On constate en effet un nombre important de nouvelles fonctionnalités et d’améliorations s’adressant aussi bien aux utilisateurs qu’aux administrateurs de la plateforme. Nous vous en présentons quelques unes, l’intégralité des nouveautés est décrite dans le document SAP accessible par le lien suivant :

http://www.sdn.sap.com/irj/scn/go/portal/prtroot/docs/library/uuid/805ce6cd-5955-3310-74b8-b5805d26e9c1?QuickLink=index&overridelayout=true&60803852011425

Fonctionnalités utilisateurs

La corbeille : Celle-ci récupère les documents supprimés par les utilisateurs. Il est alors possible de restaurer les documents supprimés, à partir de la CMC, sans avoir recours à un export .biar ou .lcmbiar.

Focus sur Web Intelligence :

Ajout de commentaires dans les rapports : Cette fonctionnalité, attendue par nos clients depuis longtemps, est enfin disponible. Les utilisateurs peuvent en quelques clics créer ou modifier une zone de commentaire dans un rapport WebI. L’historique des modifications du commentaire est conservé et accessible dans la marge gauche de l’interface. Les commentaires sont stockés par défaut dans la base d’audit, mais il est possible de définir une base de données dédiée à cet usage.

 

Éléments partagés : Il est possible dans cette version 4.2 de créer un « élément partagé » à partir d’un tableau ou d’un graphique contenu dans un document Webi (Report part). Cet élément se retrouve en tant qu’objet dans le référentiel. Par la suite, un utilisateur ayant les droits d’accéder à cet élément partagé pourra s’en servir pour compléter un de ses documents, voire pour créer un nouveau document en y insérant simplement l’élément. La définition de la requête initiale ayant servi à remplir le tableau ou le graphique sur lequel est basé l’élément partagé est contenue dans l’élément. De fait, l’insertion d’un élément partagé dans un document crée automatiquement la requête correspondante.

3

Création d’un élément dans le menu « Mise en relation ». L’élément partagé se retrouve dans le référentiel sous cette forme : 4

5

Utilisation de l’élément partagé dans un document WebI vide par glisser-déposer.

6

Le tableau d’origine et la requête correspondante sont créés automatiquement.

Le nouveau document conserve un lien avec l’élément partagé. De fait, s’il est modifié, sa modification se propagera dans tous les documents qui l’utilisent. Il est néanmoins possible de rompre ce lien, si l’on souhaite par exemple seulement utiliser l’élément partagé comme point de départ à la construction d’un nouveau document, ou si l’on souhaite copier une requête d’un document à un autre.

Cartes géographiques : SAP propose de nouveaux graphiques basés sur des données géographiques.

Après avoir déclaré des dimensions comme éléments d’une hiérarchie géographique (Pays, Région, Ville), il est possible de les utiliser dans les nouveaux graphiques « cartes géographiques » (GeoMaps). Web Intelligence intègre des dictionnaires et reconnait le nom des pays, des états, des villes… dans plusieurs langues.

7

Déclaration d’une dimension en tant que donnée géographique

8

Choix du type de donnée géographique et réconciliation avec le dictionnaire de données géospatiales inclus dans Webi.

9

Exemple de cartes géographiques.

Parallélisation des requêtes : les performances d’un document WebI sont améliorées au moment du rafraîchissement grâce à la parallélisation des requêtes. Auparavant, si un document Webi était constitué de 3 requêtes, celles-ci s’exécutaient l’une après l’autre, par exemple : 9 secondes, puis 10 secondes, puis 7 secondes = 26 secondes. Dans la version 4.2, un nouveau dispositif (désactivable au besoin) permet de traiter les 3 requêtes en parallèle (en 10 secondes dans notre exemple, sous réserve que la performance de la base de données sous-jacente n’en soit pas affectée).

Fonctionnalité administrateurs

Notification dans le portail : Les administrateurs peuvent dorénavant définir dans la CMC des notifications qui seront visibles par des utilisateurs ou des groupes d’utilisateurs dans la zone de lancement BI.

10

Dans les événements, créer un événement dans le dossier « Événements personnalisés », pour lequel le bouton « créer une notification » est actif.

11

Définir la notification.

12

Une fois la notification créée, définir la liste d’abonnés, par utilisateur et/ou groupes d’utilisateurs.

13.png

A la prochaine connexion, l’utilisateur voit la notification dans le portail. Celle-ci n’apparaîtra plus une fois consultée.

Cockpit d’administration BI : Il s’agit d’un tableau de bord accessible dans la CMC, qui affiche de manière visuelle un certain nombre d’information propre à la plateforme BI : Nombre de serveurs démarrés / arrêtés (possibilité de démarrer un serveur), contenu actif (documents consultés, univers les plus utilisés,…), applications actives, travaux planifiés.

14

Cockpit d’administration.

15

Détail de « utilisation du contenu » : documents rafraîchis récemment

Gestionnaire des promotions : Une fonctionnalité qui manquait vraiment jusqu’à la BI 4.1 était le fait de ne pas pouvoir sélectionner les objets que l’on souhaite restaurer à partir d’un fichier d’export .lcmbiar. C’est chose faite ! A cela s’ajoutent :

  • Une meilleure gestion de l’écrasement des connexions lors de l’export d’un environnement à l’autre,
  • Plus aucune dépendance avec Adobe Flash,
  • Performance améliorée,
  • Moins de charge serveur requise.

Installation/Upgrade : Le temps d’indisponibilité du serveur lors des mises à jour est réduit grâce à un découpage en deux phases (mise en cache des sources d’installation, puis installation). A noter également quelques améliorations dans les rapports d’erreurs suite à l’installation.

Couche sémantique

Concernant les fonctionnalités liées à la couche sémantique de SAP-BI, citons :

  • Apparition des univers UNX liés (même fonctionnement qu’avec les UNV liés),
  • Retour des univers basés sur des requêtes Bex (via BICS),
  • Connexions directes aux vues de SAP HANA

Nous terminerons sur un petit détail, qui fera probablement plaisir aux puristes : la traduction en français des fonctions semble avoir repris le cours normal des choses😉

16

 

 

ASI participe au Qlik Open Data Challenge

Une équipe d’ASIens participe au Qlik Open Data Challenge !

L’objectif : Créer une application QlikSense à partir de données publiques afin de révéler des tendances, des résultats inattendus, des axes de réflexion qui permettraient d’apporter des solutions.

5 applications seront retenues puis soumises au vote du public à compter du 1er avril 2016… Affaire à suivre !

L’annonce des gagnants est prévue le 19 avril 2016.qlikdatachallenge

Découvrez SAP BusinessObjects BI 4.2, la nouvelle offre SAP Analytics – Webinar le 17 mars à 11h

SAP BusinessObjects BI 4.2Découvrez la nouvelle offre SAP Analytics :

  • BI d’entreprise
  • BI Agile & Data Visualisation
  • Cloud
  • Big Data
  • Statistiques avancées

Une moisson de nouveautés riche en fonctionnalités phares et attendues : BI Collaborative, Cartographie BI, graphiques personnalisés, Agilité…

Il y en a pour tous les profils : les métiers bien sûr mais également l’IT avec le retour des univers liés, de nouvelles API et fonctionnalités d’administration comme la poubelle des documents supprimés…

Participez à notre web séminaire le jeudi 17 mars 2016 à 11h00 pour découvrir en 45 minutes les nouveautés de la dernière version SAP BI 4.2 ainsi que nos retours d’expérience de migrations déjà réalisées.

SAP BusinessObjects 4 est une version majeure, sortie il y a 5 ans et aujourd’hui totalement mature. Elle n’a pas cessé d’évoluer depuis pour couvrir les nouveaux besoins de BI Agile, Dashboarding et de reporting d’entreprise.

Ce web séminaire sera également l’occasion de poser toutes vos questions à nos spécialistes.

Cliquez ici pour vous inscrire à ce webinar et découvrir SAP BusinessObjects BI 4.2, la nouvelle offre SAP Analytics.

 

Les outils Microsoft de data mining sous Excel

Microsoft fournit depuis de nombreuses années un composant permettant de connecter  Excel aux fonctionnalités de Data Mining de SQL Serveur Analysis Services (SSAS). Je vais vous en donner un aperçu dans ce billet.

Une fois installé, de nouvelles fonctionnalités apparaissent sous Excel dans « Exploration de données »

DMToolBar

La qualité de données

DMPreparer

Les trois premiers outils automatisent des tâches de qualité de données. Ils ne nécessitent pas de connexion à un serveur SSAS.

On pourra ressortir des statistiques simples sur certaines colonnes (« Explorer les données »), gérer les valeurs atypiques par remplacements avec une moyenne ou une valeur par défaut (« Nettoyer les données »), ou extraire de son jeu d’enregistrement un jeu de test statistiquement valable (« Exemples de données »).

La modélisation

DMModeliser

Les tâches de modélisation de données reprennent les algorithmes proposés par SSAS et permettent de les appliquer sur vos données. Les sources peuvent être une feuille Excel ou un accès à une base de données (SQL Serveur uniquement).

On retrouve les fonctions détaillées ci-après.

Classer

La fonction « Classer » met en œuvre le modèle basé sur les arbres de décision. Les étapes sont simples, choix d’une variable à déterminer et critères à prendre en compte.

Ici, par exemple, l’acceptation d’un crédit en fonction du motif de l’emprunt, de l’assurance et des revenus.

image005

L’outil va faire apparaître les critères les plus discriminants de notre variable (emprunt accepté : oui/non). La restitution se fait avec un arbre de décision.

image006

On visualise sur la partie de gauche les informations du nœud sélectionné (ici « Assurance = ‘oui’ and Revenu_Menage >= 4604 » pour lequel on a 84,26% d’acceptation contre 14,74% de refus).

Estimer

La fonction « Estimer » permet de prévoir le résultat d’une valeur numérique en fonction des différentes caractéristiques de la population. Elle reprend la même représentation que la classification.

Cluster

La fonction « Cluster » construit des familles. L’objectif n’est pas de prédire une valeur mais de regrouper les individus du jeu de données en groupes homogènes.

La première étape consiste à sélectionner les caractéristiques à prendre en compte et de spécifier le nombre de groupes à déterminer (on peut aussi laisser l’algorithme le définir).

image008

Les résultats sont présentés par groupes (cluster) avec les caractéristiques des individus les composant (soit des moyennes et écarts types pour les variables continues, soit la distribution pour les variables discrètes).

image010

Associer et prévoir

« Associer » permet de créer une analyse du panier et « prévoir » fait intervenir des prédictions de séries (chronologiques par exemple).

Dans tous les cas, les modèles créés peuvent être temporaires ou sauvegardés sous SSAS. Et comme tous les modèles sauvegardés, ils pourront être réutilisés dans l’ETL de Microsoft (SSIS)… le sujet d’un autre billet.

Les tâches de maintenance

Les autres tâches vous permettront de valider la qualité de vos modèles (par application d’un jeu de données différent de celui ayant servi à la modélisation) et de les gérer sur le serveur SSAS (suppression, renomage, etc.).

En conclusion

Cet outil permet une approche utilisateur des algorithmes de datamining de SSAS. Il n’a jamais été aussi simple d’aboutir à un modèle. Il ne reste plus qu’à laisser les analystes de données en faire ressortir une compréhension et une valeur métier.

 

Nouveautés SQL Server 2016 (CTP2)

Microsoft a sorti courant Mai 2015 une pré-version de sa nouvelle plateforme SQL Server : SQL Server 2016 CTP 2.

En attendant la version finale prévue courant 2016 (aucune date n’a encore été avancée par Microsoft), voici un aperçu des principales nouveautés d’un point de vue BI.

Les changements lors de l’installation

  • Nécessite en pré-requis l’installation du JRE (Java Runtime), qu’il faut télécharger depuis le site d’Oracle.
  • Apparition du service de requête PolyBase (voir plus loin) qui utilise justement le framework Java.

Fonctionnalité SQL Server 2016

  • Possibilité de paramétrer le nombre de fichiers pour TempDb (le Best-pratice s’applique par défaut)

SQL_Server_2016 - Preview

  • Possibilité de choisir une installation de AS en mode « Power Pivot », afin de maîtriser l’instance nommée (ce n’était pas possible
    dans les versions précédentes, le nom de l’instance était fixe). Pour rappel, ce mode est réservé à SharePoint afin de gérer les feuilles de calcul Excel
    Power Pivot publiées dans SharePoint et visualisables dans une « Power Pivot Gallery »

SQL_Server_2016 - Preview 02

Les nouveautés/améliorations par produit

 

SSAS Multidimensionnelle

Pas de gros changements prévus a priori, si ce n’est des améliorations de performance qui resteront à vérifier (sur les hiérarchies non naturelles notamment, et les mesures Distinct Count).

SSAS Tabulaire

  • La possibilité de faire des relations many-to-many ! Enfin !!! Cette fonctionnalité de base était vraiment handicapante, même pour construire des modèles de données simples, et les clients s’en plaignaient un peu
  • L’introduction des variables pour la langage DAX, apportant plus de lisibilité et de ré-utilisation dans des formules complexes

Moteur relationnel

  • Basé sur la technologie de traitement en mémoire, nommé « Hekaton » depuis 2012, déjà utilisé par SQL Server 2014
  • PolyBase, qui permet d’attacher des bases de données en provenance d’Hadoop comme une base relationnelle classique
  • Intégration du langage R via l’acquisition de « Revolution Analytics »
  • Support du JSON
  • Fonction « Strech database » pour basculer certaines données peu utilisées vers Azure

SSIS

  • Intégration de PowerQuery au sein même de l’ETL
  • Support du JSON
  • Déploiement incrémental d’un projet, au lieu d’écraser la solution sans possibilité de versioning.

SSRS

  • Personnalisation du visuel avec le support de CSS
  • Support d’autres navigateurs qu’Internet Explorer
  • Intégration de rapports SSRS dans Power BI

Voici les grandes nouveautés de SQL Server 2016 (pour l’instant). Je m’attarderai plus en détail sur quelques unes de ces fonctionnalités dans de prochains posts sur ce blog.

J’ai testé pour vous….Talend Open Studio Data Integration v6.0.0

Talend a profité de l’été pour sortir une nouvelle version majeure des suites Open Studio (DI, ESB, MDM, DQ, BPM, BD) en juillet dernier, et il est temps de faire un point sur les principales  évolutions pour ce qui concerne la Data Integration. Petite précision : je ne m’attarderai pas sur la partie Business Modeler, car celle-ci n’a pas vraiment évolué en comparaison du Job Designer.

  1. Java

La version 6.0.0 supporte désormais Java 8 (tout en restant compatible avec Java 7).

Attention cependant, si vous disposez de plusieurs versions JDK sur votre poste, vous serez confronté à des erreurs au moment de l’exécution des jobs (par exemple : java.lang.UnsupportedOperationException: Cannot write indexes of this type due to unsupported collating sort order SortOrder[1036(0)] for text index ). Talend recommande d’installer un JDK complet (JDK+JRE) sur son poste plutôt qu’une JRE. Si le système ne parvient cependant pas à initialiser automatiquement le JDK, le message suivant s’affiche :

jdk

  1. Studio

L’interface du studio a elle aussi été entièrement revue :

studio_general

On peut déjà apercevoir un quadrillage sur le job designer. Les onglets ont légèrement évolué. Les icônes du Repository ont également été redessinés :

repository

Concernant le Business Modeler, pas de modification notable cependant.

Quant aux onglets de configuration :

  • On retrouve toujours les mêmes onglets, mais avec une icône légèrement modifiée pour chacun d’eux.
  • La grosse différence que j’ai pu identifier se trouve dans « Contextes » : des 3 sous onglets « Variables », « Valeurs en arbres » et « Valeurs en table », Seul le mode « Valeurs en table » a été conservé :

onglet_config

  1. Composants

3.1. Palette

Coté Palette et composants, quelques évolutions à noter.

D’abord la palette du Job Designer qui a été esthétiquement revue :

palette

On notera les 3 boutons du coin supérieur droit (assez appréciables) qui ont fait leur apparition :

palette_zoom

  • Les boutons (-) et (+) permettant de réduire et augmenter la palette
  • Le bouton en forme d’entonnoir permet d’accéder directement aux paramètres projet de configuration de la palette (panneau qui reste accessible par le menu Fichier > Editer les propriétés du projet > Designer > Paramètres de la palette) :

parametre_tos

Le mode Recherche a été amélioré également, puisque l’on peut désormais rechercher un composant par mot clé, sans connaître son nom.

Enfin, les composants les plus utilisés apparaissent désormais en tête de liste dans la palette (catégorie « Recently Used »).

3.2. Composants

Concernant les composants en eux-mêmes, ils ont apparemment tous été redessinés.

Quelques exemples :

composantspng

3.3. Connexions

Au sujet des connecteurs, toujours la possibilité de connecter via clic droit + glissé du composant « départ » vers le composant « arrivée », ou bien les menus contextuels « Row » (Ligne) et « Trigger » (Déclencheur). Une troisième méthode a fait son apparition : un petit hexagone blanc placé sur le côté droit du composant départ. On peut désormais faire un clic-gauche puis glisser la souris jusqu’au composant « arrivée » pour créer une connexion de type « Main ».

connexion

Seul problème : le symbole en question est tout le temps visible sur le Job Designer, aussi bien en arrivée qu’en départ des composants, ce qui surcharge un peu l’affichage du job. Par exemple :

connexion_bis

Heureusement, les développeurs ont tout prévu : on peut désactiver cette option dans les paramètres Talend : menu Fenêtre > Préférences > Talend > Apparence > Designer, décocher l’option « Use curved connection style for Job Design ». Cela a pour effet de n’avoir que des connexions en ligne droite (alors qu’elles sont courbes au premier lancement de l’application) et de supprimer le symbole de connexion des composants.

  1. Autres fonctionnalités

4.1. Mémoire

L’utilisateur à maintenant la possibilité de surveiller en temps réel la consommation de mémoire JVM et l’utilisation du processeur pendant l’exécution de son job :

memory_run

4.2. Bases de données

La version 9 de PostgreSQL est maintenant disponible sur cette dernière version de Talend. Cette dernière offre également la possibilité de récupérer des documents depuis le cloud GoogleDrive.

Cependant, les composants suivants sont désormais obsolètes du fait des limitations de Java8 : tAccessBulkExec, tAccessOutputBulkExec, tDBInput, tDBOutput et tDBSQLRow.

Pour les mêmes raisons, le pilote ODBC d’Access Connections n’est également plus supporté. Il convient d’utiliser le JDBC.

  1. En conclusion :

Talend répond avec cette nouvelle version aux principales demandes des utilisateurs. L’interface et le design des composants ont été revus, ce qui n’est pas totalement pour nous déplaire. Globalement, après des débuts chaotiques et une installation du JDK+JRE 8 en bonne et due forme, tout fonctionne assez bien. Petit point que l’on peut cependant peut-être reprocher, depuis plusieurs versions déjà, c’est la non-uniformisation de la langue dans tout le logiciel (certaines informations sont en anglais, d’autres en français).

Suivre

Recevez les nouvelles publications par mail.

Rejoignez 186 autres abonnés

%d blogueurs aiment cette page :