Nouveautés de FME 2018

FME 2018 sortira en mars 2018 et la liste des améliorations est impressionnante.

C’est toujours avec un peu d’excitation que l’on installe et exécute une nouvelle version de FME. Et la mouture 2018 promet encore de belles émotions au vu de toutes les améliorations qu’elle apporte !

Nouveaux formats

Le site de Safe Software vous permet de consulter la liste de tous les formats pris en charge par FME.

Et voici les nouveaux formats de FME 2018 :

Readers (lecture)

• 54 formats basés sur GDAL : ACE2, Arc/Info E00, Azavea, CEOS, etc.

• Active Directory & LDAP : Permet à FME de lire les attributs d’un annuaire LDAP (via JDBC-LDAP).

  

• Bentley i-Model (V1) : Format ouvert de Bentley pour l’échange de données de bâtiments 3D.

  

• GDAL Generic Raster : Permet de lire tous les formats supportés par GDAL.

• GDAL VRT Raster : Permet de lire des jeux de données virtuels GDAL. Un jeu de données virtuel est composé d’autres jeux de données GDAL.

• PDF : Chaque donnée vecteur, raster et texte peut être extraite depuis un fichier PDF.

  Exemple ici avec le fichier “guyane_carte_par_region_2000k_13.pdf” (IGN 2012 - Licence ouverte) ouvert dans Data Inspector :

  

• WLAS (Well Logging Ascii Standard Format) : Stocke des informations de forage. Ce format est spécifié par la Canadian Well Logging Society.

Writers (écriture)

• Esri Geodatabase Mosaic (Geodatabase Fichier & ArcSDE) : La mosaïque est un modèle de données de géodatabase utilisé pour gérer un ensemble de jeux de données raster (images) stocké en tant que catalogue et affiché sous forme d’image mosaïquée.

• Esri i3s (Indexed 3D Scene Layer) : Standard de l’OGC supporté en particulier par les outils d’ESRI pour visualiser des objets 3D sur le Web. Avec Cesium, FME propose donc deux façons de créer des visualisations 3D pour le web.

  

• Microsoft PowerPoint : Pour créer un PPTX avec des diapositives, des titres, des images, etc.

• Microsoft Word : Pour créer un DOCX avec des titres, des images, des listes, des sauts de page, des paragraphes et des tableaux.

• Possibilité d’écrire des données non structurées (JSON ou XML) dans les bases de données le supportant comme Oracle, MySQL, MS SQL Server et IBM DB2.

  

Readers & Writers (lecture & écriture)

• Apple Venue (AVF) : Créez vos cartes d’intérieur des bâtiments et envoyez-les vers le format Apple Venue à partir d’AutoCAD, Revit et Tririga.

• CALS (Continuous Acquisition and Life-Cycle Support) : Format Raster noir et blanc, standard du Département de la Défense des États-Unis.

• Google Cloud Spanner : Base de données combinant les bénéfices des bases de données transactionnelles classiques et des bases de données NoSQL.

• HYPACK Border/B84 : Format texte du logiciel hydrographique HYPACK stockant des coordonnées de points ou de polygones.

• IDRISI Raster (RST) : Format Raster du logiciel TerrSet de Clark Lab’s.

• Point Cloud Data (PCD)

• SOSI GML : Format d’échange de données géographiques utilisé en Norvège.

Transformers

Le site de Safe Software vous permet de consulter la liste de tous les transformers de FME.

Et voici les nouveaux transformers et ceux mis à jour dans FME 2018 :

Nouveaux transformers

• 3DBufferer : Crée un tampon 3D autour de l’entité d’entrée (ligne ou solide) à partir d’un objet 3D de type solide.

  

• ExcelStyler : Permet de définir finement le style d’une ligne ou d’une seule cellule en particulier pour le Writer Excel.

  

• HDFSConnector (Hadoop) : Permet de téléverser, télécharger ou effacer des fichiers et des répertoires ou de lister le contenu d’un système de fichiers HDFS (Hadoop Distributed File System).

• Joiner : Nouveau transformer (à ne pas confondre avec DatabaseJoiner ou l’ancien Joiner) qui permet d’effectuer des jointures de type SQL “inner”, “left” et “full” entre 2 flux d’entités.

  

  Ce transformer remplacera avantageusement FeatureMerger dans la plupart des cas et s’avère beaucoup plus rapide (par exemple 53 secondes pour joindre “à gauche” 321 000 entités entre elles contre 5 minutes 33 secondes avec FeatureMerger !).

• MSWordStyler : Permet de définir des titres, des images, des listes, des sauts de page, des paragraphes et des tableaux pour le nouveau Writer Microsoft Word.

  

• PowerPointStyler : Permet de définir des diapositives, des titres, des tableaux, etc. pour le nouveau Writer Microsoft PowerPoint.

  

• ProjectWiseConnector : Pour se connecter au cloud de ProjectWise (Logiciel de gestion de contenu de Bentley).

• S3Connector : Permet de téléverser, télécharger ou effacer des fichiers et des répertoires ou de lister le contenu d’un système de fichiers Amazon S3.

• SalesforceConnector : Permet de communiquer avec Salesforce, logiciel de Gestion de la Relation Client (GRC).

• SurfaceDissolver : Dissout en faces simples les régions coplanaires des surfaces entrantes.

Transformers mis à jour

Cette liste n’est pas exhaustive.

• Les transformers liés à S3 ont été regroupés dans S3Connector.

• Creator supporte la création d’arcs 3D et de clothoïdes (La clothoïde est une courbe plane caractérisée par la propriété que sa courbure en un point est proportionnelle à l’abscisse curviligne du point. (Wikipédia)).

• FeatureWriter permet de définir plusieurs ports de sortie.

  

• De nombreux transformers gagnent un nouveau paramètre de tolérance (choix entre “Aucune” et “Automatique”) :

  • AreaOnAreaOverlayer
  • Clipper
  • Dissolver
  • FeatureMerger
  • Generalizer
  • Intersector
  • LineOnAreaOverlayer
  • LineOnLineOverlayer
  • Tiler
  • TopologyBuilder

  Voici un exemple avec Dissolver :

  

  Avec la tolérance, non seulement le résultat correspond à ce que l’on souhaite 90% du temps mais en plus le temps de traitement est beaucoup plus rapide.

Systèmes de coordonnées

• Ajout du datum “Geocentric Datum of Australia 2020” (GDA2020) de l’Australie
• Ajout du datum de la Basse-Saxe (Allemagne)
• Mise à jour de la “Projection orthomorphique oblique rectifiée” (RSO) de la Malaisie.

FME Hub

FME Hub se développe et à l’heure actuelle, on peut y télécharger :

• 396 transformers personnalisés
• 145 modèles d’espaces de travail
• 16 connexions Web
• 12 formats personnalisés

Documentation

La documentation de l’API Python a été entièrement revue et est beaucoup plus facile à lire et à parcourir.

Améliorations de l’expérience utilisateur de FME Desktop

Filtrage du journal

Ce qui saute aux yeux une fois Workbench ouvert, ce sont les nouvelles icônes dans la fenêtre du journal.

Elles permettent de n’afficher que les messages d’erreur ou d’avertissement dans la fenêtre du journal. Pratique pour isoler rapidement ces messages importants.

Signets rétractables

Une amélioration notable est la possibilité de rétracter les signets en cliquant sur la flèche à leur gauche. Cela remplace à l’affichage les transformers par le nom des ports d’entrée et de sortie.

Cela donne un nouvel angle de lecture des espaces de travail FME, idéal pour présenter un projet à un tiers comme un collègue ou un client.

C’est également plus agréable lorsque l’on travaille sur un gros espace de travail.

Enfin une utilisation détournée est de créer une “documentation” rétractable grâce aux signets :

Copier les tests et les conditions

Il est (enfin) possible de couper/copier/coller les tests et les valeurs conditionnelles entre les transformers. Cela évite de devoir réécrire des tests ou des conditions, surtout quand ils sont complexes.

Exécution partielle

Une grosse nouveauté de FME 2018 concerne l’exécution en mode Inspection qui voit apparaître une petite icône verte, jaune ou rouge après une première exécution permettant de gérer une exécution partielle du traitement.

• Lorsque l’icône est verte, cela signifie que la donnée est en cache.
• Lorsque l’icône est jaune, cela signifie que la donnée est en cache mais qu’il y a eu des modifications depuis.
• Lorsque l’icône est rouge, cela signifie que la donnée n’est pas en cache.

Lorsqu’une donnée est en cache, FME 2018 permet de relancer le traitement en s’appuyant sur ce cache. Il n’est donc plus nécessaire de relancer le traitement en entier après une modification ! Par exemple, le traitement ci-dessus télécharge un fichier Sketchup pour générer une page HTML 3js. Ce traitement dure 9,5 secondes (principalement le temps de télécharger le fichier Sketchup).

Si l’on modifie “AttributeCreator” (dont l’icône devient jaune), il n’est pas utile de relancer tout le traitement et de télécharger à nouveau le fichier Sketchup. Il sera plus rapide de ne lancer le traitement qu’à partir de “AttributeCreator” et d’utiliser le cache pour le reste. Pour se faire, on clique sur “AttributeCreator” et 3 icônes apparaissent en pop-up.

• “Run from this” exécute le traitement à partir d’ici.
• “Run just this” exécute uniquement cette partie du traitement (régénère le cache).
• “Run to this” relance tout le traitement jusqu’ici.

En cliquant sur “Run from this” de “AttributeCreator”, le traitement ne dure alors que 0,8 secondes !

Data Inspector dans Workbench

En mode “Full Inspection”, il est maintenant possible de voir les données de chaque étape directement dans une fenêtre Data Inspector intégrée dans Workbench !

Performances

Safe annonce que le moteur de FME 2018 est généralement 30% plus rapide et qu’il utilise généralement 45% de mémoire en moins.

Exemple avec la lecture puis le tri (Sorter) de 1 000 000 d’entités issues d’une base de données SQLite :

• 1 minute 47 secondes avec FME 2017.1
• 9 secondes avec FME 2018.0

Améliorations de FME Server

Si FME Desktop 2018 connaît de nombreuses améliorations, FME Server 2018 n’est pas en reste, loin de là !

Mode sombre

Un clic dans les paramètres de l’utilisateur permet de basculer du thème classique au thème sombre.

Filtrage des traitements réussis ou échoués

La nouvelle option “Statut” permet de filtrer l’affichage des traitements : réussis ou échoués.

Automatisation

La gestion des notifications sous FME Server a toujours été assez complexe.

Mais grâce à l’automatisation, un outil visuel semblable à Workbench dans le principe, enchaîner des événements devient un jeu d’enfants.

Prévisualisation des espaces de travail

Il est maintenant possible de pré-visualiser le contenu des espaces de travail FME directement depuis l’interface de FME Server.

Pratique pour avoir une idée du contenu du projet sans nécessité de le télécharger dans FME Desktop. Il est même possible de voir les paramètres et le contenu des transformers personnalisés !

Visualisation du déploiement

Ce nouvel outil permet d’appréhender graphiquement l’architecture de FME Server (y compris si répartie sur plusieurs hôtes) et d’obtenir des informations sur chaque élément par un simple clic.

Gestion des versions

La gestion des versions, qui était en test en 2017, est maintenant finalisée.

Une fois activée par l’administrateur, cette fonctionnalité permet d’envoyer depuis Workbench une version différente d’un espace de travail FME.

Les différentes versions de l’espace de travail seront alors accessibles dans FME Server.

En option, les versions peuvent être enregistrées sur un dépôt GIT.

Sécurité

Récupération de mot de passe

L’administrateur peut configurer la récupération de mot de passe (globalement un serveur SMTP) pour que les utilisateurs puissent modifier leur mot de passe en cas d’oubli.

Les utilisateurs peuvent alors cliquer sur “Mot de passe oublié ?” pour recevoir un lien de ré-initialisation de leur mot de passe.

Export sécurisé des projets

Les projets FME Server peuvent être exportés à l’exclusion des informations sensibles (en particulier les mots de passe de connexion à vos services et bases).

Chiffrement

Il est possible de passer du chiffrement par défaut (Sécurisé) à un chiffrement plus strict (Restreint).

Le chiffrement restreint utilise une clé de chiffrement générée pour chiffrer par exemple les projets et les sauvegardes. SEULES les machines disposant de la même clé pourront utiliser ces paquetages. Il est donc très important de sauvegarder la clé.

Tolérance de panne

FME Server a été repensé pour être facilement déployé sur plusieurs machines.

FME Server sur Docker

Déployez rapidement FME Server sur toute plate-forme qui supporte Docker. Cette fonctionnalité, qui était en test en 2017, est maintenant finalisée.

Réalité augmentée

FME 2018 pourra compresser un fichier OBJ et ses textures associées dans un fichier d’extension .fmear. Ce fichier pourra alors être téléversé sur le cloud et utilisé dans l’application de réalité augmentée de Safe (iPhone ou iPad).

Plus d’informations sur le blog de Safe.

Téléchargement

La version finale de FME 2018 est attendue en mars 2018. D’ici là vous pouvez télécharger la version bêta sur le site Internet de Safe Software.

Ressources :

• FME 2018.0 New Features (en anglais)
• FME 2018.0 Release: Top 23 New Features (en anglais)

Geonov

Geonov est expert et formateur certifié FME.

Pour toutes vos demandes de licence, de formation et d’expertise (projets FME à façon), n’hésitez pas à nous contacter.