Les Problèmes de la Gestion des Données
Les produits complexes d’aujourd’hui nécessitent une acquisition de données tout au long des processus de conception, de développement et de vérification. Les ingénieurs de test continuent de faire face au défi de tester des conceptions de plus en plus compliquées avec des délais et des budgets toujours plus réduits, pour répondre à la demande des consommateurs pour des produits de meilleure qualité à moindre coût. Du coût des systèmes de simulation, du matériel d’acquisition de données et des systèmes d’automatisation jusqu’au personnel associé nécessaire pour réaliser et analyser les tests, les entreprises investissent de manière significative dans les données qu’elles collectent. Cependant, lors de la planification d’un système de test complet, les entreprises ne conçoivent souvent pas une solution globale : elles ne prennent pas pleinement en compte ni n’investissent suffisamment dans les moyens de gérer leurs données une fois collectées.
Avec l’augmentation de la vitesse des microprocesseurs et de la capacité de stockage, et la diminution des coûts du matériel et des logiciels, la quantité de données collectées et stockées dans des fichiers et des bases de données a explosé. Bien que la technologie permette une rétention des données plus rapide et plus riche, la gestion et l’utilisation efficace de ces données restent un véritable défi. Plus que jamais, dans un environnement commercial extrêmement compétitif, les entreprises doivent transformer rapidement les données de test et de simulation en informations exploitables pour accélérer le développement des produits et réduire le temps de mise sur le marché.
Les Approches Traditionnelles de la Gestion des Données
Les défis liés à la création et à la maintenance de systèmes de gestion des données évolutifs poussent de nombreuses entreprises à continuer de gérer leurs actifs de données critiques à l’aide de simples conventions de nommage des fichiers et des dossiers. Bien que cette approche ne nécessite aucun coût initial, elle engendre des coûts beaucoup plus élevés sur le long terme, lorsque vous devez rechercher manuellement les données nécessaires dans des structures de répertoires complexes. Ces données sont souvent stockées sur différentes machines et dans divers formats de fichiers, ce qui ajoute encore plus de complexité. La corrélation des données et des résultats de tests sur plusieurs machines et formats dans ces conditions peut être à la fois difficile et chronophage. Les systèmes de gestion des données basés sur des fichiers et dossiers sont hautement inefficaces, entraînant une perte de productivité, et ils sont facilement corrompus lorsque des fichiers sont déplacés accidentellement hors de leurs dossiers désignés ou renommés.
Figure 1 : Approche par fichiers et dossiers sur plusieurs machines de test
À l’autre extrémité du spectre se trouve l’approche consistant à utiliser des bases de données dédiées pour gérer les données techniques. En raison de leur réputation pour l’organisation des données afin de faciliter leur recherche et leur récupération, les bases de données ont attiré l’attention de nombreux ingénieurs de test comme une méthode pour gérer leurs données de test. Cependant, l’implémentation d’une base de données standard, telle qu’Oracle ou Access, pour votre système de gestion des données présente plusieurs inconvénients.
Ces bases de données ne sont pas configurées pour fonctionner directement avec vos données de test. Il est nécessaire d’effectuer au préalable un travail important de modélisation des données et de conception de la base de données, ce qui peut prendre plusieurs mois de préparation et de planification. Pour des solutions plus vastes, le coût initial de la mise en place d’une solution basée sur une base de données peut facilement atteindre des montants à six chiffres. Plus important encore, la maintenance continue, souvent négligée, est essentielle pour assurer le bon fonctionnement des bases de données.
Chaque fois que vos besoins en test évoluent, un effort et un temps supplémentaires sont nécessaires pour étendre la conception de la base de données et le logiciel client personnalisé. Cette maintenance et cette évolutivité au fil du temps non seulement augmentent considérablement les coûts, mais nécessitent généralement l’intervention d’experts informatiques qualifiés pour maintenir ces systèmes opérationnels. Souvent, le département informatique n’a pas la capacité de soutenir les équipes de test.
Figure 2 : Approche par base de données pour le stockage centralisé des données
En fin de compte, ni l’approche par fichiers et dossiers ni celle par bases de données ne répond pleinement aux besoins de la plupart des équipes de test. Bien qu’elles puissent sembler des solutions viables au moment de leur conception, elles entraînent tout de même des problèmes de maintenance et des inefficacités à mesure que vos besoins en tests évoluent et que vous continuez à accumuler des données.
Solution de Gestion des Données Techniques NI
National Instruments comprend que les ingénieurs et scientifiques sont confrontés quotidiennement à ces défis de gestion des données lorsqu’ils conçoivent et améliorent leurs systèmes de test. Que votre solution actuelle implique de passer des heures chaque semaine à rechercher laborieusement dans des répertoires et fichiers pour trouver un test spécifique, ou de redévelopper une base de données et une application client coûteuses pour intégrer des informations supplémentaires, ces deux approches manquent d’un élément crucial : l’intelligence d’ingénierie issue des données de test.
Vous devez consacrer beaucoup de temps à concevoir et réaliser des tests qui permettent de passer rapidement des données de test aux résultats. Trop souvent, on vous demande de réaliser cette transition cruciale sans disposer des outils adéquats de gestion des données. C’est pourquoi NI a développé une solution de gestion des données pour relever ces défis et simplifier, ainsi qu’accélérer, le passage de la collecte des données à l’obtention de résultats exploitables.
Figure 3 : La Solution TDM de NI se Compose de Trois Composants
NI a identifié trois éléments clés pour compléter le puzzle de la gestion des données : un stockage de fichiers flexible et organisé, un index de données hybride auto-évolutif, et un environnement interactif de post-traitement. Ainsi, la solution de gestion des données techniques (TDM) de NI comprend trois composants principaux :
- Le modèle de données TDM pour stocker des informations descriptives avec vos fichiers de test.
- NI DataFinder pour organiser et gérer vos données de test, quel que soit le format de fichier.
- DIAdem et les VIs de connectivité LabVIEW DataFinder pour effectuer des recherches, des analyses et des rapports.
Bien que de nombreux ingénieurs disposent déjà de solutions pour écrire des fichiers de données brutes ainsi que pour l’analyse et la création de rapports — avec comme solution minimale l’enregistrement de fichiers ASCII et l’analyse dans Excel — la plupart manquent de l’élément central : NI DataFinder, qui complète leur approche de gestion des données.
La base de la solution de gestion des données de NI repose sur l’intégration de métadonnées riches avec vos données, lesquelles sont ensuite consultables grâce à NI DataFinder. Avec le modèle de données TDM de NI, vous pouvez facilement enregistrer des propriétés et organiser vos données hiérarchiquement dans vos fichiers de test. Les fichiers TDM et TDM Streaming, écrits nativement à l’aide de DIAdem, LabVIEW, LabWindows™/CVI ou Measurement Studio, offrent trois niveaux de hiérarchie pour structurer vos données de test : fichier, groupe, et canal.
Le modèle de données TDM élimine la nécessité de concevoir et de maintenir votre propre format de fichier personnalisé. Conçu pour évoluer avec vos besoins, ce modèle offre un moyen efficace et structuré de documenter correctement vos données de test et de simulation sur la plateforme NI. Un ensemble riche et complet de propriétés associées aux fichiers, groupes et canaux élargit considérablement les critères de recherche possibles.
Figure 4 : Le Modèle de Données TDM pour Sauvegarder des Données de Test Bien Documentées
Une fois vos données correctement documentées avec des propriétés, NI DataFinder vous permet d’effectuer des recherches et d’exploiter vos données de test immédiatement, sans les contraintes et les coûts liés à la mise en place et à la maintenance d’une grande base de données. Avec NI DataFinder, vous pouvez effectuer des recherches similaires à celles sur Internet à travers tous vos fichiers de données, quel que soit leur format ou leur emplacement sur l’intranet de votre entreprise. Il vous suffit d’installer NI DataFinder avec DIAdem, de l’orienter vers l’emplacement de vos fichiers de données, et en quelques secondes, vous pouvez rechercher vos fichiers comme si vous cherchiez des informations sur le Web.
NI DataFinder fonctionne en construisant et en maintenant automatiquement un index de tous les fichiers répondant aux critères de type et d’emplacement définis dans la configuration de NI DataFinder. Vous pouvez utiliser les propriétés automatiquement stockées dans l’index NI DataFinder comme critères de recherche. Lorsqu’un fichier de données valide est créé, supprimé ou modifié, NI DataFinder détecte ces changements et réindexe automatiquement la hiérarchie et les propriétés du fichier. Si vous enregistrez des propriétés qui ne figurent pas encore dans NI DataFinder dans un fichier nouvellement créé, ces propriétés sont automatiquement ajoutées à l’index. NI DataFinder gère dynamiquement ses propres tables de données et les met à jour en fonction des événements de fichiers et de leur contenu. Contrairement à de nombreuses solutions coûteuses de bases de données, vous pouvez modifier et ajouter des informations en fonction de vos besoins sans avoir à redessiner votre solution de gestion des données.
DIAdem et LabVIEW DataFinder Connectivity VIs : Composants Complémentaires
Le composant final de la solution TDM de NI pour passer rapidement des données brutes aux résultats d’ingénierie est DIAdem pour l’analyse et le reporting post-test, ainsi que les LabVIEW DataFinder Connectivity VIs pour créer des applications personnalisées basées sur la technologie NI DataFinder. Avec DIAdem, vous pouvez utiliser des centaines de fonctions d’analyse d’ingénierie intégrées pour extraire des résultats significatifs de vos données brutes, puis partager ces résultats grâce à des modèles de rapport réutilisables et faciles à construire.
DIAdem offre également une interface intégrée à DIAdem DataFinder et au module SystemLink TDM DataFinder. Vous pouvez ainsi exécuter des recherches interactives directement dans DIAdem, tout en enregistrant et en automatisant vos requêtes. Dans un même environnement, vous pouvez analyser vos données pour identifier des tendances, étudier ces tendances, et sauvegarder les résultats sous forme de rapports. De plus, grâce aux LabVIEW DataFinder Connectivity VIs, vous pouvez créer des applications personnalisées adaptées à vos besoins et les déployer auprès de vos clients. Quel que soit la taille de votre équipe de test ou le volume de données que vous collectez, il existe une solution NI DataFinder pour répondre à vos besoins.
NI DataFinder : La Clé de la Gestion des Données
Avec ce composant central de la solution TDM de NI, vous pouvez personnaliser votre solution de gestion et d’exploration des données. Une fois NI DataFinder installé, configurez-le pour rechercher dans des dossiers et répertoires spécifiques des types de fichiers particuliers. NI DataFinder construit alors automatiquement un index entièrement interrogeable des métadonnées associées à ces fichiers. Vous pouvez ajouter ou supprimer des zones de recherche d’un simple clic et configurer NI DataFinder pour indexer vos propres formats de fichiers personnalisés.
Après avoir configuré vos zones de recherche, vous pouvez interroger vos données via deux interfaces : la recherche simple et la recherche avancée.
- Recherche simple : Entrez des mots ou des valeurs pour effectuer une recherche rapide et obtenir une liste des fichiers contenant ces valeurs.
- Recherche avancée : Recherchez des propriétés à des niveaux hiérarchiques spécifiques (fichier, groupe ou canal) et obtenez des résultats sous forme de listes de canaux, de groupes ou de fichiers. Par exemple, vous pouvez chercher « Group.Test_Status = fail » pour obtenir tous les groupes contenant cette propriété et ayant échoué. Vous pouvez également rechercher des canaux spécifiques à travers plusieurs fichiers et formats, et charger uniquement les canaux retournés par vos critères de recherche.
Avec NI DataFinder, vous avez un contrôle accru sur vos données, car vous chargez uniquement les canaux ou les propriétés d’intérêt pour chaque fichier.
Figure 5 : Grâce à la Recherche Avancée, identifiez rapidement des tendances et corrélations dans vos données de test
Par défaut, NI DataFinder indexe automatiquement les fichiers TDM et TDM Streaming situés dans les zones de recherche que vous avez spécifiées. Cependant, vous pouvez disposer de nombreux fichiers existants dans différents formats que vous souhaitez également rechercher avec NI DataFinder. Pour cela, vous pouvez utiliser un DataPlugin pour charger vos fichiers dans DIAdem ou LabVIEW.
Une fois que vous avez un DataPlugin adapté à un fichier de données arbitraire, vous pouvez l’indexer, le rechercher et le charger comme s’il s’agissait d’un fichier TDM. De plus, l’API DataPlugin inclut des exemples pour vous aider à écrire votre propre DataPlugin, adapté à vos formats personnalisés.
Figure 6 : L'index stocke toutes les informations descriptives associées à un fichier, vous permettant de les exploiter et de les rechercher.
Comme mentionné précédemment, l’index NI DataFinder est entièrement auto-configurable et auto-maintenable.
Une fois que vous configurez NI DataFinder pour pointer vers les dossiers et répertoires que vous souhaitez indexer, il construit automatiquement un index de toutes les métadonnées contenues dans les fichiers. À mesure que vous collectez davantage de données de test et que vous stockez ces fichiers dans les zones de recherche définies, NI DataFinder reçoit une notification d’événement de fichier Windows et indexe automatiquement les nouveaux fichiers de données.
NI DataFinder surveille également les événements de fichiers déclenchés lorsqu’un fichier est modifié ou supprimé, vous assurant ainsi que votre index de données est toujours à jour. NI DataFinder inclut un certain nombre de propriétés natives, telles que le nom et la description, qui sont stockées avec tous les fichiers. Cependant, dans de nombreux tests que vous réalisez, vous pouvez souhaiter enregistrer vos propres propriétés personnalisées, telles que Statut du Test ou Procédure de Test, également indexées et interrogeables.
Étant donné que NI DataFinder est un index entièrement auto-adaptatif de toutes vos métadonnées, il s’ajuste automatiquement à ces nouvelles propriétés et les indexe en plus des propriétés natives. Avec une solution de base de données traditionnelle, l’ajout de nouvelles propriétés peut être coûteux si la base de données n’a pas été correctement conçue dès le départ.
My DataFinder et le Module SystemLink TDM DataFinder
NI propose deux options de gestion des données pour répondre à vos besoins :
- My DataFinder, inclus dans tous les packages de DIAdem, qui permet de rechercher des données stockées localement sur votre machine ou sur un réseau.
- SystemLink TDM DataFinder Module, anciennement connu sous le nom de NI DataFinder Server Edition, pour les groupes plus importants ayant besoin d’accéder à des données sur plusieurs machines avec une bande passante réseau limitée et de nombreux formats de fichiers.
Le SystemLink TDM DataFinder Module est un logiciel installé sur une machine serveur, conçu pour une installation et une configuration simples sans nécessiter l’intervention d’un service informatique. Tout comme le My DataFinder local, vous configurez des zones de recherche spécifiques et des formats de fichiers à indexer.
Une fois ces zones de recherche configurées, plusieurs ordinateurs clients peuvent accéder simultanément aux données de test collectées via un index central partagé sur la machine serveur. Cela permet à tout votre groupe ou département de trouver et analyser des données sans avoir à fouiller dans les fichiers sur plusieurs machines. Il vous suffit de vous connecter au SystemLink TDM DataFinder Module pour accéder immédiatement à l’index serveur, comme si vous étiez connecté à l’index local de My DataFinder.
Figure 7 : Le SystemLink TDM DataFinder Module centralise les métadonnées provenant de plusieurs stations de test, vous permettant d'y accéder et de les exploiter facilement avec plusieurs clients simultanément.
Le SystemLink TDM DataFinder Module offre un accès plus rapide et plus facile aux données stockées non seulement sur votre machine locale, mais également sur toutes vos machines réseau. Un accès accéléré à davantage de données vous aide à vous concentrer sur les tâches importantes de conception et d’analyse, au lieu de perdre du temps et des ressources précieuses à rechercher des données. En plus de pouvoir trouver les données recherchées, vous pouvez inspecter plusieurs fichiers à la fois pour identifier des tendances importantes ou des anomalies.
En plus de prendre en charge plusieurs connexions simultanées, avec une gestion des utilisateurs et des capacités d'archivage intégrées, le SystemLink TDM DataFinder Module offre de nombreux avantages par rapport au NI DataFinder pour les grands groupes. Pour en savoir plus sur la façon dont le SystemLink TDM DataFinder Module peut simplifier encore davantage votre solution de gestion des données de simulation et de test, consultez le livre blanc technique sur le SystemLink TDM DataFinder Module.
Analyser et Rapport de vos Données de Test
Le dernier élément de la solution NI TDM est le client de requête et de rapport, soit DIAdem, soit des applications créées avec les LabVIEW DataFinder Connectivity VIs. DIAdem offre une interface utilisateur intégrée au NI DataFinder pour vous aider à rechercher dans tous les fichiers de données indexés avec une simple recherche par mots-clés, semblable à une recherche Internet, ou une recherche avancée puissante. DIAdem combine cette fonctionnalité de recherche de données avec des environnements de visualisation, d’analyse et de création de rapports à usage général.
Une fois que vous avez trouvé les données dont vous avez besoin – que ce soit via DIAdem DataFinder ou SystemLink TDM DataFinder Module – vous pouvez analyser les données à l’aide de centaines de fonctions d’analyse technique intégrées et créer des rapports cohérents pour partager vos résultats. DIAdem offre une solution de post-traitement personnalisable grâce à sa capacité à exporter des modèles réutilisables à partir de vos requêtes, rapports et vues interactives les plus couramment utilisés.
En plus d’utiliser DIAdem et NI DataFinder comme environnement de gestion des données, vous pouvez les automatiser complètement avec VBScript et des dialogues personnalisés. Les ingénieurs utilisent souvent cette solution comme base pour des applications de gestion et d’évaluation des données entièrement personnalisées.
Figure 8 : DIAdem pour l'Analyse Post-Test, la Création de Rapports et l'Automatisation
Les LabVIEW DataFinder Connectivity VIs vous permettent de créer vos propres applications personnalisées pour accéder au NI DataFinder. L'API vous permet d'effectuer de manière programmatique des recherches par mots-clés et paramétriques dans vos données de test, ainsi que de configurer le DataFinder à la volée. En utilisant les LabVIEW DataFinder Connectivity VIs, vous pouvez créer vos applications de gestion des données personnalisées et les déployer sur plusieurs clients au sein de votre organisation.
Conclusion
La solution de gestion des données NI couvre tous les aspects d'un système de gestion des données évolutif, rentable et prêt pour la recherche. Vous n'avez plus à vous soucier des détails liés à l'analyse des fichiers, à la structure du modèle de données et des tables de données, à la gestion de base de données, à la conception de l'interface graphique de recherche, ou à l'assistance de groupes externes comme le département informatique.
Il vous suffit d'utiliser le My DataFinder facile à configurer ou le SystemLink TDM DataFinder Module pour créer et maintenir automatiquement un index de données. Enfin, vous pouvez profiter des interfaces de recherche intégrées de DIAdem et de son environnement interactif d'analyse et de création de rapports pour transformer rapidement vos données enregistrées en rapports et informations de résultats dont vous avez besoin. Ou, créez vos propres applications de recherche en utilisant les LabVIEW DataFinder Connectivity VIs.
LabWindows est une marque utilisée sous licence de Microsoft Corporation. Windows est une marque déposée de Microsoft Corporation aux États-Unis et dans d'autres pays.
Contactez un expert !
Pas de commentaires