Flow around a business jet aircraft with complex shock-boundary layer interaction, as captured in a section through the CFD unstructured mesh. © Dassault Aviation
TGCC du CEA / Technolopole Teratec - Bull Arain - © CEA / P.Stropa
Aerodynamic (top) and stealth – in the infra-red (middle) and electromagnetic (bottom) ranges – analyses, as commonly used in the design of the Neuron UCAV demonstrator. © Dassault Aviation – DR (restricted)
TGCC du CEA / Technolopole Teratec - ©CEA / P.Stropa
Complex flow structures generated by a Rafale fighter aircraft with external stores, as captured by streamlines through the CFD unstructured mesh. © Dassault Aviation
Crédit : © ESI Group
Crédit : © ESI Group
Complex flow structures generated by a Rafale fighter aircraft with external stores, as captured in a section through the CFD unstructured mesh. © Dassault Aviation
 
 
 

 

Accueil > Activités > Projets R&D > Coloc

Projets R&D

The COncurrency and LOcality Challenge

www.coloc-itea.org

Programme : ITEA2 - Call 8
Labélisation : SYSTEMATIC
Porteur : BULL ATOS
Statut : En cours
Date de début du projet : Juillet 2014
Date de fin de projet : Septembre 2017
Durée : 36 mois
Partenaires du projet : BULL ATOS, DASSAULT AVIATION, EFIELD AB, INRIA, SCILAB ENTERPRISES, SWEDISH DEFENCE RESEARCH AGENCY FOI, TERATEC, UNIVERSITE DE VERSAILLES ST-QUENTIN-EN-YVELINES

Objectifs du projet

Alors que la puissance des systèmes HPC s’accroît rapidement par la multiplication du nombre de processeurs et de cœurs de calculs ainsi que par l’ajout d’accélérateurs, la quantité de mémoire par cœur de calcul ainsi que les canaux de communications n’augmentent pas en proportion. De ce fait, les applications de calcul intensif doivent s’adapter pour exploiter pleinement la puissance de ces systèmes à fort parallélisme et de plus en plus hétérogènes. Pour cela, il faut à la fois adapter l’infrastructure logicielle de façon à mieux gérer les différents types de ressources, et adapter les applications pour permettre la mise en œuvre de ces ressources de façon efficace. Ceci implique une gestion fine de la localisation des données pour réduire autant que possible le temps d’accès à ces données et le coût de transfert entre les différents processeurs qui les partagent.

L’objet de ce projet est donc de développer des méthodes et des outils permettant de modéliser l’architecture du matériel et des réseaux du système, de profiler les applications, et d’exploiter ces informations à la fois au niveau des gestionnaires de ressources (tels que SLURM), des librairies de communication comme MPI, des outils de d’analyse de performance pour optimiser le placement des processus et des données, et bien sûr les applications elles-mêmes.

Les applications qui seront utilisées pour valider ces modèles et outils couvrent différents domaines : la Mécanique des Fluides (CFD pour Computational Fluid Dynamics), l’Électromagnétisme (CEM pour Computational Electromagnetics) et la Mécanique des Structures (CSM pour Computational Structural Mechanics).

Pour atteindre ces objectifs, le projet rassemble plusieurs laboratoires de recherche (UVSQ, INRIA, et FOI), un éditeur de logiciel de calcul numérique pour applications scientifiques (Scilab), des utilisateurs du monde industriel (Dassault Aviation pour l’aéronautique, Efield pour l’aéronautique et l’automobile), l’unique fournisseur européen de systèmes HPC (Bull Atos), ainsi que l’association Teratec pour accélérer et élargir la dissémination et l’exploitation des résultats.

Point d'étape au 31 décembre 2016

Parmi les plus importants résultats obtenus à ce jour, on note :

HWLoc-NETLoc, un package logiciel permettant de connaître la topologie d’un système a été étendu pour visualiser l’activité de chaque élément du système avec une vue topologique hiérarchisée. Une librairie de fonctions a été créée permettant d’utiliser ces informations associées à la topologie avec MPI, SLURM, ou un outil d’analyse de performance.

L’équipe TADaaM de l’INRIA Bordeaux vient de démontrer la puissance de ce logiciel en modélisant le super- ordinateur Curie et son réseau d’interconnexion (un des plus grands en Europe : 5 000 nœuds de calcul et 800 commutateurs de réseau), ce qui permet d’appliquer des stratégies de placement très efficaces pour plusieurs milliers de tâches et donc d’améliorer les performances des applications. Voir à droite le modèle interactif obtenu.

Une nouvelle architecture implémentant le concept de proxy-IO par transfert de la gestion des entrées-sorties des nœuds de calcul vers des nœuds spécifiques (IO gateways). Ceci libère de la puissance de calcul sur les nœuds de calcul et augmente la puissance du système de gestion de fichiers Lustre, ce qui optimise les perfor- mances et la “scalabilité” de l’infrastructure en vue du passage à l’exascale.

Une série d’extensions de SLURM (Simple Linux Utility Resources Manager) utilisé dans plus de la moitié des systèmes HPC du Top500. Ces extensions incluent :

  • un algorithme de placement multicritère exploitant les informations de la topologie,
  • le support des proxy IO,
  • une nouvelle version du “Layout framework”qui permet de mieux connaître les caractéristiques des ressources du système et de les utiliser pour optimiser l’exécution d’une application ou d’adapter dynamiquement la puissance consommée en fonction de la charge du système ou du type ou du prix de l’énergie,
  • le support de nouveaux éléments (ex : processeurs KNL - Knights Landing - d’Intel…).
  • La plupart de ces extensions ont déjà été mises à la disposition de la communauté et intégrées dans SLURM 17.02.

Plusieurs améliorations de l’outil d’analyse de performance MAQAO (réduction de l’empreinte mémoire, du temps d’instrumentation, du temps d’exécution, support des applications multi-thread, etc.) ainsi qu’une API permettant d’interfacer MAQAO avec d’autres outils tels que HWLoc.

L’extension de Scilab avec l’ajout des modules sciCuda and sciOpenCL qui sont désormais intégrés à la version 6 de Scilab, ainsi que l’intégration avec le solveur MUMPS de l’INRIA.

Une version optimisée du solveur FOISOL développé par FOI et son API (compatible avec celle du solveur MUMPS de l’INRIA) et installée sur la plate-forme HPC commune du projet.

L’optimisation de plusieurs applications, en particulier une application qui fait des calculs de CFD-FEM (Finite Element Method) sur des maillages non structurés 4 fois plus grands qu’avant, et une autre qui fait des calculs de MLFMM (Multiple Level Fast Multipole Method) pour l’électromagnétisme (CEM) 60 % plus rapide et capable de traiter des systèmes 3 fois plus grands (30M d’inconnues).

Une première étape d’intégration dans les logiciels de CFD de Dassault-Aviation (DEFMESH et AETHER) de l’algorithme qui implémente la méthode D&C (Divide & Conquer) conçue par UVSQ en coopération avec Dassault-Aviation.

En parallèle, Teratec, avec l’aide des autres partenaires :

  • Promeut régulièrement les résultats du projet sur son site web et dans sa newsletter et met à jour le site web public du projet :  www.coloc-itea.org
  • Présente le projet dans les différents événements qu’il organise, en particulier dans le cadre du café de la recherche du forum Teratec de juin 2016.
  • Coordonne l’organisation de workshops tels qu’EuroPar (en août 2016) qui permettent au projet de présenter ses travaux et les innovations qu’il a développées.

Lors de la seconde revue annuelle, passée avec succès en novembre, les Reviewers ont beaucoup apprécié l’étroite coopération entre les labos et les industriels et ont été sensibles au fait que les partenaires industriels du projet ( Bull Atos, Dassault Aviation, Scilab, ESI-Efield) ont déjà commencé à exploiter les retombées du projet en incorporant les améliorations dans la version commerciale de leur produit.

Point d'étape au 31 décembre 2015

Durant les 18 premiers mois, des développements importants ont déjà été réalisés :

  • HWLOC, un package logiciel permettant de connaître la topologie d’un système a été étendu pour visualiser l’activité de chaque élément du système avec une vue topologique hiérarchisée. Une librairie pour HWLOC de fonctions a été créée permettant d’utiliser ces informations associées à la topologie avec MPI, SLURM, ou un outil d’analyse de performance.

  • Une première série d’extensions de SLURM (Simple Linux Utility Resources Manager utilisé dans plus de la moitié des systèmes HPC du Top500). Ces extensions incluent une nouvelle version du ‘Layout framework’, qui permet de mieux connaître les caractéristiques des ressources du système et de les utiliser pour optimiser l’exécution d’une application. Cette fonctionnalité permet par exemple d’adapter dynamiquement la puissance consommée en fonction de paramètres extérieurs comme le prix de l’énergie et prend en compte le support de nouveaux éléments (ex : processeurs KNL - Knights Landing - d’Intel…). Une première version d’un algorithme de placement multicritère (priorité à la consommation énergétique, à la performance ou encore au positionnement des données) exploitant les informations de la topologie a pu être testée.

  • Une première étape d’optimisation de 2 mini-applications, l’une qui fait des calculs de CFD-FEM (Finite Element Method) sur des maillages non structurés, l’autre des calculs de MLFMM (Multiple Level Fast Multipole Method) pour l’électromagnétisme (CEM), très utilisé aussi bien chez Dassault-Aviation que chez Efield et FOI.

  • Plusieurs améliorations de l’outil d’analyse de performance MAQAO (réduction de l’empreinte mémoire, du temps d’instrumentation, du temps d’exécution, etc.) ainsi qu’un prototype de l’API permettant d’utiliser MAQAO dans d’autres outils tels que BullXprof inclus dans la suite logicielle HPC bullx scs.

  • La mise au point de Scilab/MPI et SciGPGPU (module permettant à Scilab de bénéficier de la puissance des GPU) qui sont désormais intégrés à la version 6 de Scilab.

  • L’intégration dans le logiciel de CFD de Dassault-Aviation (AETHER) de la première version de l’algorithme qui implémente la méthode D&C (Divide & Conquer) conçue par UVSQ en coopération avec Dassault-Aviation.

  • La parallélisation et l’accélération des I/O du module MDMM (Multi-Domain Multi-Method) par Efield ainsi que diverses opérations de modernisation du code.

En parallèle, Teratec a en particulier, avec l’aide des autres partenaires :

  • Créé le site web public du projet : http://www.coloc-itea.org/
  • Réalisé les posters du projet et les a exposés lors du Forum Teratec de juin 2015
  • Promu les activités du projet sur le site web de Teratec.

Janvier 2015 - COLOC, Getting the best out of computational power

The ITEA 2 COLOC consortium aims to provide software vendors and simulation service providers with methodologies and tools to develop and hone their applications to gain the most value from expensive and heterogeneous computing resources.

Addressing the challenge

The current trend in the supercomputer industry is focused on providing more and more computational cores but all too often processors are spending an increasing amount of time on communication rather than computation. With data management and storage now a real barrier to allowing applications to fully exploit the power of modern multi/many-core processors, COLOC seeks to design, implement and validate a new approach to break this barrier.

Proposed solutions

The project will work on disruptive and innovative approaches to manage thread concurrency and I/O locality on large-scale platforms, including memory management, CPU usage, accelerator technology, the network and storage, especially I/O, by taking all of these aspects into account concurrently and in relation to each other in order to optimise the use of applications and high-performance computing resources on all levels. Continuous updating of the state of the art to keep track of major changes in science, technology and industry will result in a public deliverable Bull Atos that extends and develops this state of the art. The project has assembled the most renowned European supercomputing centres and HPC research, dynamic HPC software tool editors, a range of HPC users to validate the proposed technology in real applications and Europe’s only HPC provider.

Projected results and impact

The major expected outcomes are new algorithms and tools that will be developed to enhance existing resource managers and runtime systems, with a special focus on efficient mapping of data to processes or vice versa. The project will advance a set of technologies ranging from programming models to data localisation optimisation using extended analysis tools on the whole cluster topology.
Initial expected impacts include the reduction of simulation time and the cost of developing HPC applications while European software tool editors for HPC application programming and the European HPC ecosystem are expected to strengthen their position. Consortium partners will gain a competitive edge, such as gaining a stronger position as a hardware provider and as a provider of complete HPC platform solutions and Efield as an HPC workbench with state-of-the-art tools and hardware while the development of unique automatic optimisation capabilities will help RECOM stave off US-based competitors and DA maintain its edge in the aeronautics industry.

 
 
© TERATEC - Tous droits réservés - Mentions légales