Quand l’IA rejoint le Calcul Haute Performance (ou High Performance Computing)

L’entraînement de certains modèles d’IA nécessite une puissance de calcul considérable, souvent comparable à celle des grands codes de simulation scientifique, utilisateurs historiques du calcul haute performance (prédictions météo, modèles cosmologiques, pour ne citer qu’eux).
Pourtant, le monde de l’IA, dominé par les notebooks, les bibliothèques Python et les frameworks comme PyTorch ou TensorFlow, semble parfois éloigné des environnements traditionnels du calcul haute performance (HPC), avec leurs ordonnanceurs de travaux (ou batch schedulers) qui introduisent les notions de files d’attente, et leurs infrastructures complexes (supercalculateurs).
Je vous propose un retour d’expérience sur les solutions mises en place dans notre mésocentre de calcul à Toulouse (CALMIP) pour faciliter l’accès à la puissance du HPC aux utilisateurs IA.
Grâce à des outils qui permettent d’utiliser Jupyter Notebooks sur le cluster (ou supercalculateur), des environnements préconfigurés avec les bibliothèques IA les plus utilisées, et la possibilité d’utiliser plusieurs GPUs et plusieurs nœuds, les utilisateurs peuvent tirer parti des performances du HPC sans être experts du domaine.
À l’aide d’outils simples, nous verrons comment l’utilisateur peut observer le comportement du cluster une fois le calcul lancé : le calcul utilise-t-il efficacement toutes les ressources allouées ? Nous aborderons les notions de performance parallèle et de scalabilité pour déterminer s’il est pertinent d’ajouter plus de GPUs ou si cela n’apporte rien. Pour finir, nous nous poserons aussi la question de l’efficacité énergétique du calcul.