L'astronaute qui murmurait à l'oreille des rovers - Commande vocale pour rover assistant astronaute
Des rovers pour assister les astronautes lors des prochaines missions lunaires ! C’est la mission que se sont fixée le CNES et l’ESA pour contribuer à la mission Artemis de la NASA qui prévoir le retour de l’Homme sur la lune d’ici la fin de la décennie. Mais contrôler ces rovers avec une télécommande ou une interface tactile est un véritable challenge lorsqu’on porte des énormes gants et une combinaison dont le principal objectif est de nous maintenir en vie. Notre proposition : contrôler les rover à la voix. Mais petite particularité, notre approche utilise des petits modèles de langage (SLM) pour : - Interpréter des commandes complexe exprimée en langage naturel : ex : « tourne de 30° vers la gauche et avance de 10 mètres » - Comprendre plusieurs langues : évaluation anglais et français, tests effectués en japonais et allemand - Soit embarqué directement sur le rover : portage sur une carte AMD Versal renforcée aux perturbations électromagnétiques pour moins de 5 Go de RAM La présentation fera la restitution de cette étude THALES pour le CNES : - Evaluer la précision de reconnaissance des commandes - Développer une application embarquée de commande vocale avec Whisper.cpp et Llama.cpp - Accélérer les calculs sur un coprocesseur IA (NPU) en développant un kernel Versal et en customisant GGML (backend Llama.cpp & Whisper.cpp)
