Les codecs audios traditionnels à faible débits binaires comme MELP, Opus ou EVS atteignent leurs limites en dessous de 2 400 bits par seconde d’audio (bps), avec une dégradation significative de l’intelligibilité et de la naturalité de la voix. Les codecs audios neuronaux définissent l’encodeur et le décodeur avec des réseaux de neurones. Ils sont inspirés des progrès récents en apprentissage profond pour de la compression d’image et en modèles de langage basés sur la tokenisation. Ils proposent des compressions extrêmes, jusqu’à 165 bps pour FocalCodec tout en reconstituant des audios de très bonne qualité.
Bien que prometteurs, les CANs ne sont pas encore utilisables dans des environnements opérationnels. Un défaut majeur que nous souhaitons traiter dans ce stage est l’opacité des tokens, qui limite leur interprétabilité et leur fiabilité. Pour les codecs états de l’art, les tokens sont entièrement appris avec les données : ils très flexibles et contiennent des informations à la fois sémantiques et acoustiques.
Dans ce stage, nous souhaitons imposer une structure adéquate au dictionnaire de tokens. L’objectif est de proposer un biais inductif qui améliore les capacités de généralisation du codec hors des domaines d’entraînement, et rend possible des audits de ses tokens.
Vos missions
Dans ce contexte, vous aurez pour missions
Monter en compétence sur les codecs audios neuronaux
Prendre en main un ou plusieurs codecs
Modifier l’étape de quantification pour créer des tokens interprétables, séparant le message, l’identité du locuteur et son style (prosodie, émotion, etc.)
Présentation et transmission des résultats au reste de l’équipe
Objectifs
Démêler les informations de différentes natures dans les tokens (contenu du message, l’identifiabilité du locuteur, et son style)
Gagner en contrôle sur la reconstruction d’audio (eg, changement de locuteur, de style, ou de message)
Valider l’interprétabilité des tokens obtenus
Votre profil
Vous avez envie de découvrir le domaine de la recherche ?
Vous avez pour ambition de réaliser votre stage au sein de Thales ?
Etudiant en M2, en Ecole d’ingénieur en IA, Maths appliquées ou informatique, vous avez des connaissances en :
Pratique de Python et d’un framework Deep Learning (PyTorch)
Traitement du signal audio
Anglais (niveau B2-C1 attendu)
Rigueur, autonomie et goût pour l’expérimentation sont des atouts que l'on vous reconnait ?
Alors ce stage est fait pour vous !
Tous nos stages sont conventionnés et soumis à une gratification dont le montant est déterminé selon votre niveau d’études.
Thales, entreprise Handi-Engagée, reconnait tous les talents. La diversité est notre meilleur atout. Postulez et rejoignez nous !