L'apprentissage auto-supervisé (SSL) a apporté des améliorations remarquables dans de nombreux domaines, notamment la vision par ordinateur, le traitement de la langue et de la parole, en exploitant de grandes quantités de données non étiquetées. Dans le contexte spécifique de la parole, cependant, et malgré des résultats prometteurs, il existe un manque évident de normalisation dans le processus d'évaluation pour des comparaisons complètes de ces modèles en particulier pour les autres langues que l'anglais. Nous présentons ici à la communauté francophone {\nameproject}, un cadre de référence en sources ouvertes et reproductible pour évaluer des modèles SSL à partir de corpus de parole en français. Il est composé de quatre tâches : reconnaissance automatique de la parole, compréhension du langage parlé, traduction automatique de la parole et reconnaissance automatique des émotions. Nous encourageons la communauté francophone à utiliser ce référentiel dans ses futures expérimentations, notamment pour tester des modèles auto-supervisés.
Cite as: Le, H., Alisamir, S., Dinarelli, M., Ringeval, F., Evain, S., Nguyen, H., Boito, M.Z., Mdhaffar, S., Tong, Z., Tomashenko, N., Parcollet, T., Alexandre, A., Estève, Y., Lecouteux, B., Portet, F., Rossato, S., Schwab, D., Besacier, L. (2022) LeBenchmark, un référentiel d'évaluation pour le français oral. Proc. XXXIVe Journées d'Études sur la Parole -- JEP 2022, 44-53, doi: 10.21437/JEP.2022-5
@inproceedings{le22_jep,
author={Hang Le and Sina Alisamir and Marco Dinarelli and Fabien Ringeval and Solène Evain and Ha Nguyen and Marcely Zanon Boito and Salima Mdhaffar and Ziyi Tong and Natalia Tomashenko and Titouan Parcollet and Allauzen Alexandre and Yannick Estève and Benjamin Lecouteux and François Portet and Solange Rossato and Didier Schwab and Laurent Besacier},
title={{LeBenchmark, un référentiel d'évaluation pour le français oral}},
year=2022,
booktitle={Proc. XXXIVe Journées d'Études sur la Parole -- JEP 2022},
pages={44--53},
doi={10.21437/JEP.2022-5}
}