Au cours des cinq dernières années, les approches par transfert utilisant les modèles de type Transformers ont établit l'Etat de l'Art sur de nombreuses tâches du Traitement Automatique des Langues. Ces approches deviennent de plus en plus populaires et nécessitent une grande quantité de données et de ressources computationnelles.La plupart des modèles de langue pré-entraînés ont fait l'objet de nombreuses études en anglais et seulement quelques-uns d'entre eux ont été évalués sur une tâche de compréhension de la parole en français. Dans cet article, nous proposons un tour d'horizon de référence, axé sur l'évaluation de la qualité de treize modèles bien établis basés sur les modèles Transformers. Les deux tâches de compréhension de la parole considérées sont MEDIA et ATIS-FR.
Cite as: Cattan, O., Ghannay, S., Servan, C., Rosset, S. (2022) Etude comparative de modèles Transformers en compréhension de la parole en Français. Proc. XXXIVe Journées d'Études sur la Parole -- JEP 2022, 721-730, doi: 10.21437/JEP.2022-76
@inproceedings{cattan22_jep,
author={Oralie Cattan and Sahar Ghannay and Christophe Servan and Sophie Rosset},
title={{Etude comparative de modèles Transformers en compréhension de la parole en Français}},
year=2022,
booktitle={Proc. XXXIVe Journées d'Études sur la Parole -- JEP 2022},
pages={721--730},
doi={10.21437/JEP.2022-76}
}